1] 웹 Crawling 만들기 : Selenium(설치와 실습1)

참고 사이트
- https://sacko.tistory.com/13
- http://blog.naver.com/PostView.nhn?blogId=kiddwannabe&logNo=221259054433&categoryNo=38&parentCategoryNo=0&viewDate=¤tPage=1&postListTopCurrentPage=1&from=search
- https://www.fun-coding.org/crawl_advance3.html

1. Selenium?

Selenium은 간단히 말해서 firefox/chrome을 제어하며,
webdriver라는 api를 가지고 자동화 작업을 수행하는 프레임워크이다.
진행하려는 프로젝트에서 크롤링을 해온 이미지로 작업을 할 예정인데, 이 때 필요한 것이 Selenium이다.

2. Selenium 설치

Selenium은 pip나 conda를 통해 설치할 수 있다.
pip install selenium
conda install -c conda-forge selenium
conda는 아나콘다를 사용해서 파이썬을 설치한 경우에 사용하고,
pip는 conda가 되지 않는 경우에 사용하는 것을 추천한다.

pip를 이용해 설치하였다.

3. Chrome 드라이버 설치

아래의 사이트로 들어가 현재 사용하고 있는 Chrome버전과 맞는 것을 설치해주면 되는데,
https://sites.google.com/a/chromium.org/chromedriver/downloads
Chrome버전을 확인해보니(Chrome 창에서 오른쪽 더보기 - 도움말 - Chrome 정보)

83?인가??무튼 83이어서

83에 해당하는 항목을 클릭하면,

이렇게 뜨는데, 이 중에서 나는 win32이니 체크한 것을 다운 받았다.
그러면 zip이 다운되는데, 압축을 풀어 root경로와 가장 가까운 곳에 넣어두면 된다.
root경로와 가까운 곳에 넣어두는 이유는 PATH설정이 꼬일까봐!!어려울까봐!!이다.

나의 경우엔 c:/chromedriver/안에 넣어두었다.

4. Selenium 시작하기 (1) - Chrome 창 열기

from selenium import webdriver
 
path = "C:/chromedriver/chromedriver.exe"    #웹드라이버가 있는 경로
 
driver = webdriver.Chrome(path)     #웹드라이버가 있는 경로에서 Chrome을 가져와 실행-> driver변수
 

위 코드를 실행하면, 조금 있다가 Chrome창이 열린다.

아직 주소를 지정해주지 않아서 아직 아무것도 뜨지않는다.

5. Selenium 사용하기 (2) - Chrome 제어하기

이제 driver라는 변수를 이용하여 Chrome을 제어할 수 있다.

1) 원하는 사이트에 접속하기

from selenium import webdriver
 
path = "C:/chromedriver/chromedriver.exe"    #웹드라이버가 있는 경로
 
driver = webdriver.Chrome(path)        #웹드라이버가 있는 경로에서 Chrome을 가져와 실행-> driver변수
 
driver.get('https://www.google.com')     #driver변수를 이용해 원하는 url 접속

위처럼
driver.get(원하는 url)
을 입력하면

이렇게 구글이 짜잔!!!!

2) 에러 확인 하기

from selenium import webdriver
 
path = "C:/chromedriver/chromedriver.exe"    #웹드라이버가 있는 경로
 
driver = webdriver.Chrome(path)        #웹드라이버가 있는 경로에서 Chrome을 가져와 실행-> driver변수
 
driver.get('https://www.google.com')     #driver변수를 이용해 원하는 url 접속
 
assert "Naver" in driver.title        #페이지 제목에 Naver가 들어가 있으면 에러발생

위처럼 google을 이용하지만 Naver가 포함되어있는지 검사하는 코드를 넣어 실행하면,

IDLE을 사용

다음과 같이 에러가 출력된다.
물론 페이지는 에러가 나기 전인 google.com을 입력하고 실행한 후에 멈춘다.