Python+Selenium 네이버검색한 View 제목 텍스트들을 크롤링해보자!

[시도해볼것들]

1. 자동검색기능 예제를 따라해보면서 셀레니움에서 사용하고 있는 메서드 익히기

2. 텍스트 크롤링

3. 이미지 크롤링

 

셀레니움은 크롤링해보면 다한거라는 선뱃님의 말에 열심히 예제를 따라해봐야겠다

 

 

크롤링(Crawling)이란?

데이터를 분석하기 쉽고 활용하기 쉽게 데이터를 수집하는 행위를 크롤링(Crawling)이라고 한다. 정확한 정의는 다양한 웹사이트의 페이지를 브라우징하는 작업을 뜻한다.

 

 

이번에는 텍스트 크롤링을 해볼예정입니다!

몇일동안 오류코드 'stale element reference: element is not attached to the page document'이것만 떠서

time.sleep(3) <- 이것도 해보고 저것도해보고 뒤적뒤적 온갖걸 해봤는데

역시나...정말 역시나 내가잘못한것이였다!!!!!!!!!!!

텍스트 크롤링 시작하기전에 웹페이지 띄운 후

변수명.send_keys(Keys.ENTER)

 

이거 썼었는데 이부분이 문제였다....(하-아)

아무튼 원인을 찾아서 너무 뿌듯하다...헷..

 

저는 뽀삐를 검색하고나서 View에 있는 제목 텍스트들을 크롤링해보려고합니다!

우선 전 포스잇에 나왔던것처럼 F12눌러서 엘리먼트의 css selector를 뽑아내자

 

from ssl import Options
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.select import Select
import time
from selenium.webdriver.common.by import By


driver=webdriver.Chrome()
url='https://google.com'
driver.get(url)
time.sleep(3)


#네이버 검색
gogle = driver.find_element_by_css_selector('.gLFyf.gsfi')
gogle.send_keys("네이버")
gogle.send_keys(Keys.ENTER)
time.sleep(3)

#네이버 열기
nav = driver.find_element_by_xpath('//*[@id="rso"]/div[1]/div/div/div/div/div/div/div[1]/a/h3')
nav.click()
navSe = driver.find_element_by_xpath('//*[@id="query"]')
navSe.send_keys("뽀삐")
navSe.click()
navSe.send_keys(Keys.ENTER)
time.sleep(3)

#뽀삐 검색 후 네이버 view 클릭
nav_view = driver.find_element_by_xpath('//*[@id="lnb"]/div[1]/div/ul/li[3]/a')
nav_view.click()
time.sleep(3)

driver.implicitly_wait(5)

#네이버_view 검색한 단어 '뽀삐' 게시물 제목텍스트 크롤링

ele = driver.find_elements_by_css_selector('.api_txt_lines.total_tit._cross_trigger')


for i in ele:
    title = i.text
    print(title)
    time.sleep(3)

 

▲ 이렇게 간단한것을... 

조금 현타오긴하지만 처음해보는거라 속도가 많이 느린것으로 자기위안을...

 

이 코드사용 후에 돌려보면!

 

 

이렇게 이쁘게 제목이 뽑히는걸 확인할 수 있어요!

아 뿌듯해 다른방법으로도 뽑아봐야지

 

화이팅!