파이썬 라이브러리 Selenium 활용 웹크롤링

Selenium이란?

Selenium은 웹 브라우저 자동화를 수행할 수 있는 도구이다. 주로 웹 테스트에 사용되지만 웹 스크래핑 도구로도 많이 사용되고 있다.

Selenium을 사용하는 이유

• 웹 페이지 콘텐츠가 js로 동적으로 로드될 때
• 버튼 클릭, 폼 작성, 여러 페이지 탐색 등 웹 요소와 상호작용이 필요할 때
• 테스트 목적의 브라우저 동작을 자동화해야 할 때

Selenium의 장점

1. 브라우저 상호작용: 클릭, 입력, 웹 페이지 탐색 등
2. 다중 브라우저 지원: Chrome, Firefox, Safari, Edge 등
3. 동적 콘텐츠 처리: 동적으로 로드되는 웹 페이지 처리
4. 크로스 플랫폼: Windows, macOS, Linux 등 다양한 운영체제에서 사용
5. 언어 지원: 여러 프로그래밍 언어를 지원

Selenium을 파이썬으로 설치 및 사용하기

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

# Chrome WebDriver 설정
browser = webdriver.Chrome()

# 네이버로 이동
browser.get('https://www.naver.com')

# name 속성을 통해 검색 상자 요소 찾기 및 쿼리 입력
search_box = browser.find_element_by_name('query')
search_box.send_keys('Selenium WebDriver')
search_box.send_keys(Keys.RETURN)

# 검색 결과에서 첫 몇 개 추출
results = browser.find_elements_by_class_name('class-name-for-results')  # 실제 클래스 이름으로 업데이트 필요
for result in results[:5]:  # 첫 5개 결과로 제한
    print(result.text)

# 브라우저 닫기
browser.quit()