📝ETC/크롤링2 [파이썬] pandas 를 이용한 웹 크롤링 - 2 https://comibird.tistory.com/6 [파이썬] pandas 를 이용한 웹 크롤링 - 1 인터넷에서 원하는 데이터를 수집하는 것을 웹 크롤링이라고 한다. 다양한 방법 중 python 언어를 이용하여 selenium과 BeautifulSoup를 통해 크롤링하는 방법을 소개한다. 1. Selenium은 웹 드라이버를 실 comibird.tistory.com 이전 글에서 검색 후 View탭 까지 가는 것을 구현했다. 이번에는 View탭에서 데이터를 외부 파일에 저장하는 것까지 구현해보겠다. 또한 기본 상태에서는 검색 후 스크롤을 하지 않아 적은 양의 데이터만 추출하기 때문에 스크롤도 구현하여 원하는 양의 데이터를 추출해보겠다. 구현 방법 우선 구현할 코드 전문이다. #0 네이버 웹사이트 제어.. 2022. 1. 22. [파이썬] pandas 를 이용한 웹 크롤링 - 1 인터넷에서 원하는 데이터를 수집하는 것을 웹 크롤링이라고 한다. 다양한 방법 중 python 언어를 이용하여 selenium과 BeautifulSoup를 통해 크롤링하는 방법을 소개한다. 1. Selenium은 웹 드라이버를 실행시키며 데이터를 수집하고자 하는 웹 페이지를 탐색하며 페이지 전체를 html 형태로 가져온다. 2. BeautifulSoup는 html코드에서 원하는 부분만 골라낸다. 우선 네이버에 자동으로 접속 후 전체화면 전환, 검색창에 검색어를 검색하고 VIEW 탭에 들어가는 것까지 구현해보자. 과정 1. 모듈 설치 명령프롬프트(관리자모드)에서 pip install bs4 pip install selenium pip install pandas 혹은 콘다 명령 프롬프트(관리자모드)에서 con.. 2022. 1. 20. 이전 1 다음
