Python/웹 크롤링(Web Crawling) 강좌
-
파이썬 웹 크롤링(Web Crawling) 강좌 - 3. 네이버 베스트셀러 책이름, 저자, 가격 출력하기Python/웹 크롤링(Web Crawling) 강좌 2020. 2. 8. 15:13
네이버 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 25권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 최초 작성 2018. 9. 9최종 업데이트 2020. 2. 8 urlopen 함수를 사용하여 네이버에서 베스트셀러 목록을 가져올 때 "HTTP Error 500" 에러가 발생했던 문제를 해결했습니다. 본 포스트를 작성시에는 문제 없었는데 어느 순간부터인가 안되기 시작한 듯합니다. 기존에 사용하던 urlopen을 대신에 셀레륨(selenium)을 사용합니다. 코드를 실행시키면 코드에서 지정한 웹브라우저를 실제로 띄운 상태에서 웹크롤링이 이루어집니다. # 실행하기 위해 필요한 패키지 목록입니다. # pip install..
-
파이썬 웹 크롤링(Web Crawling) 강좌 - 2. 교보문고 베스트셀러 책이름, 저자, 가격 출력하기Python/웹 크롤링(Web Crawling) 강좌 2018. 9. 9. 12:18
교보문고 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 마지막 업데이트 2018. 9. 9 from urllib.request import urlopen from bs4 import BeautifulSoup # 교보문고의 베스트셀러 웹페이지를 가져옵니다.html = urlopen('http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf') bsObject = BeautifulSoup(html, "html.parser") # 책의 상세 웹페이지 주소를 추출하여 리스트에 저장합니다. book_page_urls = [] for c..
-
파이썬 웹 크롤링(Web Crawling) 강좌 - 1. 웹페이지 긁어오기Python/웹 크롤링(Web Crawling) 강좌 2018. 9. 9. 12:17
Beautiful Soup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. Python 3.6으로 코드를 작성하였습니다. 버전의 차이로 필요한 모듈이 달라질 수도 있습니다. 웹 크롤러(Web Crawler)는 웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 보통 웹 크롤러를 사용하여 웹문서의 복사본을 생성합니다. 검색 엔진은 이렇게 생성된 데이터를 인덱싱하여 빠른 검색을 할 수 있도록 합니다. 웹 페이지의 내용을 가져오는 간단한 웹 크롤러를 만들어 보겠습니다. 시작하기 전에 requests와 beautifulsoup4 패키지를 설치해줘야 합니다. pip install reques..