Python/웹 크롤링(Web Crawling) 강좌
-
파이썬 웹 크롤링(Web Crawling) 강좌 - 3. 네이버 베스트셀러 책이름, 저자, 가격 출력하기Python/웹 크롤링(Web Crawling) 강좌 2018. 9. 9. 15:33
네이버 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 25권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 마지막 업데이트 2018. 9. 9 from urllib.request import urlopen from bs4 import BeautifulSoup # 네이버의 베스트셀러 웹페이지를 가져옵니다. html = urlopen('https://book.naver.com/bestsell/bestseller_list.nhn') bsObject = BeautifulSoup(html, "html.parser") # 책의 상세 웹페이지 주소를 추출하여 리스트에 저장합니다. book_page_urls = [] for index ..
-
파이썬 웹 크롤링(Web Crawling) 강좌 - 2. 교보문고 베스트셀러 책이름, 저자, 가격 출력하기Python/웹 크롤링(Web Crawling) 강좌 2018. 9. 9. 12:18
교보문고 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 마지막 업데이트 2018. 9. 9 from urllib.request import urlopen from bs4 import BeautifulSoup # 교보문고의 베스트셀러 웹페이지를 가져옵니다.html = urlopen('http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf') bsObject = BeautifulSoup(html, "html.parser") # 책의 상세 웹페이지 주소를 추출하여 리스트에 저장합니다. book_page_urls = [] for c..
-
파이썬 웹 크롤링(Web Crawling) 강좌 - 1. 웹페이지 긁어오기Python/웹 크롤링(Web Crawling) 강좌 2018. 9. 9. 12:17
Beautiful Soup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. Python 3.6으로 코드를 작성하였습니다. 버전의 차이로 필요한 모듈이 달라질 수도 있습니다. 웹 크롤러(Web Crawler)는 웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 보통 웹 크롤러를 사용하여 웹문서의 복사본을 생성합니다. 검색 엔진은 이렇게 생성된 데이터를 인덱싱하여 빠른 검색을 할 수 있도록 합니다. 웹 페이지의 내용을 가져오는 간단한 웹 크롤러를 만들어 보겠습니다. 시작하기 전에 requests와 beautifulsoup4 패키지를 설치해줘야 합니다. pip install reques..