'Python/웹 크롤링(Web Crawling) 강좌' 카테고리의 글 목록

파이썬 웹 크롤링(Web Crawling) 강좌 - 2. 교보문고 베스트셀러 책이름, 저자, 가격 출력하기

교보문고 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 2015. 4. 12 최초작성 2021. 7. 9 최종작성 - 상세 페이지 변경된 태그 반영 # -*- coding: utf-8 -*- from urllib.request import urlopen from bs4 import BeautifulSoup # 교보문고의 베스트셀러 웹페이지를 가져옵니다. html = urlopen('http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf') bsObject = BeautifulSoup(html, "html.parser") # ..

2021. 7. 9. 22:59

Python/웹 크롤링(Web Crawling) 강좌

웹크롤링 강좌 - 기상청의 동네예보 가져오기

이번 영상에서는 뷰티플수프를 사용하여 기상청의 동네예보를 웹크롤링합니다. from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("https://www.weather.go.kr/weather/forecast/timeseries.jsp") soup = BeautifulSoup(html, "lxml") table = soup.find("table", class_="forecastNew3") tr = table.tbody.tr for t in tr.children: if t.name == 'th': if t['scope'] == 'colgroup': num = int(t['colspan']) for i in range(nu..

2020. 3. 10. 08:50

Python/웹 크롤링(Web Crawling) 강좌

파이썬 웹 크롤링(Web Crawling) 강좌 - 3. 네이버 베스트셀러 책이름, 저자, 가격 출력하기

네이버 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 25권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 최초 작성 2018. 9. 9최종 업데이트 2020. 2. 8 urlopen 함수를 사용하여 네이버에서 베스트셀러 목록을 가져올 때 "HTTP Error 500" 에러가 발생했던 문제를 해결했습니다. 본 포스트를 작성시에는 문제 없었는데 어느 순간부터인가 안되기 시작한 듯합니다. 기존에 사용하던 urlopen을 대신에 셀레륨(selenium)을 사용합니다. 코드를 실행시키면 코드에서 지정한 웹브라우저를 실제로 띄운 상태에서 웹크롤링이 이루어집니다. # 실행하기 위해 필요한 패키지 목록입니다. # pip install..

2020. 2. 8. 15:13

Python/웹 크롤링(Web Crawling) 강좌

파이썬 웹 크롤링(Web Crawling) 강좌 - 1. 웹페이지 긁어오기

Beautiful Soup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. Python 3.6으로 코드를 작성하였습니다. 버전의 차이로 필요한 모듈이 달라질 수도 있습니다. 웹 크롤러(Web Crawler)는 웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 보통 웹 크롤러를 사용하여 웹문서의 복사본을 생성합니다. 검색 엔진은 이렇게 생성된 데이터를 인덱싱하여 빠른 검색을 할 수 있도록 합니다. 웹 페이지의 내용을 가져오는 간단한 웹 크롤러를 만들어 보겠습니다. 시작하기 전에 requests와 beautifulsoup4 패키지를 설치해줘야 합니다. pip install reques..

2018. 9. 9. 12:17