파이썬 웹 크롤링(Web Crawling) 강좌 - 2. 교보문고 베스트셀러 책이름, 저자, 가격 출력하기

2018. 9. 9. 12:18

Python, web crawling, 교보문고, 베스트셀러

교보문고 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다.

첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다.

마지막 업데이트 2018. 9. 9

from urllib.request import urlopen
from bs4 import BeautifulSoup

# 교보문고의 베스트셀러 웹페이지를 가져옵니다.

html = urlopen('http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf')
bsObject = BeautifulSoup(html, "html.parser")

# 책의 상세 웹페이지 주소를 추출하여 리스트에 저장합니다.
book_page_urls = []
for cover in bsObject.find_all('div', {'class':'detail'}):
link = cover.select('a')[0].get('href')
book_page_urls.append(link)

# 메타 정보로부터 필요한 정보를 추출합니다.메타 정보에 없는 저자 정보만 따로 가져왔습니다.
for index, book_page_url in enumerate(book_page_urls):
   html = urlopen(book_page_url)
   bsObject = BeautifulSoup(html, "html.parser")
   title = bsObject.find('meta', {'property':'rb:itemName'}).get('content')
   author = bsObject.select('span.name a')[0].text
   image = bsObject.find('meta', {'property':'rb:itemImage'}).get('content')
   url = bsObject.find('meta', {'property':'rb:itemUrl'}).get('content')
   originalPrice = bsObject.find('meta', {'property': 'rb:originalPrice'}).get('content')
   salePrice = bsObject.find('meta', {'property':'rb:salePrice'}).get('content')

   print(index+1, title, author, image, url, originalPrice, salePrice)

1 죽고 싶지만 떡볶이는 먹고 싶어 백세희 http://image.kyobobook.co.kr/images/book/large/509/l9791196394509.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791196394509 13800 12420

2 돌이킬 수 없는 약속 야쿠마루 가쿠 http://image.kyobobook.co.kr/images/book/large/795/l9788998274795.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788998274795 15000 13500

3 열두 발자국 정재승 http://image.kyobobook.co.kr/images/book/large/510/l9791160560510.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791160560510 16800 15120

4 역사의 역사 유시민 http://image.kyobobook.co.kr/images/book/large/557/l9788971998557.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788971998557 16000 14400

5 곰돌이 푸, 행복한 일은 매일 있어 곰돌이 푸 (원작) http://image.kyobobook.co.kr/images/book/large/350/l9788925563350.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788925563350 12000 10800

6 21세기를 위한 21가지 제언 유발 하라리 http://image.kyobobook.co.kr/images/book/large/975/l9788934982975.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788934982975 22000 19800

7 나미야 잡화점의 기적(100만 부 기념 특별 한정판) 히가시노 게이고 http://image.kyobobook.co.kr/images/book/large/194/l9788972756194.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788972756194 14800 13320

8 언어의 온도(100만부 돌파 기념 양장 특별판) 이기주 http://image.kyobobook.co.kr/images/book/large/125/l9791195522125.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791195522125 13800 12420

9 나의 문화유산답사기: 산사 순례 유홍준 http://image.kyobobook.co.kr/images/book/large/694/l9788936476694.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788936476694 18000 16200

10 인생 우화 류시화 http://image.kyobobook.co.kr/images/book/large/348/l9791186686348.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791186686348 16000 14400

11 나는 나로 살기로 했다 김수현 http://image.kyobobook.co.kr/images/book/large/845/l9791187119845.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791187119845 13800 12420

12 모든 순간이 너였다 하태완 http://image.kyobobook.co.kr/images/book/large/913/l9791162202913.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791162202913 13800 12420

13 해리. 1 공지영 http://image.kyobobook.co.kr/images/book/large/614/l9788965746614.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788965746614 14500 13050

14 개인주의자 선언 문유석 http://image.kyobobook.co.kr/images/book/large/756/l9788954637756.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788954637756 13500 12150

15 한때 소중했던 것들 이기주 http://image.kyobobook.co.kr/images/book/large/807/l9791158160807.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791158160807 14000 12600

16 살인의 문. 1 히가시노 게이고 http://image.kyobobook.co.kr/images/book/large/728/l9788990982728.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788990982728 14800 13320

17 나는 오늘도 경제적 자유를 꿈꾼다 청울림(유대열) http://image.kyobobook.co.kr/images/book/large/289/l9788925564289.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788925564289 16800 15120

18 하마터면 열심히 살 뻔했다 하완 http://image.kyobobook.co.kr/images/book/large/032/l9788901223032.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788901223032 15000 13500

19 서울이 아니어도 오를 곳은 오른다 김학렬(빠숑) http://image.kyobobook.co.kr/images/book/large/470/l9788925564470.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788925564470 18000 16200

20 행복해지는 연습을 해요 전승환 http://image.kyobobook.co.kr/images/book/large/831/l9788968331831.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788968331831 14500 13050

[Python/웹 크롤링(Web Crawling) 강좌] - 파이썬 웹 크롤링(Web Crawling) 강좌 - 3. 네이버 베스트셀러 책이름, 저자, 가격 출력하기

[Python/웹 크롤링(Web Crawling) 강좌] - 웹크롤링 강좌 - 기상청의 동네예보 가져오기

'Python > 웹 크롤링(Web Crawling) 강좌' 카테고리의 다른 글

웹크롤링 강좌 - 기상청의 동네예보 가져오기 (3)	2020.03.10
파이썬 웹 크롤링(Web Crawling) 강좌 - 3. 네이버 베스트셀러 책이름, 저자, 가격 출력하기 (15)	2020.02.08
파이썬 웹 크롤링(Web Crawling) 강좌 - 2. 교보문고 베스트셀러 책이름, 저자, 가격 출력하기 (6)	2018.09.09
파이썬 웹 크롤링(Web Crawling) 강좌 - 1. 웹페이지 긁어오기 (23)	2018.09.09

포스트 작성시에는 문제 없었지만 이후 문제가 생길 수 있습니다.
댓글로 알려주시면 빠른 시일내에 답변을 드리겠습니다.

여러분의 응원으로 좋은 컨텐츠가 만들어집니다.
지금 본 내용이 도움이 되었다면 유튜브 구독 부탁드립니다. 감사합니다 : )

유튜브 구독하기

제가 쓴 책도 한번 검토해보세요.

김현성 2020.02.03 09:18

감사합니다!

# Delete Reply
- webnautes 2020.02.03 09:24 신고
  
  댓글남겨주셔서 감사합니다~
  
  # Delete
손영규 2020.03.24 20:28

좋네요,,, 크롤링 풍부한 예제 부탁드려요...

# Delete Reply
- webnautes 2020.03.24 20:32 신고
  
  감사합니다~~^^ 준비해보겠습니다..
  
  # Delete
skfo792 2020.04.29 18:42

안녕하세요. 글 보고 따라하면서 정말 도움이 많이 됐습니다!
저는 50위까지 출력하고 싶은데, 페이지가 넘어갈때 url도 같고 뭘 추가해줘야 하는지 모르겠습니다...
어떠한 아이디어라도 좋으니 도와주시면 감사하겠습니다..!!

# Delete Reply
- webnautes 2020.04.29 20:25 신고
  
  실제 웹브라우저를 열어서 진행하는 셀레륨(selenium)를 사용하면 될듯합니다. 해보지는 않았습니다.
  
  # Delete

PREV 1 2 3 4 NEXT

멈춤보단 천천히라도