반응형

교보문고 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 

첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 

 

2015. 4. 12  최초작성 

2021. 7.  9   최종작성 - 상세 페이지 변경된 태그 반영



# -*- coding: utf-8 -*-

from urllib.request import urlopen
from bs4 import BeautifulSoup



# 교보문고의 베스트셀러 웹페이지를 가져옵니다.
html = urlopen('http://www.kyobobook.co.kr/bestSellerNew/bestseller.laf')
bsObject = BeautifulSoup(html, "html.parser")



# 책의 상세 웹페이지 주소를 추출하여 리스트에 저장합니다.
book_page_urls = []
for cover in bsObject.find_all('div', {'class':'detail'}):
    link = cover.select('a')[0].get('href')
    book_page_urls.append(link)


# 메타 정보로부터 필요한 정보를 추출합니다.메타 정보에 없는 저자 정보만 따로 가져왔습니다.  
for index, book_page_url in enumerate(book_page_urls):
    html = urlopen(book_page_url)
    bsObject = BeautifulSoup(html, "html.parser")
    title = bsObject.find('meta', {'property':'og:title'}).get('content')
    author = bsObject.select('span.name a')[0].text
    image = bsObject.find('meta', {'property':'og:image'}).get('content')
    url = bsObject.find('meta', {'property':'og:url'}).get('content')
    Price = bsObject.find('meta', {'property': 'og:price'}).get('content')

    print(index+1, title, author, image, url, Price)



현재는 5번의 한글이 깨지는 현상이 있습니다. 

 

1 완전한 행복 - 교보문고 정유정 http://image.kyobobook.co.kr/images/book/xlarge/280/x9791167370280.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791167370280 14220
2 미드나잇 라이브러리 - 교보문고 매트 헤이그 http://image.kyobobook.co.kr/images/book/xlarge/556/x9791191056556.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791191056556 14220
3 조국의 시간 - 교보문고 조국 http://image.kyobobook.co.kr/images/book/xlarge/663/x9788935668663.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788935668663 15300
4 부의 시나리오 - 교보문고 오건영 http://image.kyobobook.co.kr/images/book/xlarge/265/x9791190977265.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791190977265 16200
5 ¼ÒÅ©¶óÅ×½º ÀͽºÇÁ·¹½º - ±³º¸¹®°í ¿¡¸¯ ¿ÍÀÌ³Ê http://image.kyobobook.co.kr/images/book/xlarge/922/x9791190030922.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791190030922 16200
6 추미애의 깃발 - 교보문고 추미애 http://image.kyobobook.co.kr/images/book/xlarge/687/x9788935668687.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788935668687 15300
7 강원국의 어른답게 말합니다 - 교보문고 강원국 http://image.kyobobook.co.kr/images/book/xlarge/014/x9788901250014.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788901250014 14400
8 매매의 기술 - 교보문고 박병창 http://image.kyobobook.co.kr/images/book/xlarge/180/x9791191347180.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791191347180 16200
9 그러라 그래 - 교보문고 양희은 http://image.kyobobook.co.kr/images/book/xlarge/979/x9788934984979.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788934984979 13050
10 달러구트 꿈 백화점(50만부 기념 드림 에디션) - 교보문고 이미예 http://image.kyobobook.co.kr/images/book/xlarge/909/x9791165341909.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791165341909 12420
11 해커스 토익 기출 보카 TOEIC VOCA - 교보문고 David Cho http://image.kyobobook.co.kr/images/book/xlarge/785/x9788965422785.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788965422785 11610
12 문명. 1 - 교보문고 베르나르 베르베르 http://image.kyobobook.co.kr/images/book/xlarge/037/x9788932921037.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788932921037 13320
13 작은 별이지만 빛나고 있어 - 교보문고 소윤 http://image.kyobobook.co.kr/images/book/xlarge/153/x9791197037153.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791197037153 13500
14 공간의 미래 - 교보문고 유현준 http://image.kyobobook.co.kr/images/book/xlarge/427/x9788932474427.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788932474427 14400
15 우리의 뇌는 어떻게 배우는가 - 교보문고 스타니슬라스 드앤 http://image.kyobobook.co.kr/images/book/xlarge/135/x9791135499135.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791135499135 17820
16 고구려. 7: 동백과 한란 - 교보문고 김진명 http://image.kyobobook.co.kr/images/book/xlarge/275/x9791197063275.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791197063275 14220
17 해커스 토익 RC 리딩(Reading) - 교보문고 David Cho http://image.kyobobook.co.kr/images/book/xlarge/348/x9788965423348.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788965423348 
16920
18 엉망으로 살자 - 교보문고 노선경 http://image.kyobobook.co.kr/images/book/xlarge/869/x9791197080869.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791197080869 12420
19 종의 기원 - 교보문고 정유정 http://image.kyobobook.co.kr/images/book/xlarge/959/x9788956609959.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788956609959 11700
20 어떻게 말해줘야 할까 - 교보문고 오은영 http://image.kyobobook.co.kr/images/book/xlarge/652/x9788934986652.jpg http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788934986652 15750

 

반응형

해본 것을 문서화하여 기록합니다.


포스트 작성시에는 문제 없었지만 이후 문제가 생길 수 있습니다.
질문을 남겨주면 가능한 빨리 답변드립니다.


제가 쓴 책도 한번 검토해보세요 ^^

  • 네이버 블러그 공유하기
  • 네이버 밴드에 공유하기
  • 페이스북 공유하기
  • 카카오스토리 공유하기

댓글을 달아 주세요

">
  1. thumbnail
    김현성
    2020.02.03 09:18

    감사합니다!

  2. thumbnail
    손영규
    2020.03.24 20:28

    좋네요,,, 크롤링 풍부한 예제 부탁드려요...

  3. thumbnail
    skfo792
    2020.04.29 18:42

    안녕하세요. 글 보고 따라하면서 정말 도움이 많이 됐습니다!
    저는 50위까지 출력하고 싶은데, 페이지가 넘어갈때 url도 같고 뭘 추가해줘야 하는지 모르겠습니다...
    어떠한 아이디어라도 좋으니 도와주시면 감사하겠습니다..!!

    • thumbnail
      Favicon of https://webnautes.tistory.com BlogIcon webnautes
      2020.04.29 20:25 신고

      실제 웹브라우저를 열어서 진행하는 셀레륨(selenium)를 사용하면 될듯합니다. 해보지는 않았습니다.

  4. thumbnail
    Favicon of https://chicagobullsforever.tistory.com BlogIcon 용용2

    안녕하세요! 똑같이 따라서 해보았는데 책 정보가 계속 None 이라고 뜨네요. 어떻게 하면 해결할 수 있을까요?

    • thumbnail
      Favicon of https://webnautes.tistory.com BlogIcon webnautes
      2021.07.09 18:13 신고

      개별책 페이지에서 meta 태그의 속성 이름이 바뀌었네요. 확인해서 수정하면 해결됩니다. 있다가 수정할 예정입니다