교보문고 베스트셀러 일간 순위에 있는 책의 정보를 가져오는 예제입니다.
첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다.
2015. 04. 12 최초작성
…..
2021. 07. 09 상세 페이지 변경된 태그 반영
2022. 12. 18 동적 웹페이지로부터 웹 크롤링하기 위해 selenium 사용
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
from urllib.request import urlopen
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
# 교보문고의 베스트셀러 웹페이지를 가져옵니다.
driver.get("https://product.kyobobook.co.kr/bestseller/online?period=001")
bsObject = BeautifulSoup(driver.page_source, 'html.parser')
# 책의 상세 웹페이지 주소를 추출하여 리스트에 저장합니다.
book_page_urls = []
for item in bsObject.find_all('div', 'prod_info_box'):
url = item.select('a')[0].get('href')
book_page_urls.append(url)
# 웹페이지로부터 필요한 정보를 추출합니다.
for index, book_page_url in enumerate(book_page_urls):
html = urlopen(book_page_url)
bsObject = BeautifulSoup(html, "html.parser")
title = bsObject.find('span', 'prod_title').text
author = bsObject.find('h3', 'title_heading').a.span.text
image = bsObject.find('meta', {'property':'og:image'}).get('content')
url = bsObject.find('meta', {'property':'og:url'}).get('content')
price = bsObject.find('span', 'prod_info_price').span.text
print(index+1, title, author, image, url, price) |
실행결과입니다.
1 포스 메이킹 신은영 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791165346560.jpg https://product.kyobobook.co.kr/detail/S000200436452 14,400
2 만일 내가 인생을 다시 산다면(10만 부 기념 스페셜 에디션) 김혜남 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791190538510.jpg https://product.kyobobook.co.kr/detail/S000200128317 15,480
3 The Scent of PAGE : 룸스프레이 60ml 교보문고 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/8809457270323.jpg https://product.kyobobook.co.kr/detail/S000000352993 16,150
4 흔한남매 12 흔한남매 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791168414471.jpg https://product.kyobobook.co.kr/detail/S000200283871 13,050
5 트렌드 코리아 2023 김난도 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788959897094.jpg https://product.kyobobook.co.kr/detail/S000061863239 17,100
6 참을 수 없는 존재의 가벼움 밀란 쿤데라 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788937437564.jpg https://product.kyobobook.co.kr/detail/S000000619722 13,500
7 불편한 편의점(40만부 기념 벚꽃 에디션) 김호연 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791161571188.jpg https://product.kyobobook.co.kr/detail/S000001803157 12,600
8 모든 것은 기본에서 시작한다 손웅정 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791190382502.jpg https://product.kyobobook.co.kr/detail/S000001939534 14,400
9 내일, 내가 다시 좋아지고 싶어 황유나 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788972773696.jpg https://product.kyobobook.co.kr/detail/S000200367293 15,120
10 나는 논어를 만나 행복해졌다 판덩 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791158741716.jpg https://product.kyobobook.co.kr/detail/S000200298489 16,020
11 불편한 편의점 2(단풍 에디션) 김호연 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791161571379.jpg https://product.kyobobook.co.kr/detail/S000061532631 12,600
12 개념원리 고등 수학1(2022) 이홍섭 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788961335300.jpg https://product.kyobobook.co.kr/detail/S000060622451 17,100
13 아버지의 해방일지 정지아 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788936438838.jpg https://product.kyobobook.co.kr/detail/S000061694154 13,500
14 디 에센셜: 장미의 이름(완전판) 움베르토 에코 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788932922973.jpg https://product.kyobobook.co.kr/detail/S000200320699 28,350
15 오늘 밤, 세계에서 이 사랑이 사라진다 해도 이치조 미사키 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791191043297.jpg https://product.kyobobook.co.kr/detail/S000001947482 12,600
16 오투 중등 과학 3-1(2023) 비상교육 편집부 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791166097041.jpg https://product.kyobobook.co.kr/detail/S000061863562 17,100
17 복잡한 세상을 이기는 수학의 힘 류쉐펑 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9791158741754.jpg https://product.kyobobook.co.kr/detail/S000200369715 19,800
18 EBS 윤혜정의 개념의 나비효과 윤혜정 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788954770712.jpg https://product.kyobobook.co.kr/detail/S000200270145 15,750
19 쎈 고등 수학1(2023) 홍범준 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788928332045.jpg https://product.kyobobook.co.kr/detail/S000000533402 14,400
20 조국의 법고전 산책 조국 https://contents.kyobobook.co.kr/sih/fit-in/458x0/pdt/9788997780518.jpg https://product.kyobobook.co.kr/detail/S000200192344 19,800 |
