뷰티플수프를 사용하여 기상청의 단예보를 웹크롤링합니다.유튜브 영상 제작할때와 웹페이지가 많이 달라졌습니다. 영상을 무시하시고 아래 코드만 살펴보세요. 2020. 03. 10 최초작성 2022. 12. 19 2023. 5. 21 검증 from urllib.request import urlopen from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from bs4 import BeautifulSoup from urllib.request import urlopen import datetime driver = w..

네이버 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 25권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 출판사, 발행일자를 출력합니다. 2018. 9. 9 최초 작성 2020. 2. 8 urlopen 함수를 사용하여 네이버에서 베스트셀러 목록을 가져올 때 "HTTP Error 500" 에러가 발생했던 문제를 해결했습니다. 본 포스트를 작성시에는 문제 없었는데 어느 순간부터인가 안되기 시작한 듯합니다. 2023. 5.21 동작하지 않던 코드를 수정했습니다. 번역서인 경우 번역가가 추가되어 출판사 출력하는 부분에 오류가 있습니다. 기존에 사용하던 urlopen을 대신에 셀레륨(selenium)을 사용합니다. 코드를 실행시키면 코드에서 지정한 웹브라..

Yes24에서 특정 키워드로 검색하여 얻은 결과에서 원하는 책의 검색 순위를 출력합니다. 2015. 04. 12 최초작성 ….. 2021. 07. 09 상세 페이지 변경된 태그 반영 2022. 12. 18 동적 웹페이지로부터 웹 크롤링하기 위해 selenium 사용 2023. 5. 21 2023. 7. 9 교보문고에서 Yes24로 변경, 베스트셀러가 아닌 키워드 검색으로 변경 다음 예제 코드는 opencv 키워드로 검색하여 얻은 결과에서 '알짜배기 예제로 배우는 OpenCV' 책의 순위를 출력해줍니다. from urllib.request import urlopen from bs4 import BeautifulSoup keyword = 'opencv' search_book_name = '알짜배기 예제로 배..

BeautifulSoup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. 최초작성 2015. 10. 31 최종작성 2023. 5. 21 웹 크롤러(Web Crawler)는 웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 보통 웹 크롤러를 사용하여 웹문서에서 필요한 정보를 가져옵니다. 검색 엔진은 이렇게 생성된 데이터를 인덱싱하여 빠른 검색을 할 수 있도록 합니다. 웹 페이지의 내용을 가져오는 간단한 웹 크롤러를 만들어 보겠습니다. 시작하기 전에 requests와 beautifulsoup4 패키지를 설치해줘야 합니다. pip install requests beautifulsoup4..