web crawling 검색 결과

3 개의 검색 결과가 있습니다.

Python/웹 크롤링(Web Crawling) 강좌

파이썬 웹 크롤링(Web Crawling) 강좌 - 3. 네이버 베스트셀러 책이름, 저자, 가격 출력하기

네이버 베스트셀러 주간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 25권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 출판사, 발행일자를 출력합니다. 최초 작성 2018. 9. 9 2020. 2. 8 urlopen 함수를 사용하여 네이버에서 베스트셀러 목록을 가져올 때 "HTTP Error 500" 에러가 발생했던 문제를 해결했습니다. 본 포스트를 작성시에는 문제 없었는데 어느 순간부터인가 안되기 시작한 듯합니다. 2023. 5.21 동작하지 않던 코드를 수정했습니다. 번역서인 경우 번역가가 추가되어 출판사 출력하는 부분에 오류가 있습니다. 기존에 사용하던 urlopen을 대신에 셀레륨(selenium)을 사용합니다. 코드를 실행시키면 코드에서 지정한 웹브라..

2023. 5. 21. 08:44

Python/웹 크롤링(Web Crawling) 강좌

파이썬 웹 크롤링(Web Crawling) 강좌 - 1. 웹페이지 긁어오기

BeautifulSoup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. 최초작성 2015. 10. 31 최종작성 2023. 5. 21 웹 크롤러(Web Crawler)는 웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 보통 웹 크롤러를 사용하여 웹문서에서 필요한 정보를 가져옵니다. 검색 엔진은 이렇게 생성된 데이터를 인덱싱하여 빠른 검색을 할 수 있도록 합니다. 웹 페이지의 내용을 가져오는 간단한 웹 크롤러를 만들어 보겠습니다. 시작하기 전에 requests와 beautifulsoup4 패키지를 설치해줘야 합니다. pip install requests beautifulsoup4..

2023. 5. 21. 07:53

Python/웹 크롤링(Web Crawling) 강좌

파이썬 웹 크롤링(Web Crawling) 강좌 - 2. 교보문고 베스트셀러 책이름, 저자, 가격 출력하기

교보문고 베스트셀러 일간 순위에 있는 책의 정보를 가져오는 예제입니다. 첫페이지에 있는 20권의 책목록에서 링크를 추출하여 각 추출된 링크로 접속하여 책이름, 저자, 가격 정보등을 출력합니다. 2015. 04. 12 최초작성 ….. 2021. 07. 09 상세 페이지 변경된 태그 반영 2022. 12. 18 동적 웹페이지로부터 웹 크롤링하기 위해 selenium 사용 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from bs4 import BeautifulSoup from urllib.request..

2022. 12. 18. 22:58