반응형
Python/웹크롤링2023. 10. 21. 22:10파이썬 웹 크롤링(Web Crawling) 강좌 : 2. Yes24 특정 키워드 책 검색 순위 출력하기

Yes24에서 특정 키워드로 검색하여 얻은 결과에서 원하는 책의 검색 순위를 출력합니다. 2015. 04. 12 최초작성 ….. 2021. 07. 09 상세 페이지 변경된 태그 반영 2022. 12. 18 동적 웹페이지로부터 웹 크롤링하기 위해 selenium 사용 2023. 5. 21 2023. 7. 9 교보문고에서 Yes24로 변경, 베스트셀러가 아닌 키워드 검색으로 변경 다음 예제 코드는 opencv 키워드로 검색하여 얻은 결과에서 '알짜배기 예제로 배우는 OpenCV' 책의 순위를 출력해줍니다. from urllib.request import urlopen from bs4 import BeautifulSoup keyword = 'opencv' search_book_name = '알짜배기 예제로 배..

Python/웹크롤링2023. 10. 21. 22:09파이썬 웹 크롤링(Web Crawling) 강좌 : 1. BeautifulSoup 간단 사용법

BeautifulSoup를 사용하여 간단한 웹 크롤러를 만드는 방법을 다루고 있습니다. 최초작성 2015. 10. 31 최종작성 2023. 5. 21 웹 크롤러(Web Crawler)는 웹문서, 이미지 등을 주기적으로 수집하여 자동으로 데이터베이스화하는 프로그램입니다. 웹 크롤러가 하는 작업을 웹 크롤링(Web Crawling)이라고 부릅니다. 보통 웹 크롤러를 사용하여 웹문서에서 필요한 정보를 가져옵니다. 검색 엔진은 이렇게 생성된 데이터를 인덱싱하여 빠른 검색을 할 수 있도록 합니다. 웹 페이지의 내용을 가져오는 간단한 웹 크롤러를 만들어 보겠습니다. 시작하기 전에 requests와 beautifulsoup4 패키지를 설치해줘야 합니다. pip install requests beautifulsoup4..

날짜 시간 기준 파일 삭제하는 파이썬 예제
Python/Python 예제 코드2023. 10. 21. 22:07날짜 시간 기준 파일 삭제하는 파이썬 예제

파일 이름을 날짜시간으로 지정한 후, 지정한 날짜보다 오래된 파일을 지우는 예제코드입니다. . 2022. 11. 09 최초작성 2023. 01. 21 파일 삭제하는 것 까지 구현 2023. 03. 27 모듈 임포트 방법 변경 및 파일 삭제 코드 수정 아래 코드를 실행해보면 3개의 비교식에 대해 모두 True가 출력됩니다. from datetime import datetime # 기준 날짜시간입니다. date_time_str = '20221109_065122_656' # 기준날짜보다 오래된 날짜시간입니다. date_time_old_str = '20221009_065122_656' # 기준날짜보다 최근 날짜시간입니다. date_time_new_str = '20221209_065122_656' # 문자열로 된..

Python/Python 예제 코드2023. 10. 21. 17:36UnicodeDecodeError: 'cp949' codec can't decode byte 0xe2 in position 5302: illegal multibyte sequence

윈도우에서 파일 읽는 코드를 사용시 다음과 같은 에러가 발생할 때가 있습니다. UnicodeDecodeError: 'cp949' codec can't decode byte 0xe2 in position 5302: illegal multibyte sequence with open('test.py', 'r') as f: text = f.read() print(text) 2023. 3. 28. 최초작성 이 문제를 해결하려면 encoding='utf-8'를 추가해줘야 합니다. with open('test.py', 'r', encoding='utf-8') as f: text = f.read() print(text)

Python/Python 예제 코드2023. 10. 21. 17:35리스트의 값 범위를 변환하는 파이썬 예제

리스트의 값 범위를 변환하는 파이썬 예제입니다. 2023. 5. 27 최초작성 실행 결과입니다. 값의 범위 0 ~ 80내 에 있는 값으로 구성된 리스트를 값의 범위 0 ~10, 0 ~ 1000, -50 ~ 50이 되도록 리스트로 변환한 결과를 보여줍니다. list_old [0, 20, 40, 60, 80] list_new_1 [0.0, 2.5, 5.0, 7.5, 10.0] list_new_2 [0.0, 250.0, 500.0, 750.0, 1000.0] list_new_3 [-50.0, -25.0, 0.0, 25.0, 50.0] 전체 코드입니다. list_old = list(range(0, 100, 20)) print('list_old', list_old) print() old_max = max(list..

디렉토리에 있는 파일 목록 가져오는 Python 예제
Python/Python - 파일2023. 10. 21. 17:35디렉토리에 있는 파일 목록 가져오는 Python 예제

지정한 디렉토리에 있는 파일 목록록을 가져오는 Python 예제 코드입니다. 재귀적으로 하위 디렉토리에 있는 파일 목록까지 가져옵니다. 2023. 1. 21 최초작성 2023. 6. 2 최종수정 다음과 같은 디렉토리 구조에서 test를 경로로 입력하여 테스트했습니다. 실행 결과입니다. test 디렉토리 아래에 있는 A,B 디렉토리와 B 디렉토리 아래에 있는 33 디렉토리에 있는 파일 목록까지 보여줍니다. 윈도우에서 실행해서 출력 결과에 \와 /가 뒤섞여 있습니다. ./test/1 ./test/2 ./test/3 ./test\A/11-1 ./test\A/11-2 ./test\B/22-1 ./test\B/22-2 ./test\B\33/33-1 ./test\B\33/33-2 사용한 전체 코드입니다. impor..

Python/Python 예제 코드2023. 10. 21. 17:33Python tqdm 예제 - 진행 상태를 프로그레스바로 보여줌

진행상태를 프로그레스바로 보여주는 Python tqdm 예제입니다. 2023. 6. 19 최초작성 우선 tqdm 패키지를 설치해야 합니다. pip install tqdm 코드를 실행하면 프로그레스바로 진행상태를 보여줍니다. 아래 로그는 진행 완료후의 상태입니다. (newenv) D:\code\Python>C:/Users/webnautes/miniconda3/envs/newenv/python.exe d:/code/Python/test_tqdm.py 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████..

Python/Python 예제 코드2023. 10. 21. 17:32두개의 리스트를 같은 순서로 정렬시키는 파이썬 예제

두개의 리스트를 같은 순서로 정렬시키는 파이썬 예제입니다. 2023. 6. 26 최초작성 zip를 사용하여 두개의 리스트를 하나로 묶은 다음, 첫 번째 리스트를 기준으로 정렬하고, 다시 두 개의 리스트로 분리합니다. 결과는 튜플이기 때문에 다시 다시 리스트로 변환해야 합니다. list1 = [2, 3, 1, 4] list2 = ['b', 'c', 'a', 'd'] zipped_lists = zip(list1, list2) sorted_zipped_lists = sorted(zipped_lists) list1, list2 = zip(*sorted_zipped_lists) list1 = list(list1) list2 = list(list2) print(list1) print(list2) 실행 결과입니다. ..

Python/Numpy2023. 10. 21. 17:31두 개의 넘파이 배열을 같은 순서로 정렬하기

넘파이의 argsort 함수를 사용하여 첫 번째 배열을 오름순으로 정렬하는 인덱스를 얻은 다음, 두 번째 배열에 이 인덱스를 적용하여 첫 번째 배열과 동일한 순서로 정렬합니다. 2023. 6. 27 최초작성 import numpy as np array1 = np.array([2, 1, 4, 3, 5]) array2 = np.array(['b', 'a', 'd', 'c', 'e']) # 첫번째 배열을 정렬하는 인덱스를 얻습니다. sort_indices = np.argsort(array1) # 인덱스를 사용하여 두 배열을 같은 순서로 정렬합니다. array1_sorted = array1[sort_indices] array2_sorted = array2[sort_indices] print(array1) pri..

Python Thread  예제
Python/Python - 스레드&프로세스2023. 10. 21. 17:30Python Thread 예제

파이썬에서 스레드를 사용하는 방법을 다루고 있습니다. 1. 쓰레드 (Thread) 2. 스레드 생성 및 실행 3. join 함수 4. 데몬 쓰레드 5. Concurrent.futures 모듈 6. 전역 변수 공유 7. GIL(Global Interpreter Lock) 8. 프로세스 생성하여 실행하기 9. Thread vs Process 2022. 8. 6 최초작성 1. 쓰레드 (Thread) 파이썬 코드를 실행하면 보통 위에서 아래로 순차적으로 실행됩니다. 때로는 함수나 조건문, 반복문등에 의해서 실행 순서가 바뀔 수도 있습니다. 하나의 작업이 오래 걸리는 작업이라면 이 작업을 백그라운드로 실행해두고 결과가 리턴되기 전까지 다른 작업을 하고 싶을 수 있습니다. 이렇게 하려면 코드를 병렬로 실행해야 하며..

반응형
image