반응형

Deep Learning/강좌&예제 코드 70

Optuna를 사용한 Keras 분류 모델 하이퍼파라미터 최적화 - Mnist

Optuna를 사용하여 MNIST 데이터셋에 대한 keras 분류 모델의 하이퍼파라미터를 최적화하는 예제코드입니다. 2023. 11. 5 최초작성 실행결과입니다. (tensorflow-dev) webnautes@webnautesui-MacBookAir keras_example % /Users/webnautes/miniforge3/envs/tensorflow-dev/bin/python /Users/webnautes/keras_example/optuna _mnist.py [I 2023-11-05 12:06:30,500] A new study created in memory with name: no-name-42c2fbc2-e7d7-4e40-a7af-f9c08dc199a5 Metal device set to:..

Optuna를 사용한 Keras 분류 모델 하이퍼파라미터 최적화 - iris

Optuna를 사용하여 iris 데이터셋에 대한 Keras 분류 모델 하이퍼파라미터를 최적화하는 예제입니다. 2023. 10. 20 최초작성 최적화 시도를150번 한 결과입니다. [I 2023-10-20 15:34:32,846] A new study created in memory with name: no-name-a9a9d87a-1258-4aee-91ac-09818702060f Metal device set to: Apple M1 systemMemory: 16.00 GB maxCacheSize: 5.33 GB [I 2023-10-20 15:34:38,095] Trial 0 finished with value: 0.2703423798084259 and parameters: {'n_units_l1': 55..

onnx 파일의 shape 확인하기

onnx 파일의 shape를 확인하는 방법입니다. 2023. 11. 5 최초작성 참고 https://stackoverflow.com/questions/56734576/find-input-shape-from-onnx-file >>> import onnxruntime as ort >>> model = ort.InferenceSession("bytetrack_s.onnx", providers=['CUDAExecutionProvider', 'CPUExecutionProvider']) C:\Users\jeong\miniconda3\envs\bytetrack\lib\site-packages\onnxruntime\capi\onnxruntime_inference_collection.py:53: UserWarning: ..

폴더에 있는 파일을 지정한 비율로 두개의 폴더에 복사하는 파이썬 예제

폴더에 있는 파일을 지정한 비율로 두 개의 폴더에 복사하는 파이썬 예제 코드입니다. 2023. 10. 23 최초작성 import os import shutil import random def split_and_copy_files(src_folder, dest_folder1, dest_folder2, ratio=0.2): """ - src_folder : 원본 디렉토리 - dest_folder1 : 분할될 디렉토리 1 - dest_folder2 : 분할될 디렉토리 2 - ratio : 분할비율 """ # 원본 디렉토리에 있는 파일 목록을 리스트에 저장합니다 files = [f for f in os.listdir(src_folder) if os.path.isfile(os.path.join(src_folder..

Keras MNIST Image Classification 예제

Keras로 구현한 MNIST Image Classification입니다. 2023. 05. 06 최초작성 import tensorflow as tf import matplotlib.pyplot as plt # MNIST 데이터셋을 로드하여 Train 데이터셋은 x_train, y_train에 대입히고 Test 데이터셋은 x_test, y_test에 대입됩니다. # x_train과 x_test에는 28 x 28 크기의 정사각형 이미지가 저장되어 있으며 # y_train과 y_test에는 28 x 28 크기의 이미지가 나타내는 0 ~ 9 사이의 숫자가 저장되어 있으며 라벨(label)이라고 부릅니다. (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mn..

캐글 딥러닝 강좌 정리 3 - 과적합(Overfitting)과 해결 방법(dropout, batch normalization)

캐글의 딥러닝 튜토리얼을 바탕으로 정리한 문서입니다. 개인적으로 추가한 내용이 있어서 원문 내용에 차이가 있습니다. Intro to Deep Learning https://www.kaggle.com/learn/intro-to-deep-learning 추가로 참고 https://mongxmongx2.tistory.com/26 https://brunch.co.kr/@mnc/8 2022. 3. 3 최초작성 2022. 3. 20 Overfitting과 Underfitting Keras는 모델을 훈련시키는 동안 train 데이터 세트를 여러번 입력으로 사용하게 됩니다. 한번 train 데이터 세트를 입력으로 사용할때마다 epoch가 1씩 증가하며 이때마다 compile 메소드로 지정한 메트릭인 훈련/검증 손실, ..

캐글 딥러닝 강좌 정리 2 - 확률적 경사 하강법(Stochastic Gradient Descent), 손실함수, 옵티마이저

캐글의 딥러닝 튜토리얼을 바탕으로 정리한 문서입니다. 개인적으로 추가한 내용이 있어서 원문 내용과 차이가 있습니다. 이번에 다루는 내용은 수식에 대한 이해가 되면 수정할 부분이 있을 듯합니다. Intro to Deep Learning https://www.kaggle.com/learn/intro-to-deep-learning 2022. 3. 1 최초작성 레이어를 쌓아서 완전 연결 신경망( fully-connected neural network)을 만들 수 있습니다. 처음 신경망이 생성될 때에는 모든 신경망의 가중치가 보통 무작위로 설정되기 때문에 신경망은 주어진 입력으로부터 추론되어야 하는 예상 가능한 출력을 만들기 위한 정보를 아무것도 갖고 있지 않습니다. 이미지 출처 - https://www.rese..

캐글 딥러닝 강좌 정리 1 - 뉴런(Neuron)과 깊은 신경망(DNN)

캐글의 딥러닝 튜토리얼을 바탕으로 정리한 문서입니다. 개인적으로 추가한 내용이 있어서 원문 내용과 차이가 있습니다. Intro to Deep Learning https://www.kaggle.com/learn/intro-to-deep-learning 2022. 2. 27 최초작성 뉴런(neuron) 인공 뉴런 또는 뉴런은 신경망(neural network)의 기본 구성 요소입니다. 생물학적 뉴런에서 영감을 받아 만들어졌기 때문에 생물학적 뉴런과 구조상 유사점이 있습니다. 다음 그림은 하나의 뉴런입니다. 뉴런에 하나의 값 x가 입력되고 하나의 값 y가 출력되고 있습니다. 입력의 값이 뉴런으로 전달될때, 입력과 뉴런 사이에 연결된 에지에 있는 가중치가 곱해집니다. 입력 x는 가중치 w가 곱해져 뉴런에 전달되..

이상치(Outlier) 제거하는 Python 예제 코드

표준화 전후로 이상치(Outlier)를 제거하는 Python 예제 코드입니다. 2022. 4. 5 최초작성 이상치는 대부분의 값과 다르게 아주 작거나 아주 큰 값을 의미합니다. 평균 ± 표준편차 × 3 을 벗어나는 것을 이상치로 취급하여 제거해본 예제 코드입니다. 표준화를 적용 전후에 각각 이상치를 제거해봤습니다. 전체 코드입니다. import pandas as pd import numpy as np import matplotlib.pyplot as plt from collections import Counter # 5개의 특징으로 구성된 샘플 40개 생성 a = np.random.randint(1, 13, size=200).reshape(40, 5) df_raw = pd.DataFrame(a) # 0번..

표준정규분포 표준화 (standardization)

상관 계수(Correlation coefficient) 중 하나인 피어슨 상관 계수(Pearson Correlation Coefficient)의 개념에 대해 정리했습니다. 2022. 5. 23 최초작성 상관 계수 상관 계수는 두 변수 간의 연관성 강도를 측정합니다. 본 글에서는 상관 계수 중 하나인 피어슨 상관 계수에 대해 알아봅니다. 피어슨 상관 계수는 두 변수 간의 선형 연관 강도를 측정합니다. 피어슨 상관 계수 피어슨 상관 계수는 두 변수 간의 선형 연관 강도를 측정합니다. 상관 계수의 범위는 항상 -1과 1 사이입니다. 계수의 부호는 관계의 방향을 알려줍니다. 양수 값은 두 변수가 같은 방향으로 함께 변경됨을 의미하고 음수 값은 두 변수가 반대 방향으로 변경됨을 의미합니다. 양의 상관관계는 한 변..

반응형