Ubuntu 22.04에 CUDA를 사용하도록 PyTorch 설치하는 방법을 다룹니다. 2023. 4. 9 최초작성 2023. 1. 6 따로 CUDA 설치 안해도 되는 점 발견 Miniconda 개발 환경 설치 다음 포스트를 참고하여 Miniconda 개발환경을 설치하세요. 파이썬 프로젝트 별로 패키지를 따로 관리할 수 있습니다. Visual Studio Code와 Miniconda를 사용한 Python 개발 환경 만들기( Windows, Ubuntu) https://webnautes.tistory.com/1842 PyTorch 설치 아래 링크에 접속하여 Your OS는 Linux, Package는 Conda, Language는 Python, Compute Platform은 CUDA 12.1을 선택하면 ..
Transformer 개념에 대해 정리한 글입니다. 2023. 11. 11 최초작성 시퀀스 데이터(sequence data) 시퀀스 데이터는 “나는 고양이가 좋다”처럼 순서가 있는 단어의 나열이나 하루의 온도 같은 순서가 있는 수치의 나열 등을 의미합니다. 본 글에서는 시퀀스 데이터를 단어의 나열로 구성된 문장 또는 문장으로 구성된 텍스트를 의미한다고 가정하겠습니다. 시퀀스 변환(sequence transduction) 모델 시퀀스 변환 모델은 시퀀스 데이터를 입력으로 사용하여 다른 형태의 시퀀스 데이터를 출력하는 모델을 의미합니다. 예를 들어 영어 문장 "Hello, how are you?”을 입력으로 사용하여 한국어 문장 "안녕하세요, 어떻게 지내세요?”를 출력하는 것입니다. 또는 문서를 짧은 글로 ..
최종작성 2023. 11. 10 확인결과 본 포스트에 있는 Tensorflow를 사용하려면 Raspberry Pi 4 32비트 OS를 설치해야 합니다. Raspberry Pi 4에 Tensorflow를 설치하는 데에는 문제가 없었는데 $ pip3 install tensorflow Tensorflow 모듈을 임포트하려고 하니 에러가 발생했습니다. $ python3 Python 3.7.3 (default, Jul 25 2020, 13:03:44) [GCC 8.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import tensorflow 2021-06-15 20:42:11.782016: E tens..
Optuna를 사용하여 MNIST 데이터셋에 대한 keras 분류 모델의 하이퍼파라미터를 최적화하는 예제코드입니다. 2023. 11. 5 최초작성 실행결과입니다. (tensorflow-dev) webnautes@webnautesui-MacBookAir keras_example % /Users/webnautes/miniforge3/envs/tensorflow-dev/bin/python /Users/webnautes/keras_example/optuna _mnist.py [I 2023-11-05 12:06:30,500] A new study created in memory with name: no-name-42c2fbc2-e7d7-4e40-a7af-f9c08dc199a5 Metal device set to:..
Optuna를 사용하여 iris 데이터셋에 대한 Keras 분류 모델 하이퍼파라미터를 최적화하는 예제입니다. 2023. 10. 20 최초작성 최적화 시도를150번 한 결과입니다. [I 2023-10-20 15:34:32,846] A new study created in memory with name: no-name-a9a9d87a-1258-4aee-91ac-09818702060f Metal device set to: Apple M1 systemMemory: 16.00 GB maxCacheSize: 5.33 GB [I 2023-10-20 15:34:38,095] Trial 0 finished with value: 0.2703423798084259 and parameters: {'n_units_l1': 55..
기대값 개념에 대해 설명합니다. 기대값 개념에 대해 설명합니다. ChatGPT와 대화한 내용을 기반으로 작성했습니다. 2023. 11. 5 최초작성 기대값을 이해하려면, 먼저 "확률"을 이해해야 합니다. 확률은 어떤 일이 일어날 가능성을 수치로 나타낸 것입니다. 예를 들어, 주사위를 던지면 1부터 6까지의 숫자 중 하나가 나올 확률은 모두 같아서 1/6입니다. 게임에서 이기면 사탕 5개를, 지면 사탕을 1개 받는다고 해봅시다. 게임에 참여하는 사람들은 모두 같은 실력이라고 가정하면, 이길 확률과 질 확률은 1/2, 즉 50%가 됩니다. 게임을 한 번 할 때 얼마나 많은 사탕을 받을지 기대하는 것이 기대값입니다. 기대값을 계산하려면 이길 때 사탕 5개를 받을 확률(1/2)과 질 때 사탕 1개를 받을 확률(..
onnx 파일의 shape를 확인하는 방법입니다. 2023. 11. 5 최초작성 참고 https://stackoverflow.com/questions/56734576/find-input-shape-from-onnx-file >>> import onnxruntime as ort >>> model = ort.InferenceSession("bytetrack_s.onnx", providers=['CUDAExecutionProvider', 'CPUExecutionProvider']) C:\Users\jeong\miniconda3\envs\bytetrack\lib\site-packages\onnxruntime\capi\onnxruntime_inference_collection.py:53: UserWarning: ..
Keras로 구현한 MNIST Image Classification입니다. 2023. 05. 06 최초작성 import tensorflow as tf import matplotlib.pyplot as plt # MNIST 데이터셋을 로드하여 Train 데이터셋은 x_train, y_train에 대입히고 Test 데이터셋은 x_test, y_test에 대입됩니다. # x_train과 x_test에는 28 x 28 크기의 정사각형 이미지가 저장되어 있으며 # y_train과 y_test에는 28 x 28 크기의 이미지가 나타내는 0 ~ 9 사이의 숫자가 저장되어 있으며 라벨(label)이라고 부릅니다. (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mn..
스택오버플로우에서 찾은 내용을 기반으로 신경망에서 편향의 역할을 정리해봤습니다. 출처 - https://stackoverflow.com/questions/2480650/what-is-the-role-of-the-bias-in-neural-networks 2022. 3. 9 - 최초작성 먼저 편향이 없는 입력과 출력이 하나인 신경망을 고려해봅니다. 입력 x에 가중치 w0을 곱한 결과를 활성화 함수의 입력으로 사용합니다. 활성화 함수의 성질에 따라 결정되는 출력이 신경망의 출력이 됩니다. 여기에선 활성화함수로 시그모이드(sigmoid) 함수를 사용합니다. y = sigmoid(x * w0) 아래 그림은 가중치 w0 값을 변화시키며 입력 x 에 대한 신경망의 출력 y를 보여줍니다. 활성화 함수로 시그모이드를 ..
캐글의 딥러닝 튜토리얼을 바탕으로 정리한 문서입니다. 개인적으로 추가한 내용이 있어서 원문 내용에 차이가 있습니다. Intro to Deep Learning https://www.kaggle.com/learn/intro-to-deep-learning 추가로 참고 https://mongxmongx2.tistory.com/26 https://brunch.co.kr/@mnc/8 2022. 3. 3 최초작성 2022. 3. 20 Overfitting과 Underfitting Keras는 모델을 훈련시키는 동안 train 데이터 세트를 여러번 입력으로 사용하게 됩니다. 한번 train 데이터 세트를 입력으로 사용할때마다 epoch가 1씩 증가하며 이때마다 compile 메소드로 지정한 메트릭인 훈련/검증 손실, ..