WSL2에 CUDA 사용하도록 Tensorflow 설치하는 방법을 다룹니다. 2022. 11. 26 최초작성 2023. 2. 12 tensorflow-gpu 대신에 tensorflow 설치 2023. 4. 3 gpu 사용하기 위한 확인사항 추가 2024. 1. 9 2024. 2. 4 텐서플로우 버전 선택 정리 2024. 3. 11 tensorflow[and-cuda] 설치시 발생한 문제 해결방법 추가 2024. 3. 13 2024. 3. 14 2024. 3. 16 NVIDIA 그래픽 카드 드라이버 설치 방법 분리 Tensorflow에서 GPU를 사용하려면 다음 버전 이상으로 윈도우를 업데이트 해야 합니다. 윈도우 11은 아래 언급한 버전보다 상위 버전인것으로 보입니다. Windows 10 19044 이상..
WSL2에서 CUDA 사용할 수 있도록 PyTorch 2.0 설치하는 방법을 다룹니다. 2023. 8. 4 최초작성 2024. 1. 9 CUDA 따로 설치 안함. 2024. 3. 16 NVIDIA 그래픽 카드 드라이버 설치 방법 분리 우선 윈도우에 WSL2를 설치하여 Ubuntu를 사용할 수 있는 환경을 만들어야 합니다. 아직 설치안되어 있다면 아래 포스트를 따라 진행하세요. WSL2를 설치하여 Ubuntu 22.04 사용하는 방법 https://webnautes.tistory.com/1847 Miniconda 개발 환경 설치 다음 포스트를 참고하여 Miniconda 개발환경을 설치하세요. Ubuntu 설명을 따라하면 됩니다. 파이썬 프로젝트 별로 패키지를 따로 관리할 수 있습니다. 주의할 점은 Mini..
CUDA 버전별로 설치가능한 Tensorflow, PyTorch 버전을 확인하는 방법을 다룹니다. 2024. 3. 14 최초작성 Tensorflow CUDA 버전별로 설치가능한 Tensorflow 버전은 아래 링크에서 확인할 수 있습니다. https://www.tensorflow.org/install/source?hl=ko#gpu 가급적이면 Tensorflow 버전에 맞는 CUDA를 설치하는 것을 권장하는 것으로 보입니다. Tensorflow와 CUDA를 같이 설치해주는 tensorflow[and-cuda] 패키지를 설치해보면 Tensorflow 버전에 따라 설치되는 CUDA 버전이 다릅니다. CUDA 버전이 적절하지 않으면 Tensorflow에서 GPU를 사용할 수 없습니다. Tensorflow 설치하..
tensorflow를 사용하던 중에 발생한 failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected 에러가 나는 경우 해결하는 방법입니다. 2024. 3. 14 최초작성 다음 코드를 추가하면 해결됩니다. import os os.environ['CUDA_VISIBLE_DEVICES'] = "0" 참고 https://stackoverflow.com/a/51767213
Ubuntu 22.04에 CUDA를 사용하도록 Tensorflow 설치하는 방법을 다룹니다. 최근(아마도 작년 11월경부터) Tensorflow에서 cuda를 사용시 바뀐점을 다시 정리했습니다. 2022. 12. 2 최초작성 2023. 2. 12 tensorflow-gpu 대신 tensorflow 설치로 변경 The "tensorflow-gpu" package has been removed! https://webnautes.tistory.com/1797 2024. 1. 4 cuda 설치 항목 삭제 , miniconda 개발 환경 추가 예전처럼 Tensorflow 패키지가 GPU를 사용하는 패키지와 CPU를 사용하는 패키지로 분리되었습니다. GPU 사용하는 패키지의 경우엔 CUDA 패키지가 같이 설치되기 ..
Windows와 Ubuntu, WSL2에서 CUDA(GPU)를 사용하는 Tensorflow와 Pytorch를 설치하는 방법을 다룹니다. 추가로 Apple Silicon Macbook에서 GPU를 사용하도록 Tensorflow와 Pytorch를 설치하는 방법도 추가되었습니다. 2024. 1. 7 최초작성 2024. 1. 9 WSL2 추가 2024. 3. 9 Apple Silicon Macbook 추가 Windows Windows에 CUDA 11.8 PyTorch 2.1.2 설치하는 방법 https://webnautes.tistory.com/1850 Windows에서 CUDA를 사용하도록 PyTorch 1.8 설치하는 방법 https://webnautes.tistory.com/1880 Windows에 CUD..
Apple Silicon Macbook에 PyTorch를 설치하는 과정을 다루고 있습니다. 글 작성을 위한 테스트는 Macbook M1에서 진행했습니다. 다음 링크를 참고하여 작성했습니다. https://betterprogramming.pub/how-to-install-pytorch-on-apple-m1-series-512b3ad9bc6 https://pnote.eu/notes/pytorch-mac-setup/ 2021. 5. 2. 최초작성 2024. 3. 9 제목 변경 0. 다음 포스트를 참고하여 Xcode를 설치합니다. MacBook M1에 Xcode 설치하기 https://webnautes.tistory.com/2024 1. 다음 포스트대로 Macbook에 Miniforge를 설치하여 Python ..
Apple Silicon Macbook에 Tensorflow를 설치하는 방법을 다룹니다. Macbook M1에서 테스트 했지만 참고한 링크에서 지원하는 디바이스로 Apple silicon라고 적혀있는 것으로 봐서는 M2,M3에서도 가능할 것으로 예상됩니다. 참고 https://developer.apple.com/metal/tensorflow-plugin/ 2022. 2. 4 최초작성 2022. 5. 2 xcode 설치 추가 2024. 3. 2 Apple silicon 내용 추가 0. 다음 포스트를 참고하여 Xcode를 설치합니다. MacBook M1에 Xcode 설치하기 https://webnautes.tistory.com/2024 1. 다음 포스트를 참고하여 Miniforge를 설치합니다. Apple ..
Fine-tuning은 대량의 데이터셋을 사용하여 사전 학습된 모델을 새로운 데이터셋에 대해 추가적으로 학습시키는 과정을 의미합니다. 이 방법은 전이학습(transfer learning)의 한 형태로 볼 수 있으며, 사전 학습을 통해 얻은 것을 새로운 작업을 학습시키는데 활용하는 것을 목표로 합니다. Fine-tuning에서 사전 학습된 모델의 가중치를 초기값으로 사용합니다. 파인 튜닝을 하게되면 모델의 첫부분에 있는 레이어들은 보통 일반적인 특징(예: 이미지의 엣지나 텍스처와 같은 저수준 특징)을 인식하는 데 중ㅁ점을 둔다면, 뒷부분 레이어들은 새로운 데이터셋의 특화된 정보와 고수준의 특징을 학습하게 됩니다. 대량의 데이터셋에서 사전 학습된 모델을 새로운 데이터셋에 대해 Fine-tuning하는 방식의..
문장의 유사도를 비교시 사용할 수 있는 Sentence Transformers 사용 방법을 다룹니다. 다음 문서를 기반으로 작성했습니다. Quickstart https://www.sbert.net/docs/quickstart.html#comparing-sentence-similarities 2024. 3. 2 최초작성 다음처럼 sentence-transformers 패키지를 설치해야 합니다. pip install sentence-transformers 테스트 해볼떄 기본 파이썬 환경과 독립적으로 패키지를 설치할 수 있는 Miniconda 사용을 추천합니다. Visual Studio Code와 Miniconda를 사용한 Python 개발 환경 만들기( Windows, Ubuntu) https://webna..