Apple Silicon Macbook에 PyTorch를 설치하는 과정을 다루고 있습니다. 글 작성을 위한 테스트는 Macbook M1에서 진행했습니다. 다음 링크를 참고하여 작성했습니다. https://betterprogramming.pub/how-to-install-pytorch-on-apple-m1-series-512b3ad9bc6 https://pnote.eu/notes/pytorch-mac-setup/ 2021. 5. 2. 최초작성 2024. 3. 9 제목 변경 0. 다음 포스트를 참고하여 Xcode를 설치합니다. MacBook M1에 Xcode 설치하기 https://webnautes.tistory.com/2024 1. 다음 포스트대로 Macbook에 Miniforge를 설치하여 Python ..
Apple Silicon Macbook에 Tensorflow를 설치하는 방법을 다룹니다. Macbook M1에서 테스트 했지만 참고한 링크에서 지원하는 디바이스로 Apple silicon라고 적혀있는 것으로 봐서는 M2,M3에서도 가능할 것으로 예상됩니다. 참고 https://developer.apple.com/metal/tensorflow-plugin/ 2022. 2. 4 최초작성 2022. 5. 2 xcode 설치 추가 2024. 3. 2 Apple silicon 내용 추가 0. 다음 포스트를 참고하여 Xcode를 설치합니다. MacBook M1에 Xcode 설치하기 https://webnautes.tistory.com/2024 1. 다음 포스트를 참고하여 Miniforge를 설치합니다. Apple ..
Fine-tuning은 대량의 데이터셋을 사용하여 사전 학습된 모델을 새로운 데이터셋에 대해 추가적으로 학습시키는 과정을 의미합니다. 이 방법은 전이학습(transfer learning)의 한 형태로 볼 수 있으며, 사전 학습을 통해 얻은 것을 새로운 작업을 학습시키는데 활용하는 것을 목표로 합니다. Fine-tuning에서 사전 학습된 모델의 가중치를 초기값으로 사용합니다. 파인 튜닝을 하게되면 모델의 첫부분에 있는 레이어들은 보통 일반적인 특징(예: 이미지의 엣지나 텍스처와 같은 저수준 특징)을 인식하는 데 중ㅁ점을 둔다면, 뒷부분 레이어들은 새로운 데이터셋의 특화된 정보와 고수준의 특징을 학습하게 됩니다. 대량의 데이터셋에서 사전 학습된 모델을 새로운 데이터셋에 대해 Fine-tuning하는 방식의..
문장의 유사도를 비교시 사용할 수 있는 Sentence Transformers 사용 방법을 다룹니다. 다음 문서를 기반으로 작성했습니다. Quickstart https://www.sbert.net/docs/quickstart.html#comparing-sentence-similarities 2024. 3. 2 최초작성 다음처럼 sentence-transformers 패키지를 설치해야 합니다. pip install sentence-transformers 테스트 해볼떄 기본 파이썬 환경과 독립적으로 패키지를 설치할 수 있는 Miniconda 사용을 추천합니다. Visual Studio Code와 Miniconda를 사용한 Python 개발 환경 만들기( Windows, Ubuntu) https://webna..
허깅페이스의 다음 문서를 정리했습니다. transformers 라이브러리를 사용하여 LLM을 사용하는 모든 것을 다루지는 않습니다. 좀 더 상세한 문서를 보기 전에 보면 좋을듯합니다. 원문에 있던 모델 파인튜닝하고 저장하는 방법은 제외했습니다. Quick tour https://huggingface.co/docs/transformers/quicktour 문서버전 V4.37.2 2024. 3. 1 최초작성 Transformer 라이브러리를 사용하면 다양한 작업을 다루는 사전학습된 대규모 언어 모델(Large Language Models, LLM)를 쉽게 다뤄볼 수 있습니다. 허깅페이스 허브( https://huggingface.co/models )에 공개된 다양한 작업의 사전학습된 모델을 로드하여 추론해볼..
transformers 라이브러리의 model.generate 사용시 발생한 에러입니다. 이 메시지가 나온 상태에서 멈춰서 진행이 되지 않았습니다. 모델은 젬마(gemma)를 사용했습니다. This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (8192). Depending on the model, you may observe exceptions, performance degradation, or nothing at all. Deepl을 사용하여 번역해봤습니다. 현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(8192)를 초과한다는 알림입니다. 모델에..
코랩 colab에서 transformers 라이브러리로 LLM 학습시 checkpoint 사용하는 방법을 정리해봤습니다. 2024. 2. 26 최초작성 2024. 2. 27 LLM(Large Language Models)에 대한 파인 튜닝, LoRA, QLoRA을 최근 코랩에서 진행하다보니 그동안 신경안쓰던 체크포인트를 사용할 일이 생겼습니다. 코랩에서 학습을 진행하다보면 런타임 연결이 끊어져서 학습이 중단되는 경우가 종종 발생하기 때문입니다. 모델을 학습하는 중간 결과물인 체크포인트를 저장하면 학습이 중단되었을 경우 이어서 학습을 진행할 수 있더군요. transformers 라이브러리를 사용할시에는 TrainingArguments에서 체크포인트에 대한 설정을 다음처럼 할 수 있습니다. transform..
gemma 모델은 4가지가 공개되었으며 AutoModelForCausalLM와 AutoTokenizer를 사용해서 사용가능했습니다. 예제 코드는 모델 페이지에 있습니다. 7B base model https://huggingface.co/google/gemma-7b 2B base model https://huggingface.co/google/gemma-2b 7B instruct model https://huggingface.co/google/gemma-7b-it 2B instruct model https://huggingface.co/google/gemma-2b-it 2024. 2. 22 최초작성 2024. 2. 23 수정 2024. 2. 27 코랩에서 허깅페이스를 사용하여 gemma를 사용할 경우 허깅..
LoRA 개념을 간단히 간단히 정리했습니다. 2024. 2. 4 최초작성 2024. 2. 8 그림 추가 2024. 2. 22 내용 보충 대규모 언어 모델(LLM)은 방대한 양의 데이터 세트에 대한 광범위한 학습을 진행합니다. 하지만 이렇게 학습된 지식은 일반화된 지식이어서 높은 정확도가 요구되는 특정 분야의 작업에는 충분하지 않을 수 있습니다. 다행인 것은 특정 분야의 작업을 위해 학습시킬때 처음부터 할 필요가 없습니다. 미세 조정(파인 튜닝)을 통해 기존의 학습된 가중치를 조정함으로써 모델을 특정 작업에 맞게 최적화할 수 있습니다. 하지만 모델이 큰 경우엔 노트북에서 사용되는 GPU에서는 미세 조정이 어려운 작업입니다. 이것을 가능하게 해주는 것이 LoRA입니다. LoRA의 핵심 아이디어는 모델의 가중..
Ubuntu에서 문제 없는데 코랩 Colab에서 아래와 같은 메시지가 보였습니다. The model 'OptimizedModule' is not supported for text-generation. Supported models are ['BartForCausalLM', 'BertLMHeadModel', 'BertGenerationDecoder', 'BigBirdForCausalLM', 'BigBirdPegasusForCausalLM', 'BioGptForCausalLM', 'BlenderbotForCausalLM', 'BlenderbotSmallForCausalLM', 'BloomForCausalLM', 'CamembertForCausalLM', 'LlamaForCausalLM', 'CodeGenFo..