허깅페이스의 다음 문서를 정리했습니다. transformers 라이브러리를 사용하여 LLM을 사용하는 모든 것을 다루지는 않습니다. 좀 더 상세한 문서를 보기 전에 보면 좋을듯합니다. 원문에 있던 모델 파인튜닝하고 저장하는 방법은 제외했습니다. Quick tour https://huggingface.co/docs/transformers/quicktour 문서버전 V4.37.2 2024. 3. 1 최초작성 Transformer 라이브러리를 사용하면 다양한 작업을 다루는 사전학습된 대규모 언어 모델(Large Language Models, LLM)를 쉽게 다뤄볼 수 있습니다. 허깅페이스 허브( https://huggingface.co/models )에 공개된 다양한 작업의 사전학습된 모델을 로드하여 추론해볼..
transformers 라이브러리의 model.generate 사용시 발생한 에러입니다. 이 메시지가 나온 상태에서 멈춰서 진행이 되지 않았습니다. 모델은 젬마(gemma)를 사용했습니다. This is a friendly reminder - the current text generation call will exceed the model's predefined maximum length (8192). Depending on the model, you may observe exceptions, performance degradation, or nothing at all. Deepl을 사용하여 번역해봤습니다. 현재 텍스트 생성 호출이 모델의 사전 정의된 최대 길이(8192)를 초과한다는 알림입니다. 모델에..
코랩 colab에서 transformers 라이브러리로 LLM 학습시 checkpoint 사용하는 방법을 정리해봤습니다. 2024. 2. 26 최초작성 2024. 2. 27 LLM(Large Language Models)에 대한 파인 튜닝, LoRA, QLoRA을 최근 코랩에서 진행하다보니 그동안 신경안쓰던 체크포인트를 사용할 일이 생겼습니다. 코랩에서 학습을 진행하다보면 런타임 연결이 끊어져서 학습이 중단되는 경우가 종종 발생하기 때문입니다. 모델을 학습하는 중간 결과물인 체크포인트를 저장하면 학습이 중단되었을 경우 이어서 학습을 진행할 수 있더군요. transformers 라이브러리를 사용할시에는 TrainingArguments에서 체크포인트에 대한 설정을 다음처럼 할 수 있습니다. transform..
gemma 모델은 4가지가 공개되었으며 AutoModelForCausalLM와 AutoTokenizer를 사용해서 사용가능했습니다. 예제 코드는 모델 페이지에 있습니다. 7B base model https://huggingface.co/google/gemma-7b 2B base model https://huggingface.co/google/gemma-2b 7B instruct model https://huggingface.co/google/gemma-7b-it 2B instruct model https://huggingface.co/google/gemma-2b-it 2024. 2. 22 최초작성 2024. 2. 23 수정 2024. 2. 27 코랩에서 허깅페이스를 사용하여 gemma를 사용할 경우 허깅..
LoRA 개념을 간단히 간단히 정리했습니다. 2024. 2. 4 최초작성 2024. 2. 8 그림 추가 2024. 2. 22 내용 보충 대규모 언어 모델(LLM)은 방대한 양의 데이터 세트에 대한 광범위한 학습을 진행합니다. 하지만 이렇게 학습된 지식은 일반화된 지식이어서 높은 정확도가 요구되는 특정 분야의 작업에는 충분하지 않을 수 있습니다. 다행인 것은 특정 분야의 작업을 위해 학습시킬때 처음부터 할 필요가 없습니다. 미세 조정(파인 튜닝)을 통해 기존의 학습된 가중치를 조정함으로써 모델을 특정 작업에 맞게 최적화할 수 있습니다. 하지만 모델이 큰 경우엔 노트북에서 사용되는 GPU에서는 미세 조정이 어려운 작업입니다. 이것을 가능하게 해주는 것이 LoRA입니다. LoRA의 핵심 아이디어는 모델의 가중..
Ubuntu에서 문제 없는데 코랩 Colab에서 아래와 같은 메시지가 보였습니다. The model 'OptimizedModule' is not supported for text-generation. Supported models are ['BartForCausalLM', 'BertLMHeadModel', 'BertGenerationDecoder', 'BigBirdForCausalLM', 'BigBirdPegasusForCausalLM', 'BioGptForCausalLM', 'BlenderbotForCausalLM', 'BlenderbotSmallForCausalLM', 'BloomForCausalLM', 'CamembertForCausalLM', 'LlamaForCausalLM', 'CodeGenFo..
코랩 Colab에서 패키지 설치할 때 다음 에러 발생시 해결하는 방법입니다. NotImplementedError: A UTF-8 locale is required. Got ANSI_X3.4-1968 최초작성 2024. 2. 19 다음처럼 pip 앞에 두줄을 추가로 코드셀에 적으면 패키지를 문제없이 설치할 수 있습니다. import locale locale.getpreferredencoding = lambda: "UTF-8" !pip install transformers==4.28.1 참고 https://github.com/googlecolab/colabtools/issues/3409
Windows에 설치된 CUDA 11.2에 맞추어 PyTorch 1.8를 설치하는 방법을 다룹니다. 2022. 5. 1 최초작성 2024. 1. 7 별도의 CUDA 없이 진행 이미 conda 환경이 설치되어있다면 2번부터 진행하세요. 1. conda 개발 환경을 설치해줍니다. 본 문서에서는 Anaconda 대신에 Miniconda를 사용합니다. 아래 글을 참고하세요. Visual Studio Code와 Miniconda를 사용한 Python 개발 환경 만들기( Windows, Ubuntu) https://webnautes.tistory.com/1842 2. conda를 사용하여 PyTorch를 위한 Python 가상환경을 생성합니다. 윈도우 키를 누르고 anaconda를 입력하여 검색된 Anaconda ..
Windows 에 CUDA 11.8과 cuDNN 8.7.0, Tensorflow를 설치하는 방법을 설명합니다. Tensorflow 2.10까지만 윈도우에서 CUDA 사용이 가능합니다. CUDA를 사용해야 GPU 가속이 가능합니다. Tensorflow 2.10 상위 버전이 필요하다면 WSL2에서 Tensorflow를 사용해야 합니다. WSL2에 CUDA 사용하는 Tensorflow 설치하는 방법 https://webnautes.tistory.com/1873 2023. 5. 7 최초작성 2024. 1. 3 별도로 NVIDIA CUDA 라이브러리를 설치하지 않고 conda를 사용하여 CUDA 라이브러리를 설치후 진행하려면 다음 포스트를 참고하세요. Windows에 CUDA Toolkit 11.2 cuDNN 8..
Windows 에 CUDA 11.2과 cuDNN 8.1.0, Tensorflow 2.10을 설치하는 방법을 설명합니다. Tensorflow 2.10까지만 윈도우에서 CUDA 사용이 가능합니다. CUDA를 사용해야 GPU 가속이 가능합니다. Tensorflow 2.10 상위 버전이 필요하다면 WSL2에서 Tensorflow를 사용해야 합니다. WSL2에 CUDA 사용하는 Tensorflow 설치하는 방법 https://webnautes.tistory.com/1873 2021. 1. 10 최초작성 2021. 1. 11 Tensorflow 설치 방법 추가. Tensorflow GPU 2.4.0에서 CUDA 11 요구 2021. 6. 8 Tensorflow 2.5.0에서 cuDNN 8.1.0 요구, 최신 그래픽..