허깅페이스의 다음 문서를 정리했습니다. transformers 라이브러리를 사용하여 LLM을 사용하는 모든 것을 다루지는 않습니다. 좀 더 상세한 문서를 보기 전에 보면 좋을듯합니다. 원문에 있던 모델 파인튜닝하고 저장하는 방법은 제외했습니다. Quick tour https://huggingface.co/docs/transformers/quicktour 문서버전 V4.37.2 2024. 3. 1 최초작성 Transformer 라이브러리를 사용하면 다양한 작업을 다루는 사전학습된 대규모 언어 모델(Large Language Models, LLM)를 쉽게 다뤄볼 수 있습니다. 허깅페이스 허브( https://huggingface.co/models )에 공개된 다양한 작업의 사전학습된 모델을 로드하여 추론해볼..

코랩 colab에서 transformers 라이브러리로 LLM 학습시 checkpoint 사용하는 방법을 정리해봤습니다. 2024. 2. 26 최초작성 2024. 2. 27 LLM(Large Language Models)에 대한 파인 튜닝, LoRA, QLoRA을 최근 코랩에서 진행하다보니 그동안 신경안쓰던 체크포인트를 사용할 일이 생겼습니다. 코랩에서 학습을 진행하다보면 런타임 연결이 끊어져서 학습이 중단되는 경우가 종종 발생하기 때문입니다. 모델을 학습하는 중간 결과물인 체크포인트를 저장하면 학습이 중단되었을 경우 이어서 학습을 진행할 수 있더군요. transformers 라이브러리를 사용할시에는 TrainingArguments에서 체크포인트에 대한 설정을 다음처럼 할 수 있습니다. transform..