LoRA 개념을 간단히 간단히 정리했습니다. 2024. 2. 4 최초작성 2024. 2. 8 그림 추가 2024. 2. 22 내용 보충 대규모 언어 모델(LLM)은 방대한 양의 데이터 세트에 대한 광범위한 학습을 진행합니다. 하지만 이렇게 학습된 지식은 일반화된 지식이어서 높은 정확도가 요구되는 특정 분야의 작업에는 충분하지 않을 수 있습니다. 다행인 것은 특정 분야의 작업을 위해 학습시킬때 처음부터 할 필요가 없습니다. 미세 조정(파인 튜닝)을 통해 기존의 학습된 가중치를 조정함으로써 모델을 특정 작업에 맞게 최적화할 수 있습니다. 하지만 모델이 큰 경우엔 노트북에서 사용되는 GPU에서는 미세 조정이 어려운 작업입니다. 이것을 가능하게 해주는 것이 LoRA입니다. LoRA의 핵심 아이디어는 모델의 가중..