Fine-tuning 개념

Fine-tuning은 대량의 데이터셋을 사용하여 사전 학습된 모델을 새로운 데이터셋에 대해 추가적으로 학습시키는 과정을 의미합니다. 이 방법은 전이학습(transfer learning)의 한 형태로 볼 수 있으며, 사전 학습을 통해 얻은 것을 새로운 작업을 학습시키는데  활용하는 것을 목표로 합니다.

Fine-tuning에서 사전 학습된 모델의 가중치를 초기값으로 사용합니다. 파인 튜닝을 하게되면 모델의 첫부분에 있는 레이어들은 보통 일반적인 특징(예: 이미지의 엣지나 텍스처와 같은 저수준 특징)을 인식하는 데 중ㅁ점을 둔다면, 뒷부분 레이어들은 새로운 데이터셋의 특화된 정보와 고수준의 특징을 학습하게 됩니다.

대량의 데이터셋에서 사전 학습된 모델을 새로운 데이터셋에 대해 Fine-tuning하는 방식의 큰 장점은, 새로운 데이터셋의 크기가 상대적으로 작더라도 모델이 과적합되는 것을 방지할 수 있습니다. 이로 인해 새로운 작업에 대해 높은 일반화 성능을 보이며 사전 학습하는데 걸리는 시간보다 상대적으로 적은 학습 시간 안에 훌륭한 성능을 나타내는 모델을 얻을 수 있게 됩니다.

2023. 10. 20 최초작성

2024. 3. 2 최종작성