파인튜닝
기존 지식 위에 새로운 특정 도메인의 질서를 주입하는 가장 직접적이고 정밀한 기법
특정 말투 가르치겠다고 수억 원짜리 장비로 며칠 밤낮을 돌렸더니, 원래 하던 곱셈 나눗셈마저 다 까먹는 바보가 되어 돌아왔다. 전체 모델 파라미터를 다 건드렸다가 돌이킬 수 없는 지능 붕괴를 목도하고 주말에 조용히 깃허브 백업본을 복구한다.1
1. 개요
파인 튜닝(Fine-tuning, 미세 조정)은 거대한 데이터셋으로 이미 사전 학습(Pre-training)된 기존의 거대 언어 모델(Large Language Model)을 가져와, 특정 목적이나 특정한 분야의 고유 도메인 데이터를 활용해 모델 내부의 일부 혹은 전체 가중치(Weights)를 업데이트(추가 학습)하는 딥러닝 기법이다. 범용 지식을 갖춘 모델에게 '특정한 규칙과 목소리'를 부여하여 맞춤형 전문가로 환골탈태시킬 수 있는 가장 파워풀한 무기이다.
2. 딜레마: 지능의 붕괴와 파멸적인 과적합
인간의 뇌와 마찬가지로, AI 모델의 학습 가중치 역시 용량이 한정되어 있다. 특정 업무용 템플릿(예: 법률 문서 초안 작성)을 너무나도 스파르타식으로 반복 주입해 파인 튜닝하면, 모델은 그 특정 양식은 기가 막히게 따라 하지만 그 과정에서 기존에 가지고 있던 논리적 추론력과 유연성을 상실하는 과적합(Overfitting) 및 破局的 망각(Catastrophic Forgetting) 현상을 겪게 된다.(...) 결국 회사의 매뉴얼은 잘 외웠지만 아주 기초적인 사칙연산마저 못 하는 사태가 벌어지는데, 이를 막기 위해 데이터셋의 밸런스를 조절하고 하이퍼파라미터 학습률(Learning Rate)을 눈물겹게 미세 조율하는 고행이 이어진다.
3. 현대적 돌파구: LoRA(Low-Rank Adaptation)의 축복
수천억 개의 매개변수를 전부 다 업데이트하려다가는 기업 재정이 거덜 난다. 이를 구제하기 위해 등장한 구세주가 바로 LoRA 기법이다. 전체 거대 가중치는 완전히 꽁꽁 얼려둔 채, 옆에 아주 얇고 미세한 보조 가중치 레이어(어댑터)만 살짝 붙여서 이곳에만 학습을 유도하는 혁신적인 다이어트 공법이다.2 덕분에 단돈 몇만 원으로도 개인 개발자가 자신의 맥북이나 보급형 GPU에서 특정 캐릭터의 말투를 본뜬 인공지능을 직접 구워 쓸 수 있는 낭만의 시대가 열리기도 했다.
4. 관련 밈 및 드립
4.1. 고양이 배우다 사자 까먹은 AI
파인 튜닝의 부작용인 파멸적 망각을 풍자하는 대중적인 개발계 드립이다. 특정 도메인의 좁은 지식을 주입했더니, 기존에 범용적으로 갖추고 있던 찬란했던 기초 교양이 깡그리 증발해 버린 바보 모델을 빗댔다.
4.2. GPU가 타오르면 내 통장도 타오른다
파인 튜닝 프로젝트를 발주받은 개발팀이 학습용 클라우드 인스턴스를 켜두고 금요일 퇴근을 해버려, 월요일 출근 때 수천만 원에 달하는 청구서 폭탄을 수령하고 사표를 쓰는 슬픈 영웅전설이다. 학습 루프가 정상 종료되지 않고 무한 대기에 빠진 사고에서 빈번히 유래한다.(...)
5. 여담
- 쓰레기를 넣으면 쓰레기가 나온다 (GIGO): 파인 튜닝의 최대 난제는 학습 돌릴 고품질 데이터의 확보이다. 맞춤법이 파괴되고 편향이 가득한 커뮤니티 댓글 따위로 파인 튜닝을 돌리면, 사용자에게 쌍욕을 날리는 분조장 인공지능 빌런이 튀어나온다.
- 파인 튜닝과 프롬프트의 비용 저울질: 건당 프롬프트 글자 수가 너무 길어 API 비용이 부담스러울 때, 차라리 그 규칙들을 모델 내부에 완전히 녹여내기 위해 파인 튜닝을 선택하기도 한다. 초기 학습 비용은 막대하지만, 장기적 추론 시 토큰 단가를 낮추는 경제적 묘수이기도 하다.
- 정렬(Alignment) 학습: 인간의 상식과 도덕성에 맞추는 RLHF(인간 피드백 기반 강화학습) 역시 일종의 고도화된 특수 파인 튜닝 파이프라인으로 분류되며, 모델에게 '착한 말 고운 말만 쓰도록' 가스라이팅을 가하는 사회화 교육 과정이라 볼 수 있다.