자기지도학습

데이터 자체에서 감독 신호를 만들어 표현을 학습하는 머신러닝 방식.

— 대규모 사전학습과 딥러닝 표현 학습의 핵심 패러다임

정답지를 안 만들고도 학습한다는 말은 멋지지만, 결국 모델에게 풀릴 만한 숙제를 사람이 다시 설계해야 한다. ~~라벨링 지옥에서 도망쳤더니 pretext task 지옥이었다~~

1. 개요

자기지도학습(Self-Supervised Learning)은 사람이 직접 붙인 정답 라벨 없이, 데이터 자체에서 학습 신호를 만들어 모델을 훈련하는 방식이다. 예를 들어 문장에서 일부 단어를 가리고 맞히게 하거나, 이미지의 일부를 가리고 복원하게 하거나, 같은 이미지의 서로 다른 증강 버전이 비슷한 표현을 갖도록 학습시킨다. 이 방식은 대규모 라벨링 비용을 줄일 수 있어 LLM, 트랜스포머, 컴퓨터 비전 사전학습에서 핵심 역할을 한다. “정답 없이 배운다”기보다는, 사람이 정답을 붙이지 않아도 자동으로 만들 수 있는 문제를 설계한다는 쪽에 가깝다.

2. Pretext Task의 마법과 함정

자기지도학습에서는 본래 풀고 싶은 최종 문제 대신, 표현을 잘 배우게 만들기 위한 사전 과제를 만든다. 이를 pretext task라고 부른다. 자연어에서는 가려진 토큰 맞히기, 다음 문장 예측, 다음 토큰 예측 같은 방식이 대표적이다. 이미지에서는 회전 각도 맞히기, 가려진 패치 복원, 서로 다른 증강 이미지의 표현 맞추기 등이 쓰인다. 잘 설계된 pretext task는 모델이 데이터의 구조를 깊게 배우게 해준다. 반대로 잘못 설계하면 모델이 진짜 의미가 아니라 지름길 패턴만 외워버린다.

3. LLM과 컴퓨터 비전에서의 역할

LLM의 대규모 사전학습은 자기지도학습의 대표 사례다. 인터넷 규모 텍스트에서 다음 토큰을 예측하는 문제를 풀며 언어 패턴과 지식을 압축한다. 컴퓨터 비전에서도 라벨이 부족한 상황을 해결하기 위해 자기지도학습이 많이 쓰인다. 모델은 먼저 라벨 없는 이미지로 일반적인 시각 표현을 배우고, 이후 적은 양의 라벨 데이터로 특정 작업에 맞게 미세 조정된다. 이 접근은 데이터가 많지만 라벨이 비싼 의료, 산업, 과학 데이터에서 특히 매력적이다.

4. 관련 밈 및 드립

4.1. 정답지는 없지만 숙제는 있습니다

자기지도학습을 설명할 때 가장 자주 나오는 농담. 사람이 정답을 붙이지 않을 뿐, 모델에게는 빈칸 채우기나 복원 같은 숙제가 주어진다.

4.2. 라벨링 비용 절감의 꿈

PM은 라벨링 예산이 줄어든다고 기뻐하지만, 연구자는 좋은 사전학습 목표와 데이터 증강 전략을 찾느라 또 다른 실험 지옥에 들어간다.

5. 여담

BERT와 GPT: BERT는 가려진 토큰을 맞히는 방식, GPT 계열은 다음 토큰을 예측하는 방식으로 자기지도학습의 대표 사례가 됐다.
Contrastive Learning: 같은 데이터의 다른 증강 버전은 가깝게, 다른 데이터는 멀게 만드는 대조 학습은 비전 자기지도학습에서 큰 영향을 줬다.
라벨이 완전히 필요 없는 것은 아니다: 사전학습은 라벨 없이 가능해도, 최종 서비스 품질을 맞추려면 평가 데이터와 미세 조정용 라벨이 여전히 중요하다.