트랜스포머
Attention Is All You Need
— 2017년 구글의 기념비적인 트랜스포머 논문 제목
"모든 길은 트랜스포머로 통하고, 모든 지갑은 엔비디아로 털린다." 구글이 차린 밥상에서 오픈AI와 마이크로소프트가 폭식을 하고 있다
1. 개요
2017년 구글 연구진이 발표한 논문 "Attention Is All You Need"에서 처음 제안된 기념비적인 신경망 아키텍처다. 순차적 연산의 한계가 명확했던 RNN과 CNN을 역사의 뒤안길로 보내버리고, 입력 데이터 전체의 상관관계를 한 번에 파악하는 어텐션 메커니즘(Attention Mechanism)을 통해 현대 거대 언어 모델(LLM) 시대를 화려하게 열어젖혔다.(...)
2. Attention이 가져온 혁명과 병렬 연산
트랜스포머의 핵심은 텍스트 내의 단어들이 서로 어떤 맥락적 거리를 두고 연관되어 있는지 계산하는 셀프 어텐션(Self-Attention) 기술이다. 문장을 처음부터 끝까지 순서대로 읽을 필요 없이 한 번에 통째로 병렬 연산하기 때문에, 막대한 데이터를 GPU로 순식간에 학습시킬 수 있는 길이 열렸다. 덕분에 인류는 ChatGPT 같은 인공신경망 괴물을 손에 넣게 되었다. 단, 학습에 들어가는 전기 요금과 그래픽 카드 가격은 책임지지 않는다.1
3. 관련 밈 및 드립
3.1. Attention Is All You Need (진짜로)
논문 제목을 패러디하여 '개발이든 인생이든 돈(Money)과 GPU만 있으면 만사형통이다'라며 냉소하는 밈이다. 실제로 트랜스포머의 성능은 압도적인 장비의 물량 공세 앞에서 선형으로 정비례하여 상승하기 때문이다.(...)
3.2. 구글의 아낌없이 주는 나무
정작 혁신적인 트랜스포머 기술을 발명해 전 세계에 오픈소스로 공개한 것은 구글인데, 단물을 다 빨아먹고 초거대 기업으로 우뚝 선 곳은 구글의 뒤통수를 때린 OpenAI인 기묘한 시장 구도를 조롱하는 대중적인 밈이다.
4. 여담
- 모든 것은 트랜스포머로 통한다: 자연어 처리를 정복한 트랜스포머는 이제 이미지를 패치 단위로 쪼개서 처리하는 Vision Transformer(ViT), 오디오 인식을 위한 Whisper 등으로 진화하며 AI 학계 전반을 정복했다.
- 논문 저자들의 퇴사 잔혹사: 해당 논문을 작성한 구글 연구원 8명 전원은 엄청난 부와 러브콜을 받으며 구글을 떠나 각자 AI 스타트업(Cohere, Character.ai 등)을 창업하거나 경쟁사로 이직해 구글의 뚝배기를 직접 깼다.(...)
- 엄청난 컨텍스트 윈도우: 트랜스포머의 최대 난제는 입력 데이터 길이가 늘어날수록 연산량이 제곱($O(N^2)$)으로 폭증한다는 점인데, 이를 극복하기 위해 온갖 수학적 꼼수와 최적화 기법이 매달 학계에 쏟아지고 있다.
5. 관련 문서
각주
-
실제로 GPT-4 수준의 거대 트랜스포머 모델을 한 번 학습시키는 데는 수백만 달러의 비용과 중소도시 단위의 엄청난 전력량이 소모되는 환경 파괴의 일등 공신 중 하나다. ↩