GPU
The More You Buy, The More You Save.
— 엔비디아의 CEO 젠슨 황의 가죽자켓 판매 명언
원래는 게임 해상도 높이려고 샀는데, 이제는 대학원생 영혼을 탈탈 털어 딥러닝 행렬 곱셈을 무한히 돌리는 마당쇠가 되었다. 내 월급과 연구실 예산이 이 3cm짜리 칩셋 하나 때문에 통째로 공중 분해되었다.(...)
1. 개요
GPU(Graphics Processing Unit)는 원래 컴퓨터 화면에 3D 그래픽을 빠르게 그려주기 위해 태어난 특수 목적용 반도체 프로세서다. 하지만 2010년대 이후 인공지능 및 딥러닝 생태계가 폭발적으로 성장하면서, 단순 행렬 곱셈 연산에 최적화된 이 하드웨어가 일약 IT 산업의 중추이자 현대 문명의 무기가 되어버렸다.(...) 현재는 그래픽 카드라는 이름보다 '연산용 가속기'라는 명칭이 훨씬 자연스럽게 받아들여지고 있다.
2. CPU와의 영혼의 대결
CPU가 온갖 복잡한 연산을 홀로 처리하는 천재 교수님 한 명이라면, GPU는 아주 단순한 산수 문제만 풀 줄 아는 초등학생 수천 명을 모아놓은 연산 집단이다. 복잡한 제어 흐름(Control Flow)이나 정교한 알고리즘을 수행할 때는 CPU가 압승이지만, 거대한 인공 신경망의 가중치를 계산하는 것처럼 수조 번의 덧셈과 곱셈을 무지성으로 때려 박아야 하는 영역에서는 병렬 연산(Parallel Computing) 능력이 깡패인 GPU가 CPU의 뺨을 사정없이 후려갈긴다.1 결국 모던 딥러닝의 역사는 CPU로부터 연산의 주도권을 어떻게 빼앗아 GPU에 효율적으로 넘기느냐의 싸움이었다고 해도 과언이 아니다.
3. CUDA 독점 체제와 실무자의 애환
엔비디아가 2006년 발표한 CUDA 아키텍처는 오늘날 GPU가 서버룸을 지배하게 만든 일등공신이자, 경쟁사들을 고사시킨 가장 악랄한 장벽이다. 대학원생들과 인공지능 연구원들이 파이토치나 텐서플로 같은 라이브러리를 쓸 때, CUDA 드라이버 하나 제대로 안 잡혀서 며칠 밤을 지새우는 건 이미 유서 깊은 전통 행사다.(...) 경쟁사 AMD가 하드웨어 깡성능을 아무리 올리며 ROCm으로 비벼보려 해도, 십수 년간 쌓여온 독점적 소프트웨어 생태계의 편의성을 극복하지 못해 연구 현장에서는 여전히 엔비디아의 독과점을 군말 없이 수용하며 영혼까지 털리는 중이다.2
4. 관련 밈 및 드립
4.1. 채굴장 에디션의 추억
2021년 전후 암호화폐 채굴 붐이 불었을 때, 온 세상 게이머용 GPU가 광산으로 끌려가 혹사당하다가 붐이 꺼진 뒤 '순정 풀박스'라는 이름으로 중고나라에 쏟아져 나온 눈물겨운 사태를 풍자하는 밈. 구매자들은 자기가 산 그래픽 카드가 과연 광부 출신인지 감별하는 기묘한 자가 진단법을 공유하곤 했다.
4.2. 황회장의 통수
엔비디아의 CEO 젠슨 황이 신제품 라인업을 발표할 때마다 기존 초고가 라인업을 구매한 얼리어답터들을 바보로 만드는 초특가(?) 'Super' 또는 'Ti' 라인업을 기습적으로 던지는 행위를 말한다. 주머니를 털린 소비자들은 분노하면서도 압도적인 성능에 무릎을 꿇고 다시 지갑을 여는 악순환이 반복된다.(...)
5. 여담
- 지포스 256의 기원: 'GPU'라는 마케팅 용어를 공식적으로 처음 정립한 것은 1999년 엔비디아가 출시한 GeForce 256 그래픽카드이다.
- 서버룸 난방의 주범: 연산용 하드웨어인 H100이나 A100 등은 장당 수천 와트의 전력을 소비하며, 가동하는 즉시 엄청난 열을 뿜어내어 에어컨이 없으면 방 안을 사우나로 바꿀 수 있다.
- 사명에 깃든 질투: NVIDIA라는 사명은 라틴어로 '질투'를 뜻하는 'Invidia'에서 파생되었다. 경쟁사들이 자사 제품의 퍼포먼스를 질투하게 만들겠다는 창업 초기 멤버들의 포부가 서려 있다.