컨텍스트 윈도우

모델이 한 번의 추론 과정에서 입력과 이전 대화를 함께 참조할 수 있는 최대 토큰 범위.

— 현대 LLM API 문서와 모델 사양

AI에게 책상 위에 펼쳐줄 수 있는 오픈북 시험지의 최대 크기. ~~길면 다 해결될 줄 알았는데, 이제 영수증과 응답 시간이 같이 길어진다.~~

1. 개요

컨텍스트 윈도우(Context Window)는 LLM이 한 번의 요청에서 입력 프롬프트, 이전 대화, 시스템 지시문, 첨부 문서, 모델이 생성 중인 답변까지 포함해 참고할 수 있는 최대 토큰 범위를 뜻한다. 쉽게 말해 AI가 지금 이 순간 책상 위에 펼쳐놓고 볼 수 있는 작업 공간이다. 이 범위를 넘어선 내용은 잘리거나 요약되어야 하며, 그렇지 않으면 모델은 앞부분의 대화나 문서를 기억하지 못한 채 그럴듯한 말을 이어붙이기 시작한다.

2. 토큰 한도와 기억력의 착시

컨텍스트 윈도우가 크면 긴 문서, 긴 대화, 여러 파일을 한 번에 넣을 수 있어 모델이 훨씬 똑똑해 보인다. 하지만 이는 모델의 영구 기억이 아니라 현재 요청에서만 열어둔 임시 작업 공간에 가깝다. 대화가 길어져 한도를 넘으면 오래된 메시지는 잘리거나 압축되고, 이 과정에서 중요한 조건이나 변수명이 사라질 수 있다. 그래서 개발자가 보기에는 방금 합의한 내용을 AI가 갑자기 까먹는 것처럼 보인다.

3. 왜 무한히 늘릴 수 없는가

트랜스포머 계열 모델은 입력 길이가 길어질수록 어텐션 계산과 KV 캐시 메모리 부담이 커진다. 구현 최적화가 계속 나오고 있지만, 컨텍스트 윈도우를 키우면 보통 비용, 지연 시간, 메모리 사용량이 함께 증가한다. 이 때문에 실무에서는 모든 문서를 무작정 프롬프트에 때려 넣기보다, RAG로 필요한 조각만 검색해 넣거나 대화 요약을 유지하는 방식이 자주 쓰인다.

4. 프롬프트 엔지니어링에서의 의미

컨텍스트 윈도우는 프롬프트의 설계 예산이다. 시스템 지시문, 사용자 질문, 예시, 도구 호출 결과, 참고 문서, 출력 포맷 요구사항이 모두 같은 예산을 나눠 쓴다. 따라서 긴 컨텍스트 모델을 쓰더라도 중요한 조건을 앞뒤에 반복해 배치하거나, 문서를 구조화하고, 불필요한 로그와 잡담을 제거하는 습관이 필요하다.

5. 관련 밈 및 드립

5.1. 200만 토큰이면 뭐든 다 기억하겠죠?

롱 컨텍스트 모델을 처음 접한 사람들이 사내 위키, PDF, 로그 파일을 통째로 넣어놓고 만능 비서가 탄생했다고 믿는 상황을 비꼬는 드립이다. 실제로는 중간에 숨은 중요한 한 줄을 놓치거나, 필요 없는 문서가 너무 많아 답변 품질이 흐려지는 경우가 흔하다.

5.2. 대화방 기억상실

AI와 오래 대화하다가 어느 순간 모델이 초반 요구사항을 까먹고 새 프로젝트처럼 답하는 현상. 개발자는 분명 같은 대화방에 있다고 생각하지만, 모델 입장에서는 컨텍스트 윈도우 밖으로 밀려난 내용이 더 이상 눈앞에 없는 셈이다.

6. 여담

입력과 출력이 같은 예산을 나눠 쓴다: 모델마다 다르지만, 컨텍스트 윈도우는 보통 입력 토큰과 생성될 출력 토큰을 함께 고려한다. 입력을 한도까지 꽉 채우면 긴 답변을 만들 공간이 줄어들 수 있다.
큰 컨텍스트와 좋은 검색은 다르다: 컨텍스트 윈도우가 크다고 해서 관련 정보를 항상 정확히 찾는다는 뜻은 아니다. 실무에서는 여전히 청킹, 검색, 리랭킹, 요약 전략이 중요하다.
윈도우는 Windows가 아니다: 여기서 윈도우는 운영체제 Windows가 아니라, 모델이 볼 수 있는 범위라는 의미의 window다.