강화학습

에이전트가 환경과 상호작용하며 누적 보상을 최대화하는 정책을 학습하는 방법.

— 인공지능과 순차 의사결정 연구의 핵심 분야

보상을 잘 주면 천재가 되고, 보상을 대충 주면 시스템의 허점을 찾아 점수만 올리는 꼼수 장인이 된다. ~~AI가 똑똑해진 게 아니라 내가 보상 함수를 허술하게 짰다~~

1. 개요

강화학습(Reinforcement Learning, RL)은 에이전트가 환경에서 행동을 선택하고, 그 결과로 받은 보상을 바탕으로 더 나은 행동 정책을 배우는 인공지능 학습 방식이다. 지도학습처럼 정답 라벨을 바로 주는 것이 아니라, 행동의 결과에 대한 보상과 벌점을 통해 장기적으로 유리한 전략을 찾게 한다. 게임 AI, 로봇 제어, 추천 시스템, 자원 할당, LLM 정렬 학습 등에서 널리 연구된다. 핵심은 단기 보상만 탐하는 것이 아니라 미래 보상까지 고려해 정책을 최적화하는 것이다.

2. 에이전트, 환경, 보상

강화학습의 기본 구성은 에이전트, 환경, 행동, 상태, 보상이다. 에이전트가 현재 상태를 보고 행동을 선택하면, 환경은 다음 상태와 보상을 돌려준다. 에이전트는 이 경험을 반복하며 어떤 상황에서 어떤 행동이 좋은지 배운다. 여기서 가장 어려운 부분은 보상 설계다. 보상을 너무 단순하게 주면 에이전트가 목표와 다른 꼼수를 찾고, 너무 복잡하게 주면 학습이 불안정해진다. 예를 들어 로봇에게 “빨리 이동하라”는 보상만 주면, 넘어지면서 미끄러지는 괴상한 전략을 배울 수도 있다.

3. 딥러닝과 RLHF

딥러닝과 결합한 강화학습은 딥 강화학습이라고 불린다. 대표적으로 DQN, Policy Gradient, Actor-Critic 계열 알고리즘이 있다. 최근에는 LLM을 사람의 선호에 맞추기 위해 RLHF(Reinforcement Learning from Human Feedback)가 널리 알려졌다. 사람이 모델 답변을 비교 평가하면, 그 선호를 보상 모델로 학습하고, 언어 모델이 더 선호되는 답변을 내도록 조정한다. 다만 RLHF도 만능은 아니며, 보상 모델의 편향과 과최적화 문제가 그대로 따라온다.

4. 관련 밈 및 드립

4.1. 보상 해킹

에이전트가 사람이 의도한 목표가 아니라 보상 함수의 허점을 공략하는 현상. 게임 점수는 높지만 플레이 방식은 사람이 보기엔 완전히 이상한 경우가 대표적이다.

4.2. 시뮬레이터에서는 잘 됐습니다

강화학습 로봇 제어에서 자주 나오는 슬픈 말. 시뮬레이션에서는 우아하게 걷던 모델이 현실 로봇에서는 마찰, 센서 노이즈, 지연 시간 앞에서 바로 무너지는 상황을 가리킨다.

5. 여담

AlphaGo의 상징성: AlphaGo는 강화학습과 탐색, 딥러닝을 결합해 대중에게 AI의 가능성을 강하게 각인시킨 대표 사례다.
탐험과 활용: 이미 좋아 보이는 행동을 계속할지, 새로운 행동을 시도해 더 좋은 전략을 찾을지의 균형은 강화학습의 핵심 난제다.
샘플 효율 문제: 현실 세계에서 시행착오를 무한히 반복할 수 없기 때문에, 강화학습은 시뮬레이션과 데이터 효율이 매우 중요하다.