관련 포스트강화 학습 대규모 언어 모델 미세 조정AI 정렬

인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback)

•

2026년 11월 01일 발행•2026년 11월 01일 수정

요약

사람의 선호 비교로 보상 모델을 학습하고 이를 보상으로 모델을 강화 학습하는 정렬 기법

고급

강화 학습과 정책 경사, 언어 모델 미세 조정, 확률적 선호 모델에 대한 이해가 필요하다.

태그

강화 학습 대규모 언어 모델 미세 조정AI 정렬

#개념

인간 피드백 기반 강화 학습(Reinforcement Learning from Human Feedback, RLHF)은 사람이 모델 출력에 대해 내린 선호 판단을 보상 신호로 바꾸어 모델을 강화 학습으로 최적화하는 방법이다. 명시적인 보상 함수를 설계하기 어려운 과제에서 사람의 판단을 학습된 보상 모델(Reward Model)로 대신하며, 오늘날 대규모 언어 모델(Large Language Model, LLM)을 사람의 의도에 맞게 조정하는 대표 기법으로 쓰인다.

현대적 RLHF의 출발점은 Christiano 등(2017)의 연구이다. 이 연구는 에이전트 행동을 담은 두 개의 짧은 영상 구간 중 어느 쪽이 더 나은지를 사람이 고르게 하고, 그 비교 결과로 보상 함수를 학습한 뒤 강화 학습 에이전트를 최적화하였다. Atari 게임과 MuJoCo 로봇 시뮬레이션에서 에이전트 상호작용의 1% 미만에 대해서만 피드백을 받고도 보상 함수 없이 복잡한 행동을 학습할 수 있음을 보였다.

이 아이디어는 이후 요약 같은 언어 과제로 확장되었고, Ouyang 등(2022)의 InstructGPT에서 지시를 따르는 언어 모델을 만드는 표준 절차로 정리되었다. 이 논문은 13억 파라미터 InstructGPT의 출력이 1,750억 파라미터 GPT-3의 출력보다 사람 평가에서 더 선호되었다고 보고하였다. InstructGPT의 학습 절차는 다음 세 단계로 구성된다.

InstructGPT의 3단계 학습 절차

지도 미세 조정(Supervised Fine-Tuning, SFT): 레이블러가 작성한 시연 응답으로 사전 학습 모델을 미세 조정한다. 모델이 지시에 응답하는 기본 형식을 익히는 단계이다.
보상 모델 학습: 하나의 프롬프트에 대해 생성한 여러 응답(4~9개)을 레이블러가 순위로 매기고, 이 비교 데이터로 응답의 선호도를 스칼라 점수로 예측하는 보상 모델을 학습한다.
강화 학습 최적화: SFT 모델을 초기 정책으로 삼아 보상 모델 점수를 최대화하도록 근접 정책 최적화(Proximal Policy Optimization, PPO)로 학습한다. 이때 정책이 SFT 모델에서 지나치게 멀어지지 않도록 KL 페널티를 함께 적용한다.

보상 모델은 절대 점수 대신 쌍별 비교로 학습한다. 사람은 응답에 절대 점수를 일관되게 매기기 어렵지만 두 응답 중 더 나은 쪽을 고르는 판단은 비교적 안정적이기 때문이다. 선호 확률은 브래들리-테리 모델(Bradley-Terry Model)로 모델링하며, 응답 $y_w$가 $y_l$보다 선호될 확률을 $P(y_w \succ y_l \mid x) = \sigma(r_\theta(x, y_w) - r_\theta(x, y_l))$로 둔다.

여기서 $r_\theta$는 프롬프트 $x$와 응답 $y$를 받아 스칼라 보상을 출력하는 보상 모델이고, $\sigma$는 시그모이드 함수이다. 학습은 음의 로그 가능도 $-\log \sigma(r_\theta(x, y_w) - r_\theta(x, y_l))$를 최소화하는 방식으로 이루어진다. InstructGPT는 SFT 모델의 마지막 출력층을 스칼라 헤드로 바꾸어 보상 모델을 만들었고, 한 프롬프트에서 나온 $\binom{K}{2}$개 비교 쌍을 하나의 배치 원소로 묶어 과대적합을 줄였다.

강화 학습 단계에서는 보상에서 $\beta \log \frac{\pi_\phi(y \mid x)}{\pi_{SFT}(y \mid x)}$를 뺀 값을 최대화하며, 이 항의 기댓값은 두 정책 사이의 쿨백-라이블러 발산(Kullback-Leibler Divergence)이다. KL 페널티는 정책이 보상 모델이 학습하지 못한 영역으로 벗어나는 것을 막고 언어 모델의 유창성과 다양성을 유지하는 정칙화 역할을 한다. InstructGPT는 여기에 사전 학습 데이터의 로그 가능도 항을 더한 PPO-ptx를 사용하여 공개 벤치마크 성능이 떨어지는 정렬 세금(Alignment Tax)을 줄였다.

RLHF의 근본적인 위험은 보상 해킹(Reward Hacking)이다. 보상 모델은 사람 선호의 불완전한 대리 지표이므로, 정책이 이를 강하게 최적화하면 실제 품질은 나아지지 않은 채 보상 모델의 허점만 이용하는 출력이 나타난다. 불필요하게 길고 장황한 응답, 사용자 의견에 무조건 동조하는 응답, 형식만 그럴듯한 응답 등이 대표적인 예이다.

Gao 등(2022)은 이 현상을 보상 모델 과최적화(Overoptimization)로 정의하고 규모 법칙으로 분석하였다. 사람 대신 큰 골드 보상 모델을 기준으로 두고 작은 대리 보상 모델로 정책을 최적화하자, 대리 보상은 계속 오르지만 골드 보상은 일정 지점 이후 하락하였다. 초기 정책과의 거리 $d = \sqrt{D_{KL}}$에 대해 골드 보상은 Best-of-n 샘플링에서 $d(\alpha - \beta d)$, 강화 학습에서 $d(\alpha - \beta \log d)$ 꼴을 따랐다.

사람 선호 데이터는 RLHF에서 가장 비싸고 다루기 까다로운 자원이다. 고품질 비교 데이터를 얻으려면 레이블러 선발과 교육, 지침 작성, 일치도 관리가 필요하며, InstructGPT도 선별 시험을 거친 약 40명의 레이블러를 활용하였다. 선호 데이터의 품질에 영향을 주는 요인은 다음과 같다.

선호 데이터 품질에 영향을 주는 요인

레이블러 간 불일치: 같은 응답 쌍에 대해서도 사람마다 판단이 달라 보상 모델의 학습 신호에 잡음이 섞인다.
지침의 모호성: 유용성·정직성·무해성처럼 서로 충돌할 수 있는 기준의 우선순위가 지침에 명확하지 않으면 판단의 일관성이 떨어진다.
레이블러 집단의 편향: 소수 레이블러의 선호가 모델 전체의 가치 판단으로 확대될 수 있어 누구의 선호에 맞추는지가 문제가 된다.
평가 난이도: 전문 지식이 필요한 답변이나 긴 코드처럼 사람이 정답 여부를 검증하기 어려운 출력은 그럴듯함이 정확성보다 높게 평가될 수 있다.

이러한 데이터 비용과 PPO 학습의 복잡성·불안정성 때문에 RLHF의 여러 대안과 변형이 제안되었다. 보상 모델과 강화 학습 단계를 없애 학습 절차를 단순화하거나, 사람 대신 AI가 선호 레이블을 만들어 데이터 수집 비용을 줄이는 방향이 대표적이다. 주요 방법은 다음과 같다.

RLHF의 주요 대안과 변형

직접 선호 최적화(Direct Preference Optimization, DPO): Rafailov 등(2023)이 제안한 방법으로, KL 제약 보상 최대화 문제의 최적해 형태를 이용해 보상 모델과 강화 학습 없이 선호 쌍에서 정책을 직접 학습한다. 손실은 $-\log \sigma(\beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{ref}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{ref}(y_l \mid x)})$이다.
AI 피드백 기반 강화 학습(Reinforcement Learning from AI Feedback, RLAIF): 선호 레이블을 사람 대신 대규모 언어 모델이 생성한다. Lee 등(2023)은 요약과 대화 생성 과제에서 RLAIF가 RLHF와 비슷한 성능을 낸다고 보고하였다.
헌법적 AI(Constitutional AI): Bai 등(2022)이 제안한 방법으로, 명문화된 원칙에 따라 모델이 스스로 응답을 비평·수정한 데이터로 지도 학습한 뒤 AI가 판단한 선호로 학습한 선호 모델을 보상으로 강화 학습을 수행한다.

DPO는 보상 모델 학습, 학습 중 정책 샘플링, 가치 함수 학습이 필요 없어 구현이 단순하고 학습이 안정적이라는 장점이 있다. 반면 미리 수집한 오프라인 선호 데이터에 의존하므로 학습 중 정책이 새로 생성한 응답에 대한 피드백을 반영하기 어렵다. 실무에서는 데이터 규모, 계산 자원, 안정성 요구에 따라 PPO 기반 RLHF와 DPO 계열 방법을 선택하거나 함께 사용한다.

RLHF로 학습한 모델의 평가는 단일 지표로 끝나지 않는다. 대표적으로 같은 프롬프트에 대한 두 모델의 응답을 사람이 비교하는 쌍별 선호 평가를 수행하고 결과를 승률로 요약한다. 비용을 줄이기 위해 강한 언어 모델을 평가자로 쓰는 방식도 널리 쓰이지만, 평가 모델 자체의 길이 선호나 응답 위치에 따른 편향을 함께 고려해야 한다. 또한 정렬 세금을 확인하기 위해 기존 벤치마크 성능과 사실성, 유해성 지표를 함께 측정한다.

RLHF는 AI 정렬(AI Alignment) 연구의 실용적 도구로 자리 잡았다. 정렬은 AI 시스템이 설계자와 사용자의 의도·가치에 맞게 행동하도록 만드는 문제이며, RLHF는 명시하기 어려운 의도를 사람의 비교 판단으로 전달한다는 점에서 의미가 있다. 다만 사람이 평가할 수 있는 범위 안에서만 감독이 가능하므로, 사람보다 뛰어난 시스템을 어떻게 감독할지는 확장 가능한 감독(Scalable Oversight)이라는 후속 연구 과제로 남아 있다.

RLHF는 사용자 반응으로 모델을 개선한다는 점에서 추천 시스템의 피드백 학습과 구조적으로 닮았지만, 피드백의 형태와 최적화 대상에서는 뚜렷한 차이가 있다. 추천 시스템 실무자에게 익숙한 개념과 대응시켜 보면 RLHF의 설계 의도를 이해하기 쉽다. 두 영역의 공통점과 차이점은 다음과 같이 정리할 수 있다.

추천 시스템 피드백 학습과의 비교

피드백 형태: 추천 시스템은 클릭·구매·체류 시간 같은 대량의 암묵적 피드백(Implicit Feedback)을 주로 쓰고, RLHF는 레이블러가 의도적으로 만든 명시적 쌍별 비교를 쓴다.
쌍별 학습 목표: 추천의 BPR(Bayesian Personalized Ranking)은 관측 아이템 점수가 미관측 아이템 점수보다 높을 확률을 점수 차이의 시그모이드로 모델링하며, 이는 브래들리-테리 기반 보상 모델 손실과 같은 형태이다.
최적화 대상: 추천은 주로 주어진 후보 집합의 순위를 학습하지만, RLHF는 정책이 응답 자체를 생성하므로 보상 모델이 본 적 없는 출력 분포로 이동하기 쉽다.
피드백 루프: 두 영역 모두 모델 출력이 다시 학습 데이터가 되는 순환 구조를 가지며, 대리 지표를 과도하게 최적화할 때 생기는 편향과 보상 해킹 위험을 공유한다.

실무에서 RLHF 파이프라인은 Hugging Face의 TRL, Ray와 vLLM 기반의 OpenRLHF 같은 오픈소스 라이브러리로 구현하는 경우가 많다. 도입할 때는 선호 데이터 수집 체계, 보상 모델의 별도 검증, KL 계수와 학습 단계 조절, 보상 해킹 모니터링을 함께 설계해야 한다. RLHF는 정답을 정의하기 어려운 생성 과제에서 사람의 판단을 학습 신호로 바꾸는 범용적인 틀이라는 점에서 의의가 크다.