확장 가능한 감독(Scalable Oversight)과 약한 모델에서 강한 모델로의 일반화(Weak-to-Strong Generalization; W2SG)

Burns 등(OpenAI Superalignment, "Weak-to-Strong Generalization", 2023)은 초정렬 문제(superalignment problem)를 다루기 위한 대리 실험(proxy)을 제안했습니다. 약한 모델(weak model)이 만든 라벨(label)로 강한 모델(strong model)을 미세조정(fine-tune)하는 방식입니다. 강한 모델이 불완전한 약한 감독(weak supervision)에서도 올바르게 일반화한다면, 현재 인간 규모에서 통하는 정렬(alignment) 방법이 초인간 시스템(superhuman system)까지 확장될 수 있다는 의미가 됩니다. 확장 가능한 감독(Scalable Oversight)과 W2SG는 서로 보완 관계입니다. 확장 가능한 감독은 토론(debate), 재귀적 보상 모델링(recursive reward modeling), 과제 분해(task decomposition)처럼 감독자(overseer)의 실효 역량(effective capability)을 끌어올려 감독 대상 모델을 따라잡게 만듭니다. W2SG는 감독자가 제공하는 감독 신호가 아무리 불완전하더라도 강한 모델이 올바른 방향으로 일반화하도록 만드는 데 초점을 둡니다. Lang 등의 "Debate Helps W2SG"(arXiv:2501.13124, 2025년 1월)는 두 접근을 결합한 사례입니다.

유형: Learn 언어: Python (표준 라이브러리, W2SG 격차 시뮬레이터) 선수 지식: Phase 18 · 01 (instruction-following), Phase 18 · 10 (AI Control), Phase 09 (RL foundations) 예상 시간: 약 60분

학습 목표

• 확장 가능한 감독과 약한 모델에서 강한 모델로의 일반화를 정의하고, 두 개념이 어떻게 서로 보완하는지 설명합니다.
• Burns 등(2023)의 실험 설정, 즉 GPT-2가 만든 라벨로 GPT-4를 미세조정하는 절차를 설명합니다.
• 회복된 성능 격차(Performance Gap Recovered; PGR) 지표와 그것이 무엇을 측정하는지를 설명합니다.
• 확장 가능한 감독의 세 가지 주요 메커니즘(mechanism)인 토론, 재귀적 보상 모델링, 과제 분해를 말하고 각각의 강점을 하나씩 짚어 봅니다.

문제

Phase 18에서 지금까지 다룬 모든 정렬 기법은 감독자가 모델의 행동을 평가할 수 있다는 전제를 깔고 있습니다. 그러나 모델이 초인간 수준이 되면, 감독자가 가장 약한 고리가 됩니다. 초정렬이 던지는 질문은 이것입니다. 더 약한 감독자가 더 강하고 정렬된(aligned) 모델을 안정적으로 만들어 낼 수 있는가?

Burns 등은 이 질문을 측정 가능한 실험 설정으로 옮겨 놓습니다. 즉, 약한 감독으로 강한 모델을 감독해 보고, 강한 모델의 능력이 약한 감독 아래에서 얼마나 살아남는지를 관찰합니다. 이것은 초정렬을 해결하는 방법이 아니라, 진척도를 측정할 수 있게 해 주는 대리 실험입니다.

개념

W2SG: Burns 등의 실험 설정

• 약한 모델: GPT-2 급(class).
• 강한 모델: GPT-4 급.
• 목표: 해당 과제에서 GPT-4가 도달할 수 있는 상한(ceiling).

절차는 다음과 같습니다.

1. 약한 모델의 영(zero)-샷 예측(zero-shot prediction)을 과제에서 얻습니다.
2. 약한 라벨이 붙은 데이터로 강한 모델을 미세조정합니다.
3. 미세조정된 강한 모델의 정확도(accuracy)를 측정합니다.

기준선(baseline)은 두 가지입니다. 약한 모델 자체의 정확도, 그리고 정답 라벨(gold label)로 지도 학습한 강한 모델의 상한입니다.

격차 지표는 회복된 성능 격차(Performance Gap Recovered; PGR)입니다.

PGR = (fine-tuned - weak) / (ceiling - weak)

PGR이 1.0이면 약한 감독만으로도 격차가 완전히 메워졌다는 뜻이고, PGR이 0이면 약한 감독이 전혀 도움이 되지 않았다는 뜻입니다.

Burns 등의 경험적 관찰

자연어 처리(NLP), 체스 퍼즐(chess-puzzle), 보상 모델링(reward modeling) 과제 전반에서 PGR은 일관되게 양수였습니다. 강한 모델이 약한 감독자의 실수를 넘어서 일반화한 것입니다. 과제별 PGR은 약 20%에서 80%까지 폭이 넓었습니다. 강한 모델은 불완전한 라벨에서도 의도된 과제(intended task)를 "이해"하고, 사전학습(pre-training) 단계에서 얻은 사전 지식(prior)으로 빈 곳을 메워 넣습니다.

Burns 등이 직접 짚은 한계는 다음과 같습니다.

• 여기서 다루는 약-강 격차(weak-to-strong gap)는 정렬 격차(alignment gap)가 아니라 능력 격차(capability gap)입니다. 약한 모델은 이미 정렬되어 있고, 진짜 초인간 모델은 인간이 정렬해 두었다 하더라도 능력 격차가 훨씬 클 수 있습니다.
• 강한 모델의 일반화는 실제 의도(ground-truth intent)를 복원했다기보다, 학습된 과제 사전 지식(task prior)에 기댄 결과일 수도 있습니다.
• 강한 모델 안에 잠재된 지식(latent knowledge)을 끌어내는 것이 본질적인 문제이고, PGR은 그중 특정 운영화(operationalization)만 측정합니다.

확장 가능한 감독의 세 가지 메커니즘

• 토론(Debate, Irving 등 2018). 신뢰할 수 없는 강한 모델 U의 두 인스턴스(instance)가 서로 반대 입장을 주장하고, 약한 심판(judge)이 결론을 내립니다. 핵심 가정은 설득력 있는 참 답변을 찾는 일이 설득력 있는 거짓 답변을 찾는 일보다 쉽다는 것입니다. 2024-2025년의 최근 연구(Khan 등, Michael 등)는 토론이 때로는 도움이 되고 때로는 그렇지 않으며, 과제 구조(task structure)에 따라 결과가 달라진다는 점을 보여 줍니다.
• 재귀적 보상 모델링(Recursive Reward Modeling; RRM, Leike 등 2018). U가 인간을 도와 한 단계 위 모델인 U+1의 보상 모델(reward model)을 학습시킵니다. 감독자의 실효 역량이 감독 대상 모델과 함께 성장합니다.
• 과제 분해(Task Decomposition, Christiano, Shlegeris, Amodei 2018). 어려운 과제를 인간이 직접 확인할 수 있는 하위 과제(sub-task)들로 재귀적으로 쪼갭니다. 과제가 분해 가능(decomposable)하다는 점을 전제로 합니다.

각 메커니즘은 과제 구조 또는 중간 구성요소(component)의 정렬 상태에 대해 서로 다른 가정을 깔고 있습니다.

확장 가능한 감독과 W2SG가 서로 보완하는 이유

확장 가능한 감독은 감독자가 보내는 감독 신호(signal)의 실효 품질을 끌어올립니다. W2SG는 감독자가 보낼 수 있는 신호가 아무리 불완전하더라도 그로부터 강한 모델이 격차를 메우도록 일반화시킵니다.

Lang 등의 "Debate Helps Weak-to-Strong Generalization"(arXiv:2501.13124)은 두 접근을 결합합니다. 토론 프로토콜(debate protocol)이 더 나은 약한 라벨을 만들어 내고, 강한 모델은 그 라벨을 사용해 학습됩니다. 자연어 처리 과제에서 PGR 향상(gain)이 보고되었습니다.

조직 차원의 드라마

OpenAI의 Superalignment 팀은 Jan Leike가 Anthropic으로 옮긴 직후인 2024년 5월에 해체되었습니다. 확장 가능한 감독, W2SG, 자동화된 정렬 연구(automated alignment research)라는 연구 의제(agenda) 자체는 Anthropic과 학계 연구소들에서 계속 이어졌습니다. 예를 들어 MATS(Lesson 28), Redwood(Lesson 10), Apollo(Lesson 8), METR(Lesson 28) 같은 곳들이 그 흐름을 받고 있습니다. 조직 구조는 바뀌었지만 연구 질문 자체는 바뀌지 않았습니다.

Phase 18 안에서의 위치

레슨 6-10은 신뢰할 수 없는 강한 모델 U가 적대적일 수 있다는 가정 아래에서 위협 모델(threat model)과 방어 패러다임(defensive paradigm)을 다룹니다. 레슨 11은 그 반대편, 즉 공세적 패러다임(offensive paradigm)입니다. 감독자를 U의 정렬 여부를 직접 검증할 수 있을 만큼 강하게 만드는 길입니다. 레슨 12-16은 그 위에서 적대적 평가(adversarial evaluation)를 위한 실무 도구(practical tooling)를 다룹니다.

사용해보기

code/main.py는 합성 과제(synthetic task) 위에서 W2SG 미세조정을 시뮬레이션합니다. 약한 라벨러(weak labeler)는 70% 정확도를 가지지만 오류가 특정 입력 구간에 구조적으로 몰려 있도록 설계되어 있습니다. 강한 모델은 정답 라벨에 대해 95% 상한을 갖습니다. 이 상태에서 강한 모델을 약한 라벨로 미세조정하고, PGR을 계산하며, 정답 라벨로 학습한 강한 모델 결과(strong-on-gold)와 약한 모델 단독 결과(weak-alone)를 함께 비교합니다.

산출물 만들기

이 레슨은 outputs/skill-w2sg-pgr.md를 만듭니다. 감독 설정(oversight setup) 설명을 입력으로 받으면, 약한 감독자, 강한 모델, 감독 품질을 식별하고 PGR을 계산하거나 계산에 필요한 값을 요청합니다. 또한 해당 주장이 "약한 감독만으로 강한 모델을 감독할 수 있다"는 것인지, 아니면 "약한 감독에 감독 메커니즘을 결합하면 강한 모델을 감독할 수 있다"는 것인지를 분명히 표시합니다.

연습문제

1. 쉬움: code/main.py를 실행합니다. weak_accuracy = 0.60, 0.70, 0.80일 때의 PGR을 보고하고, PGR 곡선의 모양을 설명합니다.

2. 중간: 약한 라벨러가 구조적 오류(structured error)를 가지도록, 예를 들어 특정 입력 구간에서는 항상 틀리도록 코드를 수정합니다. 이 경우 PGR이 증가하는지, 감소하는지, 거의 그대로인지 결과를 보고하고 이유를 설명합니다.

3. 중간: Burns 등(2023) 4.3절(자연어 처리 과제)을 읽고, "신뢰도 보조 손실(confidence auxiliary loss)" 직관을 재현합니다. 강한 모델이 약한 라벨보다 자기 예측에 더 자신 있을 때 누가 이기는지 정리합니다.

4. 어려움: 소프트웨어 엔지니어링 과제를 대상으로, 토론과 과제 분해를 결합한 확장 가능한 감독 프로토콜을 설계합니다. 각 구성요소의 실패 모드(failure mode)를 하나씩 이름 붙이고, 결합 구조가 그 실패 모드를 어떻게 다루는지 또는 다루지 못하는지를 설명합니다.

5. 어려움: "약한 모델에서 강한 모델로의 일반화는 초정렬에 이르는 유망한 경로다"라는 주장을 반증하려면 어떤 경험적 신호(empirical signature)가 필요한지 명확히 적습니다. 어떤 실험 결과가 보이면 이 주장이 무너지는지 구체적으로 기술합니다.

핵심 용어

더 읽을거리

• Burns et al. — Weak-to-Strong Generalization (OpenAI 2023) — W2SG 원 논문.
• Irving, Christiano, Amodei — AI safety via debate (arXiv:1805.00899) — 토론 메커니즘을 정의한 논문.
• Leike et al. — Scalable agent alignment via reward modeling (arXiv:1811.07871) — 재귀적 보상 모델링을 제안한 논문.
• Khan et al. — Debating with More Persuasive LLMs Leads to More Truthful Answers (arXiv:2402.06782) — 더 강한 변호자(debater)를 사용한 토론을 2024년에 실증적으로 분석한 연구.
• Lang et al. — Debate Helps Weak-to-Strong Generalization (arXiv:2501.13124) — 토론과 W2SG를 결합한 2025년 결과.