文章

大模型预训练微调与对齐三阶段

发表于
Preview Image
作者 handsomestwei
31 分钟阅读
大模型预训练微调与对齐三阶段

大模型预训练微调与对齐三阶段

一篇大模型从「零」到「能用」，通常经历 预训练 → 指令微调（SFT）→ 对齐（RLHF / DPO） 三段。三段各自往模型里注入的能力并不相同：预训练是事实与语言能力的主战场，SFT 主要教输出格式与指令遵循，对齐则校准价值观与偏好。本文结合三阶段分工、知识类型划分，以及 LIMA 等研究所提出的 表层对齐假说，梳理「微调到底能不能注入知识」这一争论背后的分歧点。观点归纳参考社区讨论与公开论文，非训练实操手册。

参考与延伸阅读：

目录

1. 三阶段总览

大模型训练可粗分为三段，数据规模、改动范围和目标各不相同：

1
2
3
4
5
6
7
8
9
10
11

预训练（Pre-training）
  │  万亿级 token · 改动全部权重
  │  注入：事实性知识、世界模型、语言能力
  ▼  「几乎学不进新事实」
指令微调（SFT）
  │  千～万条样本 · 改动小部分权重
  │  教会：输出格式、风格、指令遵循
  ▼  「只调输出倾向」
对齐（RLHF / DPO）
     偏好对 · 改动极少 token
     校准：价值观、人类偏好、安全边界

三段不是简单「重复训练三次」，而是 分工不同：越往后，数据越少，对权重或 token 的影响越局部，但越直接影响「用起来像不像一个听话的助手」。

1.1 宏观三阶段与 RLHF 管线总对照

读 RLHF 时容易混淆两套「三阶段」：全文宏观 是「预训练 → SFT → 对齐」；RLHF 管线内部 是「SFT → 奖励模型（RM）→ PPO」。二者并非一一对应——预训练只在宏观出现；宏观的 SFT 与 RLHF 阶段 1 是同一训练；宏观的 对齐 在 RLHF 里则拆成 RM + PPO 两步（DPO 则把对齐收成一步）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

═══════════════════════════════════════════════════════════════════════════
  左列：宏观三阶段（全文主线）          右列：RLHF 内三阶段（对齐的典型实现）
═══════════════════════════════════════════════════════════════════════════

  ① 预训练（Pre-training）              （不在 RLHF 内）
     │ 万亿级 token · 改动全部权重           为整条管线提供「基座模型」
     │ 事实 / 语言 / 世界模型
     ▼
  ② 指令微调 SFT  ═══════════════════►  RLHF 阶段 1：SFT
     │ 千～万条 · 小部分权重                 │ 同一训练环节（一一对应）
     │ 格式 / 风格 / 指令遵循                │ 专家问答 → 会听指令的策略
     ▼                                     ▼
  ③ 对齐（Alignment）                   RLHF 阶段 2：奖励模型 RM
     │ 偏好信号 · 极少 token                 │ 多回答 + 人类排序/打分
     │ 价值观 / 安全 / 人类偏好              │ → 蒸馏出可自动打分的 RM
     │                                       ▼
     │                                   RLHF 阶段 3：PPO 强化学习
     │                                       │ 采样回答 · RM 给奖励分
     │                                       │ → 最大化奖励 → 对齐后助手
     ▼                                       ▼
     └──────────── 产出：可用的助手模型 ──────┘

  ─── 对齐的轻量替代：DPO ───
  宏观「③ 对齐」≈ 在 SFT 基座上，用偏好对（好/坏答案）一步直接优化策略
                 跳过 RM 与 PPO，见 §7.5 起
═══════════════════════════════════════════════════════════════════════════
宏观阶段（全文）典型数据与权重影响RLHF 内对应DPO 内对应
① 预训练万亿 token · 全部权重前置基座，非 RLHF 步骤同左
② SFT千～万条 · 小部分权重阶段 1：SFT（同一环节）对齐前的 SFT 基座
③ 对齐偏好对 · 极少 token阶段 2：RM + 阶段 3：PPO（两步合为宏观对齐）一步 DPO（偏好对直接训策略）

对照要点：

要点说明
阶段数量宏观 3 段；RLHF 管线 3 段但 不含预训练；若从 0 数起实为 预训练 + RLHF 三阶段 = 4 步
SFT 的双重身份既是宏观第 2 段，也是 RLHF 的第 1 步——不是重复训练两次，是同一训练在两个视角下的命名
对齐的展开方式宏观「对齐」= RLHF 的 RM+PPO，或 DPO 的单步偏好优化
能力分工不变预训练注入事实与语言；SFT 教格式与遵循；对齐（RLHF/DPO）校准偏好与安全

RLHF 各子阶段的技术细节见 §7.2；DPO 与 RLHF 的差异见 §7.5。

2. 各阶段主要作用

阶段在做什么典型数据量对模型的影响范围主要注入内容
预训练下一词预测（Next Token Prediction）万亿级 token全部权重事实性知识、世界常识、语言规律
指令微调 SFT监督学习：输入问题 → 输出合格回答千～万条 指令样本小部分权重输出格式、语气风格、指令遵循
对齐RLHF、DPO 等，按人类偏好调输出偏好对（好/坏回答对比）极少 token价值观、偏好、安全与免责声明等

2.1 预训练：知识的主战场

预训练用海量无标注语料，让模型反复做 猜下一个词。在这一阶段：

  • 事实、世界常识、语言本身的统计规律，绝大部分被压进权重；
  • 业界常概括：事实性知识几乎都在这里注入；
  • 预训练结束后，模型再靠同样规模的继续预训练 很难大规模塞进新事实——因此常说后段「几乎学不进新事实」（指大规模事实性知识，而非零增量）。

2.2 指令微调：从「续写」到「作答」

SFT 用几千到几万条 高质量问答 / 指令样本，教模型：

  • 不要像纯语言模型那样无目的地续写；
  • 面对用户问题，用 问答、列表、步骤 等固定「姿势」回应；
  • 学会 Markdown、结构化输出等 格式与风格。

数据量比预训练小几个数量级，主要动 一小部分权重，而不是重写整个知识库。

2.3 对齐：校准「口味」

对齐阶段（RLHF、DPO、Constitutional AI 等）用 人类偏好 或 可验证奖励 进一步调模型：

  • 哪些话该多说、少说、不说；
  • 过渡语、礼貌用语、安全免责声明等 话语习惯；
  • 有研究指出：对齐前后，绝大多数实质内容 token 不变，变的主要是话语标记、过渡词、安全相关表述等 极少部分 token。

因此对齐常被描述为：校准价值观与偏好，只调输出倾向。其中 RLHF 与 DPO 的流程差异 见 §7。

3. 知识类型的四分法

讨论「微调能不能注入知识」之前，需要先拆开 「知识」 一词——口语里的「知识」至少混了四类，注入阶段各不相同：

类型含义示例主要注入阶段
事实性知识可陈述的对错信息法国首都是巴黎预训练
技能与推理能力解题、推导、工具使用等会不会解一道数学题预训练定天花板，后训练可「擦亮」
输出格式与风格用什么结构、语气回答Markdown 还是大白话SFT
价值观与对齐该不该答、边界在哪敏感话题拒答策略对齐（RLHF / DPO）

推论：

  • 问「微调能否注入知识」——若指 新事实，答案往往偏 否 或 很有限；
  • 若指 格式、风格、行为边界，答案偏 是，且正是 SFT / 对齐的主业。

争论里很多「口水仗」，根源是 双方说的「知识」不是同一类东西。

4. 微调在对齐争论中的位置

教科书式三段论可以概括为：

阶段一句话
预训练学会 语言 + 世界模型 + 大部分事实
SFT学会 怎么像助手一样说话
对齐学会 说得是否符合人的偏好与安全要求

但「事实一定只在预训练进去」并非无需论证的公理，还要结合 知识在参数里如何存储、后训练实际改了什么 来理解——这也是 LIMA、token 分布分析等研究的切入点。

5. 表层对齐假说与 LIMA

5.1 LIMA 实验

Meta 2023 年 LIMA 工作：在 LLaMA-65B 基座上，仅用约 1000 条 精挑细选的样本做监督微调，未做 RLHF，在人类对比评测中相对 GPT-4 仍有相当比例 打平或更好。

论文提出 表层对齐假说（Superficial Alignment Hypothesis），核心表述可概括为：

模型的 知识与能力 几乎全在预训练阶段学到；对齐 / 微调 教的主要是：与人交互时，从 已经会的内容 里选哪种 格式、语气 来呈现。

这与「预训练 = 知识主战场，SFT = 格式与风格」的图示分工一致。

5.2 Token 层面的量化

Hewitt 等人 2024 年的分析进一步量化：在一条「理想回复」中，约 77.7% 的 token，未经微调的基座模型也会同样选择；约 22.3% 的 token 会因微调而改变。

说明：

  • 微调 不是 改写了整条回复的「知识内容」；
  • 但 22.3% 并非可忽略——改哪些 token、按什么顺序改，本身也是对齐与 SFT 设计要研究的问题。

表层对齐假说强调的是 知识来源，并不等同于「微调无关紧要」。

6. 微调数据与基座能力的关系

同一套微调流程，喂什么数据 结果可以差很多。关键约束之一是：

尽量在基座已经具备能力分布的范围内做 SFT / 对齐，而不是硬塞基座从未见过的全新事实域。

情况典型结果
微调数据与基座能力 匹配格式、风格、任务遵循明显改善
微调数据要求基座 不具备的事实或技能效果差、幻觉多、遗忘或行为怪异
指望用少量 SFT 替代大规模预训练补知识通常不现实（事实性知识为主时）

因此工程上常见分工：

  • 补领域事实 → 优先考虑 继续预训练 / 领域预训练，或 RAG 外挂知识；
  • 补对话形态与任务格式 → SFT；
  • 补安全与偏好 → DPO / RLHF 等对齐；
  • 补实时私有数据 → RAG、工具调用，而非仅靠几千条 SFT。

这与站内《AI大模型微调》中「适应私有知识」的表述可对照理解：微调能固化 风格与行为，但 大规模新事实 仍要分清手段。

7. 对齐技术：RLHF 与 DPO

对齐阶段的主流路线之一是 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）：把强化学习与人类主观评价结合，让大模型输出更靠谱、更符合人类价值观——这也是 ChatGPT、InstructGPT 等助手型模型走向「可用」的 行业标准对齐路径 之一。近年来 DPO（直接偏好优化）等轻量替代方案兴起，但理解 RLHF 仍是读懂对齐技术的基础。

7.1 为什么需要 RLHF？

传统监督学习能教模型生成 语法通顺 的文本，却难以用封闭公式定义什么是「有趣」「有用」或「安全」。这类目标高度主观、语境相关，手写奖励函数往往顾此失彼。

RLHF 的核心思路是：不手工设计复杂奖励函数，直接把人类偏好当作奖励信号，让模型在「人觉得更好 / 更差」的反馈中学会细微差别。这与本文 §2.3 所述「校准价值观与偏好」一致——对齐要解决的多半是 无法写成单一标准答案 的质量维度。

7.2 RLHF 核心工作流程

经典 RLHF（以 OpenAI InstructGPT 为代表）通常包含 三个串联阶段。注意：其中第一步 SFT 在宏观「预训练 → SFT → 对齐」图景里已单独成段；在 RLHF 管线内部，它又是后续 RM 与 PPO 的 必要前置。两套阶段的嵌套关系见 §1.1 总对照图。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

阶段 1：监督微调（SFT）
  高质量人工问答 / 指令数据
    → 基座学会遵循指令、给出初步合格回答

阶段 2：训练奖励模型（Reward Model, RM）
  同一 Prompt 下生成多个候选回答
    → 人类标注员排序或打分
    → 训练独立 RM，预测「人类会给多少分 / 更偏好哪条」

阶段 3：强化学习优化（RL，常用 PPO）
  以 SFT 模型为策略起点
    → 采样生成新回答，RM 给出奖励分数
    → PPO 更新策略，最大化期望奖励
    → 得到对齐后的策略模型
子阶段输入产出作用
SFT专家编写的理想问答对会听指令的初始策略奠定回答格式与基本准确性
奖励模型同一提示下的多回答 + 人类排序/打分可自动打分的 RM把人类偏好 蒸馏 成可批量调用的奖励函数
RL 优化（PPO）RM 分数 + 当前策略采样对齐后的语言模型让生成结果 持续朝高奖励方向 偏移

PPO（Proximal Policy Optimization，近端策略优化）是 RLHF 中最常用的策略更新算法：在提升奖励的同时限制每步更新幅度，避免策略崩溃或奖励黑客（reward hacking）。

7.3 RLHF 的主要优势

优势说明
更贴合用户意图经 RLHF 调优的模型更能理解指令语境，回答更有用、更相关
安全性与真实性人类负面反馈可明确惩罚有毒、偏见、不实内容，有助于降低有害输出与「幻觉」倾向
表达更自然对话与长文生成中，语气可更流畅、更像真人交流，而非生硬续写
可扩展的偏好信号同一套 RM + RL 框架可接入排序、打分、对比选择等多种人类反馈形态

7.4 RLHF 的应用场景

RLHF 因大语言模型而广为人知，但「用人类偏好塑造生成行为」的思路已延伸到多种生成式 AI：

领域典型用途
对话与文本生成聊天机器人、新闻摘要、故事创作——优化连贯性、信息量与风格
大语言模型对齐ChatGPT、InstructGPT 等：把预训练 + SFT 基座推向「助手级」可用体验
图像 / 音乐生成用人类评价艺术真实感、意境，或音乐与情绪的匹配度
机器人与自动驾驶专家反馈指导安全、高效的导航与操作策略（RLHF 思想的外延）

在 LLM 语境下，RLHF 仍是对齐阶段的 参照基准；工程上若资源有限或追求训练稳定，常会改用下文所述的 DPO 等简化路线。

7.5 RLHF 与 DPO 流程对比

对齐阶段另一条常见路线是 DPO（Direct Preference Optimization，直接偏好优化）。二者目标一致——按人类偏好调整输出——但训练路径不同。

1
2
3
4
5
6
7
8
9
10
11

RLHF（传统）
  SFT 基座
    → 训练独立「奖励模型」（Reward Model）拟合人类偏好
    → 用 PPO 等强化学习最大化奖励
    → 得到对齐后的策略模型

DPO（直接偏好优化）
  SFT 基座
    → 跳过奖励模型与 RL 循环
    → 用偏好对（好答案 / 坏答案）直接优化策略损失
    → 提高「首选回答」概率，压低「非首选回答」概率
维度RLHFDPO
核心思路先学奖励函数，再 RL 优化策略将奖励优化 映射为策略损失，端到端训练
是否需要奖励模型✅ 需要单独训练❌ 不需要
是否需要强化学习（如 PPO）✅ 需要❌ 不需要，类似监督式偏好学习
训练数据偏好对 + 奖励模型标注成对偏好：preferred / non-preferred
典型复杂度高（多阶段、多模型）相对较低（单阶段损失优化）

DPO 的数学要点（直观理解）：在 Bradley-Terry 等偏好假设下，对奖励函数的最优解 可等价改写为 对语言模型策略的直接损失，因此不必先拟合 RM 再跑 PPO。

7.6 DPO 的主要优势

优势说明
计算更轻省去奖励模型训练与 RL 采样-更新循环，训练更快、资源占用更低
稳定性更好规避 RM 不准、PPO 超参敏感、奖励黑客（reward hacking）等 RLHF 常见问题
偏好数据更易得大规模高质量 SFT 集难建，但用户日志、A/B 测试、人工排序等 好坏对比 相对容易收集
效果可对标 RLHF公开实验表明，在情感控制、摘要、单轮对话等任务上，DPO 可 达到或接近 PPO-RLHF 水平

工程上，许多开源对齐流水线（如 TRL 的 DPOTrainer）已把 DPO 作为 RLHF 的轻量替代 默认选项之一。

7.7 DPO 数据格式（与 SFT 的区别）

SFT 通常是「一条输入 → 一条标准答案」。DPO 需要 同一上下文下的两条对比回答：

字段含义
input（或 prompt）系统消息 + 用户消息等对话上下文
preferred_output人类或规则认定的 更优 助手回复
non_preferred_output同一输入下 较差 或不希望的回复

逻辑示意：

1
2
3
4
5

{
  "input": "系统：你是客服助手。\n用户：订单为什么还没发货？",
  "preferred_output": "抱歉让您久等。请提供订单号，我帮您查询物流状态……",
  "non_preferred_output": "不知道，你自己看物流。"
}

训练时损失函数驱动模型：提高 preferred 的生成概率，降低 non_preferred 的概率。数据不必是「唯一标准答案」，而是 相对更好 / 更差 的排序关系。

7.8 DPO 适用场景

DPO 特别适合 没有单一标准答案、主观偏好明显 的任务：

场景为何适合 DPO
语气与风格「更礼貌 / 更简洁 / 更专业」可用偏好对表达
摘要与改写多条摘要均可接受，但人类能排序优劣
单轮对话质量同一问题多种答法，选更贴切的一种
智能客服在理解意图基础上，偏好「贴心、个性化」而非生硬模板式回复

相对不适合单独依赖 DPO 的情况：

  • 需要 注入大量新事实（应靠预训练、RAG 或领域继续预训练）；
  • 需要 严格可验证的正确性（数学、代码等更适合可验证奖励 RL 或专用评测）；
  • 仅有 单条标准答案、无对比样本时（继续用 SFT 更直接）。

7.9 与三阶段图示的对应关系

宏观三阶段与 RLHF / DPO 的 总对照图 已集中在 §1.1。此处仅作一句话收束：

SFT 教「会不会答」；RLHF / DPO 教「答得像不像人想要的」——预训练提供知识与语言能力，后两段分别塑造 输出形态 与 人类偏好。

8. 小结

要点结论
三阶段分工预训练（全权重·事实与语言）→ SFT（小部分·格式与遵循）→ 对齐（极少 token·偏好与价值观）
宏观与 RLHF 对照预训练为前置；宏观 SFT = RLHF 阶段 1；宏观对齐 = RM+PPO 或一步 DPO，见 §1.1 总对照图
「知识」需拆分事实 / 推理 / 格式 / 价值观，注入阶段不同
微调能否注入知识取决于「知识」指哪一类；新事实主要靠预训练或 RAG，格式与偏好靠 SFT / 对齐
表层对齐假说能力与事实主要在预训练；LIMA 表明少量高质量 SFT 可显著改善「助手感」
实践启示微调数据应落在基座能力可覆盖的范围内；别用千条样本替代万亿 token 的事实注入
RLHF人类偏好作奖励；SFT → 奖励模型 → PPO 三阶段；行业标准对齐路径，利于意图、安全与自然表达
RLHF 与 DPORLHF 多阶段（RM + PPO）；DPO 用偏好对直接优化策略，更轻、更稳，适合主观偏好对齐
DPO 数据形态input + preferred_output + non_preferred_output，与 SFT 单标准答案不同

9. 参考与来源

AI, LLM
AI LLM 预训练 SFT RLHF DPO 对齐
本文由作者按照 CC BY 4.0 进行授权