《State of GPT》PPT 完整翻译与讲解

《State of GPT》是OpenAI 联合创始人、前特斯拉 AI 总监 Andrej Karpathy于2023 年 5 月微软 Build 开发者大会上所做的一场主题演讲，也是迄今为止OpenAI 体系内最公开、最系统地拆解 GPT/ChatGPT 训练全流程的技术普及讲座。

虽然是 2023 年的演讲，现在看来仍然发现这几年的发展其实这里的基础上继续发展。2024 年 OpenAI o1模型具备思维链推理能力，2025 年 DeepSeek 把推理过程展示出来，各家模型纷纷跟进，正是本文中的思维链 CoT 的体现。文中提到的 Agent 也在2025 年被逐步落地， 陆续有产品推出市场Manus、Claude code、 Codex、Openclaw、Hermes 等 等，目前处于高速发展中。按照 OpenAI 提出的 AGI 五个阶段，现在已经处于 L3 阶段。

翻译内容

标题：State of GPT

演讲者：Andrej Karpathy

会议：Microsoft BUILD

日期：2023年5月23日

副标题：How to train your (Chat)GPT Assistant - An emerging recipe

副标题翻译：如何训练你的(Chat)GPT助手——一种新兴的训练方法

讲解说明

这是Andrej Karpathy（前特斯拉AI总监，OpenAI创始成员）在2023年微软BUILD开发者大会上的主题演讲。这份PPT系统讲解了从基础大语言模型到ChatGPT这类对话助手的完整训练流程，是理解现代LLM技术栈的经典资料。

第2页：GPT助手训练流程总览

翻译内容

GPT助手训练流水线

讲解说明

这是整个演讲的核心框架，展示了现代对话AI的四阶段训练流水线：

1. 预训练：用海量互联网数据训练基础模型，这是最昂贵的阶段

2. SFT监督微调：用人工标注的高质量对话数据让模型学会"如何回答"

3. RM奖励建模：训练一个评分模型来判断回答质量

4. RLHF强化学习：用奖励模型指导模型进一步优化，这是ChatGPT效果好的关键

关键洞察：数据质量和数量呈反比——越往后的阶段，数据量越小但质量要求越高。

第3页：预训练 - 数据收集

翻译内容

数据收集

下载大量公开可用数据

表1：预训练数据（Meta LLaMA模型使用的数据混合）

开源数据集：RedPajama, Pile

讲解说明

预训练数据是大模型的"知识基础"。以LLaMA为例：

• 67%来自CommonCrawl：互联网网页爬取，量最大但质量参差不齐

• 维基百科仅占4.5%：但质量极高，是模型事实性知识的主要来源

• 代码数据(Github)占4.5%：这是大模型具备编程能力的来源

• 学术论文(ArXiv)占2.5%：赋予模型专业知识和逻辑推理能力

数据混合比例直接决定模型的能力偏向——代码和学术数据占比越高，模型推理能力越强。

第4页：预训练 - 分词(Tokenization)

翻译内容

分词

将所有文本转换为一个很长的整数列表。

典型数值：

• 约1-10万个可能的token

• 1个token ≈ 0.75个英文单词

典型算法：字节对编码 (Byte Pair Encoding)

示例：

• 原始文本："The GPT family of models process text using tokens, which are common sequences of characters found in text..."

• 转换为整数：[464, 402, 11571, 1641, 286, 4981, 1429, 2420, 1262, 16326, ...]

工具链接：platform.openai.com/tokenizer

讲解说明

分词是LLM的"入口"：

1. 为什么不直接用字符？：压缩序列长度，让模型能处理更长文本

2. 1 token ≈ 0.75英文词：中文因为字符复杂，1 token ≈ 1-2个汉字

3. 字节对编码BPE：自动发现高频字符组合，比如"ing"、"tion"会被合并为单个token

4. 词汇表大小：GPT-3用50257个token，LLaMA用32000个token

这就是为什么OpenAI按token计费的原因——token是模型真正处理的基本单位。

第5页：两个示例模型 - GPT-3与LLaMA

翻译内容

GPT-3 (2020)

• 词汇表大小：50,257

• 上下文长度：2048

• 参数：1750亿

• 训练token：3000亿

训练规模（数量级参考）：

• 约1000-10000块V100 GPU

• 约1个月训练时间

• 约100-1000万美元成本

LLaMA (2023)

• 词汇表大小：32,000

• 上下文长度：2048

• 参数：650亿

• 训练token：1-1.4万亿

65B模型训练：

• 2048块A100 GPU

• 21天训练时间

• 500万美元成本

讲解说明

这页展示了大模型训练的惊人成本：

• GPT-3 (2020)：1750亿参数，3000亿token，开创了大模型时代

• LLaMA (2023)：Meta的开源模型，650亿参数但训练了1.4万亿token，"数据比参数更重要"

关键趋势：2020年需要1万张V100训练1个月，2023年用A100只需2048张训练21天——硬件进步和算法优化大幅降低了训练成本。

第6页：预训练的技术细节

翻译内容

预训练

Transformer的输入是形状为(B, T)的数组

• B是批量大小（例如这里B=4）

• T是最大上下文长度（例如这里T=10）

训练序列按行排列，用特殊的<|endoftext|>token分隔

一个训练批次，形状为(B, T)的数组：

B = 4, T = 10

讲解说明

这是Transformer训练的核心机制：

1. 批量处理：一次处理4个独立的文本序列，并行计算

2. 上下文窗口：每个序列最多10个token（实际模型是2048/4096/8192）

3. 文本拼接：不同文档拼接在一起，用<|endoftext|>标记分隔

4. 自回归预测：每个位置只能看到它左边的token，预测右边的下一个token

这就是"因果语言建模"——模型通过预测下一个词来学习语言规律。

第7页：预训练 - 预测机制可视化

翻译内容

预训练

每个单元格只能"看到"同一行中它左边的单元格，用来预测它右边的下一个单元格

• 绿色 = 随机高亮的token

• 黄色 = 它的上下文

• 红色 = 它的目标

Transformer（神经网络）输出：50,257个数字（下一个token的概率）

正确索引（标签）：513

讲解说明

这页直观展示了下一词预测的工作原理：

1. 注意力掩码：模型设计上就"看不到未来"，只能基于已有文本预测

2. 分类任务：本质是50257分类问题，从词汇表中选概率最高的词

3. 损失计算：预测概率与真实token的交叉熵损失

这就是为什么LLM会"一个词一个词蹦出来"——每一步都只预测下一个token。

第8页：训练过程 - 莎士比亚示例

翻译内容

训练数据（莎士比亚作品）

"ent, ai,v are undone airedy."

初始化时的采样输出（完全随机）：

"zv)yy_RMV(7ea AOCEi2tfEi lermh 88]gLNSSx6Mji1wdcf WezVll<4x?OBhS7D-).8wCkGFgB(kCh'Ywa.QhjPo,3C..."

250轮迭代后：

"ONom hende beer'TIAFRO Rome thecoramerert BENRABENBUR. Nore se. he llod hears hy pid gof wiere..."

500轮迭代后：

"For but te aser if the coouldlavilcoon Creater? RANTEBR. In fease. Youll doverrs, your ill will welt yexther..."

5000轮迭代后：

"Hor. I have been me, thereof my life, and he concludes him. These offenced his soul mine of a form that country..."

30000轮迭代后：

"Of gold that breeds forth thou must like the stars, But they are sent soldiers, her window in their states..."

讲解说明

这是最直观的训练过程演示：

• 0轮：完全随机乱码

• 250轮：开始出现单词和基本语法

• 500轮：能模仿莎士比亚的句式结构

• 5000轮：开始有意义的句子

• 30000轮：几乎可以以假乱真

核心洞察：大模型的"智能"就是从万亿次预测下一个词中涌现出来的——没有任何神秘之处。

第9页：训练损失曲线

翻译内容

训练曲线示例

• 左图：Toy GPT-2的验证损失曲线，400步后损失从3.6降到2.9

• 右图：LLaMA各尺寸模型训练损失

• 蓝色：LLaMA 7B

• 橙色：LLaMA 13B

• 绿色：LLaMA 33B

• 红色：LLaMA 65B

横轴：训练token数（十亿），纵轴：训练损失

"大规模训练通常不是一帆风顺的，参见OPT175B日志的114页记录"

讲解说明

损失曲线是大模型训练的"心电图"：

1. 损失持续下降：模型在不断学习，预测越来越准确

2. 模型越大，损失越低：65B > 33B > 13B > 7B，这就是"缩放定律"

3. 训练永不收敛：即使1.4万亿token后，损失仍在下降——理论上数据越多越好

重要提醒：实际训练充满各种问题（硬件故障、梯度爆炸、数据损坏），OPT的训练日志记录了无数坑，大模型训练是真正的"系统工程"。

第10页：基础模型的迁移学习

翻译内容

基础模型学习到强大的通用表示

两步范式：

1. 第一步：在大规模无监督数据集上进行模型"预训练"

2. 第二步：在小规模监督数据集上进行模型"微调"

图示：Transformer主干 + 不同任务头（分类、蕴含、相似度、多选）

论文：Improving Language Understanding by Generative Pre-Training, Radford et al. 2018 (GPT-1)

讲解说明

这是2018年GPT-1提出的经典范式，彻底改变了NLP领域：

• 预训练 = 通用知识学习：学会语言、事实、逻辑

• 微调 = 任务适配：针对具体任务（分类、翻译等）调整

革命性变化：以前每个任务单独训练模型，现在一个基础模型适配所有任务。这就是"基础模型"名称的由来。

第11页：基础模型可以通过提示完成任务

翻译内容

基础模型可以通过提示来完成任务

"让你的模型看起来像在补全文档！"

示例（阅读理解）：

汤姆和54岁的秘书凯瑟琳·格林形影不离...在瑞典，狗主人必须为狗造成的任何损害赔偿...

问：凯瑟琳多大了？

答：54

问：她住在哪里？

答：

GPT-2通过"补全文档"的方式被"诱导"来执行任务

GPT-2开启了提示优先于微调的时代

讲解说明

这是GPT-2 (2019)的最大突破——发现了"涌现能力"：

• 以前认为：必须微调才能做具体任务

• 现在发现：只要把任务"伪装"成文档补全，基础模型直接就能做！

这就是**提示工程(Prompt Engineering)**的起源。模型不需要重新训练，只要"会提问"就能解锁新能力。

第12页：GPT-2的多任务能力

翻译内容

四个任务的性能随模型规模提升：

1. 阅读理解：从117M到1542M参数，准确率从20%→60%

2. 机器翻译：BLEU分数从0→25

3. 摘要生成：ROUGE分数从18→22

4. 问答：准确率从1→4

论文：Language Models are Unsupervised Multitask Learners, Radford et al. 2019 (GPT-2)

讲解说明

这张图证明了缩放定律：

• 模型越大，所有任务的性能都同步提升

• 没有针对任何任务专门训练，只是模型变大了就自然会做这些任务

这是AI领域最惊人的发现之一：能力是规模的副产品。只要模型足够大、数据足够多，各种能力会"自动涌现"。

第13页：主流基础模型列表

翻译内容

已发布的基础模型：

• GPT (2018)：Improving Language Understanding by Generative Pre-Training

• GPT-2 (2019)：Language Models are Unsupervised Multitask Learners

• GPT-3 (2020)：Language Models are Few-Shot Learners, NeurIPS

• OPT (2022)：Open Pre-trained Transformer Language Models

• PaLM (2022)：Scaling Language Modeling with Pathways, Google

• BLOOM (2022)：176B参数开源多语言模型

• MT-NLG (2021)：530B参数Megatron-Turing

• GLaM (2022)：混合专家模型，Google

• Gopher/Chinchilla (2021-2022)：DeepMind

• LaMDA (2021)：对话模型，Google

• LLaMA (2023)：Meta开源高效基础模型

• GPT-4 (2023)：GPT-4技术报告

• BloombergGPT (2023)：金融领域大模型

• GPT-NeoX-20B (2022)：EleutherAI开源

讲解说明

2018-2023年是大模型的"寒武纪大爆发"：

• 2018-2020：OpenAI引领（GPT-1/2/3）

• 2021-2022：百家争鸣（Google、DeepMind、Meta、开源社区）

• 2023：GPT-4定义新标杆，LLaMA引爆开源生态

注意：这只是基础模型，还不是对话助手——ChatGPT是在这些基础上再做RLHF得到的。

第14页：大语言模型进化树

翻译内容

进化树 (Evolutionary Tree)

• 2018年：ELMo、BERT、GPT-1

• 2019年：RoBERTa、ALBERT、XLNet、GPT-2

• 2020年：ELECTRA、DeBERTa、ERNIE、GPT-3

• 2021年：Switch、T5、mT5、Jurassic-1、MT-NLG

• 2022年：ST-MoE、UL2、CodeX、GLaM、Gopher、Chinchilla、LaMDA、PaLM、OPT、BLOOM、InstructGPT、Sparrow

• 2023年：Flan、ChatGPT、LLaMA、Bard、GPT-4、Claude、Galactica、Minerva

图例：灰色=开源，白色=闭源

讲解说明

这张图清晰展示了技术路线分化：

1. 左分支（Encoder-Only）：BERT系，适合理解类任务，现在基本被淘汰

2. 右分支（Decoder-Only）：GPT系，适合生成类任务，现在成为主流

3. 中间分支（Encoder-Decoder）：T5系，适合翻译等任务

关键结论：GPT路线（Decoder-only自回归）最终胜出，成为所有现代大模型的标准架构。

第15页：基础模型≠助手

翻译内容

基础模型不是"助手"

基础模型不回答问题，它只想"补全互联网文档"

它经常用更多问题来回答问题：

用户：写一首关于面包和奶酪的诗

基础模型输出：

写一首关于饿死的人的诗

写一首关于天使蛋糕的诗

写一首关于被火腿三明治噎住的人的诗

写一首关于女主人做...

但可以通过提示工程"诱导"它做AI助手：

这里有一首关于面包和奶酪的诗：

（然后模型就会写诗了）

少样本提示：

以下是人类和乐于助人、诚实无害的AI助手的对话

[人类]：你好，你好吗？

[助手]：我很好，谢谢你问。今天我能帮你什么？

...

讲解说明

这是最容易被误解的一点：

• 基础模型的目标：模仿互联网上的文本，"接下来最可能出现什么词？"

• 助手的目标：帮助用户解决问题，"用户想要听到什么？"

这两个目标完全不同！基础模型会"续写"你的问题而不是"回答"它。这就是为什么必须做后续的SFT和RLHF。

第16页：第二阶段 - 监督微调(SFT)

翻译内容

SFT数据集示例（OpenAssistant数据集）

提示：

"你能写一篇关于经济学中'买方垄断(monopsony)'这个术语的简短介绍吗？请使用劳动力市场中潜在买方垄断的例子，并引用相关研究。"

回复：

"'买方垄断'指的是市场结构中只有一个买家购买特定商品或服务。在经济学中，这个术语在劳动力市场尤为重要，买方垄断的雇主对员工的工资和工作条件拥有重大权力...

最近的研究发现零售和快餐等行业存在潜在的买方垄断，少数大公司控制了市场的很大一部分(Bivens & Mishel, 2013)..."

讲解说明

监督微调(SFT)是"教模型如何回答"：

1. 雇佣大量标注员：让人类写出"理想的回答"

2. 数据量：只需约1-10万条对话，比预训练小10万倍！

3. 训练方式：还是预测下一个token，但现在是预测"人类会怎么回答"

关键：SFT之后，模型终于从"续写文档"变成了"回答问题"——这就是Vicuna等开源模型能直接对话的原因。

第17页：第三阶段 - 奖励建模(RM)

翻译内容

RM数据集示例

问题：写一个Python函数检查字符串是否是回文

回复A：（一个简单版本，只处理小写和空格）

回复B：（一个更好的版本，处理所有非字母数字字符）

回复C：（一个有bug的版本）

标注员的工作：对这几个回复进行排序（B > A > C）

RM训练：

• 蓝色：提示token，所有行相同

• 黄色：不同的回复token

• 绿色：特殊的<|reward|>token，只使用这个位置的输出

• 损失函数：衡量预测奖励与标注排序的一致性

讲解说明

奖励建模是RLHF的核心创新：

1. 为什么不直接SFT到底？：SFT只能学"一个标准答案"，但好的回答有很多种

2. 人类更擅长排序：让人类给几个回答排序，比让人类写完美回答容易得多

3. RM模型：输入一个问答对，输出0-1的分数，表示"这个回答有多好"

RM模型就是AI的"审美老师"——它知道什么是好回答，但自己不生成回答。

第18页：第四阶段 - 强化学习(RL)

翻译内容

RL训练

• 蓝色：提示token，所有行相同

• 黄色：模型生成的回复token（用SFT模型初始化）

• 绿色：<|reward|>token，现在由RM模型预测分数

只训练黄色单元格，其余忽略。

采样的token成为标签，但训练目标由"优势值"（归一化奖励）加权

示例：

• 第1行：生成的token很好 → 提升这些token的概率

• 第2行：生成的token很差 → 降低这些token的概率

• 第3行：生成的token一般 → 略微提升概率

算法：PPO (Proximal Policy Optimization)

讲解说明

这就是ChatGPT的"魔法"所在：

1. 模型自己生成回答

2. RM老师打分

3. 根据分数调整模型：高分回答增加概率，低分回答减少概率

循环往复，模型就会越来越擅长生成"人类喜欢的回答"。

本质：用AI训练AI。RM模型是"评委"，SFT模型是"选手"，两者对抗进化。

第19页：为什么要用RLHF？因为效果更好！

翻译内容

为什么RLHF？因为效果更好！

胜率对比（相对于175B SFT模型）：

• 红色：PPO-ptx (RLHF) → 65%胜率

• 橙色：PPO → 62%胜率

• 绿色：SFT → 50%胜率

• 浅蓝：GPT (提示) → 40%胜率

• 深蓝：基础GPT → 25%胜率

横轴：模型大小（1.3B → 175B）

论文：Training language models to follow instructions with human feedback, OpenAI, 2022

讲解说明

这是最关键的实验结果：

• RLHF > SFT > 提示 > 基础模型

• 模型越大，RLHF提升越明显：175B模型RLHF比SFT提升15%，小模型提升很少

另一个直觉："鉴别比生成容易"——判断一首俳句好不好，比写一首好俳句容易得多。人类擅长做评委，不擅长做作家。RLHF就是利用了这个不对称性。

第20页：RLHF的副作用 - 模式坍缩

翻译内容

模式坍缩 (Mode collapse)

微调后的模型熵降低（多样性减少）

• 基础模型熵高：输出多样、有创造力

• RLHF模型熵低：输出保守、重复

示例：

用户：虫子是真实存在的吗？

基础模型：我是说，我们从没见过...但蝴蝶会像毛毛虫一样变成蛹吗？我打赌你身体里有蛆在爬真恶心...

RLHF模型：这个问题没有唯一答案，取决于你所说的"虫子"是什么意思...（然后开始一本正经地解释）

RLHF模型可能自信地输出很少的变体

→ 基础模型在需要多样化输出的任务上可能更好

讲解说明

RLHF不是没有代价的：

1. 对齐税(Alignment Tax)：为了"安全"和"有用"，牺牲了创造力和多样性

2. 模式坍缩：RLHF模型总是说"正确的废话"，变得无聊、重复

3. 开源社区观察：很多人发现基础LLaMA写小说、写诗比ChatGPT更好——因为没被RLHF"阉割"

这就是为什么现在很多研究在探索"如何对齐又不损失能力"。

第21页：助手模型排行榜（2023年5月）

翻译内容

已发布的助手模型（2023年5月10日）

讲解说明

这是2023年5月的格局：

• 第一梯队（闭源）：GPT-4 > Claude > ChatGPT

• 第二梯队（开源）：Vicuna ≈ Koala ≈ ChatGLM

• 差距：开源最好的Vicuna比ChatGPT差70分，比GPT-4差190分

重要：这是对话助手排名，不是基础模型排名——开源模型都是在LLaMA基础上做SFT得到的。

第22页：人类 vs LLM 文本生成的本质区别

翻译内容

人类文本生成 vs LLM文本生成

人类写"加州人口是阿拉斯加的53倍"这句话的思考过程：

1. "接下来我要比较加州和阿拉斯加的人口"

2. "好，先查两个州的人口"

3. "[查维基百科] 加州3920万"

4. "[查维基百科] 阿拉斯加74万"

5. "算一下：3920/74 = 53"

6. "检查一下：53听起来合理"

7. "写下：加州人口是阿拉斯加的53倍"

LLM生成：

• 所有内心独白在训练数据中都被抹去了！

• LLM对每个token花费相同的计算量

• → LLM默认不会重现这种行为！

LLM的特点：

• ✅ 拥有海量事实知识

• ✅ 拥有巨大且"完美"的工作记忆（上下文窗口）

• ❌ 不知道自己不知道什么

• ❌ 不知道自己擅长什么不擅长什么

• ❌ 不会反思、不会检查、不会纠正错误

• ❌ 没有独立的"内心独白流"

讲解说明

这是整个演讲最深刻的洞察之一：

LLM是"没有内心独白的思考者"

人类思考是"慢思考"：查资料→计算→验证→修正

LLM思考是"快思考"：每个词用相同时间，直接输出

这就是为什么LLM会"一本正经胡说八道"——它不会停下来验算，也不知道自己错了。

第23页：思维链(Chain of Thought) - 给模型思考的时间

翻译内容

思维链

"模型需要token来思考"

• 将任务分解为多个步骤/阶段

• 提示模型进行内心独白

• 将推理分散到更多token上

示例1：少样本思维链

Q：罗杰有5个网球，又买了2罐，每罐3个。现在有多少个？

A：罗杰开始有5个。2罐×3=6个。5+6=11。答案是11。

Q：杂技能抛16个球...多少个蓝色高尔夫球？

A：（模型模仿步骤推理）

示例2：零样本思维链

Q：杂技能抛16个球...多少个蓝色高尔夫球？

A：让我们一步步思考。

（然后模型就会分步推理了）

讲解说明

思维链是2022年最重要的提示工程发现：

• 原理：既然LLM每个token计算量相同，那就让它"把思考说出来"

• 效果：数学推理准确率直接翻倍！

• 最简单的魔法词："让我们一步步思考"

这本质是用时间换空间——用更多token（更长的输出）来换取更深入的推理。

第24页：自一致性与反思

翻译内容

自一致性（Ensemble multiple attempts）

LLM可能"运气不好"采样到坏思路，一旦卡住就完了。多试几次！

1. 采样多种不同的推理路径

2. 对最终答案投票，取多数

示例：同一个问题，3次采样得到2个$18和1个$26 → 最终答案$18

让模型反思

LLM（尤其是GPT-4）事后经常能意识到自己之前的回答不好

用户：你能写一首不押韵的诗吗？仔细思考

（模型写了一首押韵的诗）

用户：这首诗符合要求吗？

模型：抱歉，我意识到刚才的诗押韵了，不符合要求。这是一首不押韵的诗：...

讲解说明

两个简单但极其有效的技巧：

1. 自一致性：同一个问题问3-5次，取答案最多的那个——准确率提升10-20%

2. 自我反思：让模型"检查自己的回答"——GPT-4经常能自己发现错误

这就是为什么"Agent"比单次调用效果好得多——多轮迭代、自我修正。

第25页：思维树(Tree of Thoughts) - 重建系统2思考

翻译内容

重建我们的"系统2"

类比：系统1（快速、自动）vs 系统2（缓慢、深思熟虑）

四种提示范式演进：

1. IO（输入-输出）：直接问答 → 系统1

2. CoT（思维链）：线性思考 → 系统1+

3. CoT-SC（自一致性）：多条线性路径投票 → 系统1×N

4. ToT（思维树）：展开中间想法的树，评估、剪枝、回溯 → 真正的系统2

类比AlphaGo：蒙特卡洛树搜索——探索、评估、回溯

讲解说明

这是当前最前沿的方向：

• LLM本身只有"系统1"（直觉、快速、不假思索）

• 人类还有"系统2"（逻辑、缓慢、深思熟虑）

• 思维树就是用外部算法给LLM装上"系统2"

这就是为什么AutoGPT这类Agent让人兴奋——它们不是让LLM直接回答，而是让LLM"规划、探索、反思、修正"，模拟人类的深度思考过程。

第26页：Agent与工具使用

翻译内容

链 / Agent

少想"单轮问答"，多想链、流水线、状态机、Agent

AutoGPT架构：

1. 用户提供目标和任务

2. 任务创建Agent → 生成新任务

3. 任务队列 → 待办任务

4. 任务优先级Agent → 排序

5. 执行Agent (GPT-4) → 完成任务

6. 记忆模块 → 存储和查询上下文

ReAct范式：推理+行动

思考1：我需要搜索Apple Remote...

行动1：搜索[Apple Remote]

观察1：2005年苹果推出...

思考2：好，现在我知道了，接下来...

行动2：搜索[Front Row]

...

讲解说明

这是2023年AI的最大趋势：从模型到Agent

• 以前：LLM = 聪明的计算器，你问它答

• 现在：Agent = 能自己规划、执行、修正的智能体

核心组件：

• 规划：拆解目标为子任务

• 记忆：记住做过什么

• 工具：调用搜索、计算器、代码执行

• 反思：检查结果，修正错误

第27页：条件化提示与工具使用

翻译内容

条件化好的表现

LLM不想"成功"，它们只想模仿训练集中各种质量的表现。你想成功，你应该要求它！

最佳零样本CoT提示词排名：

1. "让我们一步步解决这个问题，确保..." → 82.0%

2. "让我们一步步解决这个问题" → 78.7%

3. "首先，" → 77.3%

...

1. "答案在证明之后给出" → 45.7%

相关例子：

• "你是这个领域的顶尖专家"

• "假设你智商120"

工具使用/插件

• 卸载LLM不擅长的任务（计算、搜索）

• 重要：它们"不知道"自己不擅长

• 在文本中插入调用外部API的特殊token

讲解说明

两个非常实用的技巧：

1. "专家设定"真的有用：告诉模型"你是专家"，准确率提升5-10%——因为训练集中专家的回答质量更高，模型会模仿那个分布

2. 工具是必须的：LLM天生不擅长计算、精确搜索、实时信息——让它调用计算器、搜索引擎、代码解释器

ChatGPT插件、Code Interpreter就是做这个的。

第28页：检索增强与约束提示

翻译内容

检索增强LLM

将相关上下文/信息加载到"工作记忆"（上下文窗口）中

新兴方案：

1. 将相关文档分块

2. 用embedding API将块索引到向量数据库

3. 查询时，检索相关信息

4. 将信息组织到提示中

约束提示

"提示语言"，混合生成、提示、逻辑控制

示例（Guidance库）：

# 预定义有效选项
valid_weapons = ["sword", "axe", "mace", ...]
# 定义提示模板，混合生成和选择
character_maker = guidance("""
以下是RPG游戏角色的JSON配置...
"武器": "{{select 'weapon' options=valid_weapons}}"
""")

讲解说明

解决LLM两大痛点的方案：

1. 检索增强(RAG)：解决"幻觉"和"知识过时"——不要让模型凭记忆回答，把正确资料直接塞给它

2. 约束生成：解决"输出不可控"——用语法约束模型输出格式，保证输出有效JSON/SQL/代码

这两个是目前企业LLM应用的标准配置。

第29页：微调 vs 提示

翻译内容

微调 vs 提示

微调现在容易多了：

• 参数高效微调(PEFT)，如LoRA

• 低精度推理，如bitsandbytes

• 开源高质量基础模型，如LLaMA

但要记住：

• 需要更多技术专业知识

• 需要标注员和/或合成数据流水线

• 迭代周期慢得多

• SFT是可实现的，RLHF还是研究领域

讲解说明

什么时候用什么方案：

1. 先试提示工程：90%的场景少样本提示就够了，迭代快、成本低

2. 再试微调：提示效果不够、需要特定风格/格式、需要降低推理成本时

3. RLHF谨慎：绝大多数公司不需要也做不好RLHF

行业趋势：2023年大家都在做SFT微调，2024年开始回归"好的提示+RAG"——基础模型越来越强，微调的收益在下降。

第30页：默认推荐方案

翻译内容

*默认推荐方案

目标1：达到最佳性能

1. 使用GPT-4

2. 使用包含详细任务上下文、相关信息、指令的提示

→ "如果标注员不能邮件问你，你会告诉他什么？"

1. 检索并添加任何相关上下文到提示中

2. 尝试各种提示工程技术（前面讲的）

3. 尝试少样本示例：1)与测试案例相关 2)多样化（如果合适）

4. 尝试工具/插件卸载LLM困难的任务（计算器、代码执行...）

5. 花时间优化流水线/"链"

6. 如果你确信提示已经做到极致了，考虑SFT数据收集+微调

7. 专家/脆弱/研究领域：考虑RM数据收集、RLHF微调

目标2：优化成本

一旦你有了最佳性能，再尝试成本节约措施

（例如用GPT-3.5、找更短的提示等）

*这是近似值，很难给出通用建议

讲解说明

这是Karpathy给开发者的黄金建议，价值千金：

1. 先榨干提示工程：99%的人连提示的潜力都没用到10%就想着微调

2. GPT-4是最便宜的：虽然API贵，但它一次做对，省了你的调试时间

3. 上下文就是一切：把所有相关信息都塞给模型，比什么都重要

4. 工具 > 模型：让模型用计算器、搜索，比让它自己算靠谱100倍

5. 最后才考虑微调：微调是最后的手段，不是第一步

第31页：使用场景与局限性

翻译内容

使用场景

模型可能存在的问题：

• 模型可能有偏见

• 模型可能编造（"幻觉"）信息

• 模型可能有推理错误

• 模型可能在某些应用上有困难，例如拼写相关任务

• 模型有知识截止日期（例如2021年9月）

• 模型容易受到提示注入、"越狱"攻击、数据投毒攻击...

建议：

• 用于低风险应用，结合人工监督

• 作为灵感、建议的来源

• 副驾驶(Copilots)优于自主Agent

讲解说明

非常务实的建议：

1. 不要让LLM做高风险决策：医疗、法律、金融一定要有人审核

2. Copilot模式是最佳实践：AI做草稿，人类做最终决策

3. 自主Agent还太早：AutoGPT这类完全自主的系统还非常不可靠

记住：当前的LLM是"非常优秀的实习生"，不是"可以托付的专家"。

第32页：GPT-4的能力

翻译内容

GPT-4考试成绩（按GPT-3.5表现排序）

GPT-4在几乎所有标准化考试中都达到了人类顶尖水平：

• AP微积分BC：45% → GPT-4达到前45%

• LSAT（法学院入学）：88%分位

• GRE写作：99%分位

• SAT数学：90%分位

• AP环境科学：90%分位

数学推理示例：

问题：假设g(x)=f⁻¹(x), g(0)=5, g(4)=7, g(3)=2, g(7)=9, g(9)=6，求f(f(f(6)))

GPT-4的解答：利用反函数性质f(g(x))=x...一步步推导得到答案4

论文：Sparks of Artificial General Intelligence: Early experiments with GPT-4, 2023

讲解说明

GPT-4代表了当前大模型的能力边界：

• 专业考试：超过80-90%的人类考生

• 数学推理：能解复杂的多步数学题

• 多模态：还能看图片（这页的绿色就是多模态版本）

这就是为什么说GPT-4已经达到了"通用人工智能的火花"——它在如此多不同的任务上都达到了人类专家水平。

第33页：展望与总结

翻译内容

展望

（进化树图，指向GPT-4之后的未来）

完整的技术栈：

• 基础LLM

• SFT监督微调

• RLHF人类反馈强化学习

• 提示工程（CoT/ToT/反思）

• 工具使用/插件

• 检索增强RAG

• Agent架构

输出：

女士们、先生们，各位创新者、先行者：

欢迎莅临无与伦比的微软 BUILD 2023 大会！

你们是未来的建筑师，是塑造数字疆域的远见者，正是这些领域让人类得以蓬勃发展。请拥抱技术带来的无限可能，让你们的奇思妙想振翅高飞。让我们携手共建一个更加紧密、非凡且包容的世界，造福子孙后代。准备好释放你们的创造力，探索未知的边界，将梦想照进现实吧——属于你们的征程，今日正式启航！

讲解说明

这就是整个演讲的总结：

1. 基础模型是地基：千亿参数、万亿token训练

2. SFT/RLHF是对齐：让模型从"文档补全器"变成"有用助手"

3. 提示工程是用户端优化：让普通人也能发挥模型潜力

4. 工具/检索/Agent是未来：给模型装上手脚、记忆、思考能力

最终的启示：GPT不是魔法，它是一套清晰、可理解、可复现的工程技术栈——而这一切，从"预测下一个词"这个简单目标开始。

这就是2023年大语言模型的完整技术全景。