学习笔记|给一个会自己生长的模型做产品是什么体验

这期 Lenny's Podcast 的嘉宾是 Tulsee Doshi，谷歌 Gemini 及生成式媒体模型的产品负责人。主持人在开头铺垫了一长串话题，AI 安全、谷歌的处境、PM 的价值，但她本人真正在乎的，其实是同一个问题。

给一个模型做产品，和你过去给 App、给网站、给任何功能做产品，到底哪里不一样。

她给出的答案散落在整场对谈里，我按逻辑把它们串起来，尽量保留原话和具体机制，不替她做总结以外的演绎。这更像一份学习笔记，而不是一篇爽文。

—  01  —

模型不是造出来的，是长出来的

这是她全篇的地基。产品经理这门手艺，教科书式的做法是，先定目标，再定要达成的能力，再定结果指标，最后在一组评测上验收。这套方法在软件时代很成立，因为输入到输出之间基本可以推演。

模型不是这样。她的原话是，这有点像斯内普的魔药课。

「你可以把所有原料都放进去，也应该想清楚自己期待什么，但你必须接受，会有一些魔法发生。那点魔法会让人意外，而且是独一无二的。」

她特意澄清，这不是说训练过程是玄学。恰恰相反，训练中有大量可预测的部分，研究员会持续盯着训练运行，判断什么时候该介入，看着各项指标随训练推进往上爬。我们在尽可能把它做成一门科学。

不可预测的是另一侧。训练结束之后，模型身上冒出来的东西，往往不在当初的清单上。它可能在某个你根本没要求的能力上特别强，可能养出一种你没想到的表达方式，可能整体呈现出某种人格。

所以她把模型 PM 的工作拆成两半。

一半在输入端，你还是要有目标、有意图。另一半在输出端，你要盯住模型实际长出了什么，找出它在哪个地方意外地闪光、在哪个地方独特到超出预期，然后把那个意外变成用户能感知的产品体验。

这一条直接改写了 PM 的工作对象。传统 PM 管理的是一个自己可预测的对象，模型 PM 管理的是一个自己会变化的、每一次都给你一点新东西的对象。

同一个训练过程，一半是工程，一半是意外

—  02  —

模型自己的 UX：它的性格就是交互设计

顺着上面这个结论，她提出了一个更不常见的观点，模型本身也有 UX。这层 UX 不在界面上，而在模型跟你说话的方式里。

它有多透明，会不会反过来问你问题，表达得清不清楚，愿不愿意承认自己不确定。这些加在一起，就是模型的性格，也就是它的交互设计。

关键是，这件事能被 PM 介入。她的团队有一条明确的链路，先把用户反馈整理成一份说明，写清楚 Gemini 应该是什么样；再翻译成可以打分的标准；再翻译成模型训练能用的数据；最后落进奖励模型。

每一步都是产品判断，而不是纯工程。

她还提了一个概念「能力过剩」。意思是即使你现在完全停止开发模型，它已经会的很多事，产品还没来得及用上。所以这份工作的很大一部分，是把模型已有的能力暴露给用户，而不仅是追着下一个版本跑。

—  03  —

怎么评估一个你无法预测的东西

既然模型不可预测，评估就成了一项专门的技能。主持人问出了一个很实在的问题，如果一个人完全没写过评测，第一个该怎么写。

她的回答比想象中朴素得多。先从五个 prompt 开始。不用一上来就想着做一套大规模基准，五个加到二十个，能跑出一组能力上的差异、能让你看出模型 A 和模型 B 的区别，就已经很有价值了。

她还建议，起步阶段可以自己当评分者。去看一个 prompt 的结果好不好，尤其是那种多步多轮的轨迹。这一步最大的收获不是分数，而是你被迫想清楚，对我来说「好」到底长什么样。这个自我澄清的过程，本身就很难。

和评测并列的另一个词，是手感，她上期节目里反复用的 vibes。手感不是看发布会建立起来的，是靠每天拿具体任务去试。她给的方法很个人化，找你真正在乎的任务，比如写一份策略文档、做一段财务测算，然后盯着不同模型在这件事上的差异。

她强调这件事没有标准答案。有人用 3D 动画看模型的视觉审美，有人用长文看结构和语气，有人直接扔硬问题看推理。关键不在任务类型，在于它得让你兴奋，不然你根本看不出那个微光。

最能说明「尺子决定产出」的，是她讲的一个旧案例。早年谷歌在评估产品对肤色的表现时，用的是一套从医疗领域借来的 Fitzpatrick 量表，只有六档，而且整体偏白。问题不在于六档够不够细，在于这套尺子本来就不是为描绘全球人群设计的。

后来他们和哈佛一位做人类学、社会学研究的教授合作，换成了一套基于多年访谈建立的十档量表，然后把评估方式、产品指标、图像生成策略一起改掉，才让 Pixel 相机和图像生成对肤色的处理更有意识。

这个故事真正值得记的地方是，你用什么尺子量，决定了你会做出什么东西。尺子错了，再努力的优化也只是在错的坐标里前进。

她最后补了一个很容易被忽略的点，评估要整体看。给你打分的那个评判者本身可不可靠，直接决定分数可不可信。你在生产栈上带不带过滤、模型怎么被服务，都会改变实际表现。她拿音频举例子，一个模型内容可以很好，但声音的自然度、音色、语调可能被服务环节拖垮。所以真正要评的，是终端用户实际拿到的那一圈，不是一个孤立跑分。

—  04  —

60-20-20：给模型变强留出接口

这是她给产品决策层的核心建议。创业公司的老规矩是先做一个能用的最小可行产品，她说用模型做产品，不该这么做。

她的逻辑是，模型的能力今天和明天不一样，每两周就会变。如果你只做今天能跑通的部分，就等于在用一个过期版本规划产品。所以要把东西分三段。

数字可以调整，论点不变，留出余量给还没到来的模型

六成，现在就能跑通，原型至少能用，保证今天有东西可以发布、有用户可以验证。两成，现在还不完美，但看得出模型很快会跨过去，这部分是提前占位。剩下两成，眼下几乎做不出来，你只是隐约看到一点光，觉得成了会很不一样，这部分是下注。

她特别补充，为什么不敢把赌注全押在「三个月后模型在哪」上。因为连做模型的人，都很难确切说出三个月后模型会到哪。所以她更相信用自己的代理指标，我的产品现在在哪，我看到了哪里的微光。这比拍一个未来时间点更具体。

这引出了一个反面警示。她看到过一些客户，在模型还很弱的时候围绕它搭了一整套非常精密的系统。等模型变强，这套系统反而成了累赘，因为所有结构都在假设模型做不到某些事。

「有一种说法是，模型会把你的 harness 当早餐吃掉。你堆在上面的那些优化，最后都会被模型本身的能力覆盖掉。」

她给的解法是持续重新测试。有些人甚至建议定期把已经搭好的技能全部删掉，看看模型本身现在是不是已经够好。因为很多时候，你不是没吃到模型的红利，是你自己的旧结构把它挡住了。

—  05  —

harness 是什么，以及团队怎么跟上

她说 harness 就是模型外面那层壳。系统提示词、工具、技能、能访问的上下文，以及模型怎么调用这些。用一个更直白的话说，你是在给模型搭一个可以活动的环境。

上一个章节已经暴露了问题，如果你的产品壁垒大部分都在这层壳上，那模型每强一次，你的壁垒就少一截。所以她的团队更看重的，是人这侧的能力有没有跟上。

她描述的做法很具体。团队里有一些 PM 特别会玩模型、擅长用内部工具，他们就把自己日常在用、确实产生价值的技能分享出来，攒成一个技能库。数据看得更熟的 PM，再通过工作坊带其他人一起练，慢慢把整个团队对工具的底气做起来。

她觉得这里面最稀缺的资源，其实是时间和空间。人在一直冲刺的状态下，很难退一步去把工具摸熟。所以她计划在 11 月拉一个两天的工作坊，把所有 PM 从日常里抽出来，专心去构建和玩工具。

她还分享了一条自己正在养成的经验法则，同一件事如果要做第二遍，先问一句，这件事能不能交给 AI。她说自己也是靠一次「原来它真能帮到我」的具体体验，才把习惯固定下来的。一次就够，之后你会主动去找第二次、第三次。

—  06  —

AI 到底改了 PM 的什么

最后这部分，她点了 PM 角色本身的变化。主持人观察到 AI 至少在两处明显重塑了这个岗位，原型化和数据分析。过去要等设计师和工程师来做一个东西，现在可以无限制地做原型；过去数据要专门的人来做，现在 PM 自己就能把数据拿在手边做决策。

她给了一个更深的判断。社交媒体上常看到「原型是新的需求文档」「评测是新的需求文档」这类说法，她认为这背后真正的变化是，PM 不再只是写下一组需求、然后假设别人会去实现它。这个角色被往前推了一步，不管你用什么形式，你得为你的想法提供实质的重量。

这里可以顺势澄清一个被误读很多的点。节目里确实聊到了 PM 的价值，但她的原意不是「所有 PM 又值钱了」。她说的是，当构建变得极其容易，你就造出一堆没人要的东西，于是「判断什么值得做」这件事变得稀缺。她招的，是那些天天玩模型、有自己判断、会写评测、还能拥抱变化的研究型 PM。这跟传统意义上会写文档、会开会对齐的 PM，是两种生物。

关于这类新工种，她有一个「以一个好例子改心态」的描述，放在最后很合适。主持人说他现在每接到一个任务，会先停一下问一句「这件事 AI 能替我做吗」。她说自己最开始的转变，也是从某一个任务里，因为一次「它真的帮到我了」，才开始愿意把更多事情一件件丢给模型。信心是滚出来的，不是靠想出来的。

—  07  —

写在最后

回到开头那个问题。给一个模型做产品，和做别的产品到底哪里不一样。

不一样的地方在于，你管理的对象不再是一个可预测、服从需求文档的东西，而是一个会自己生长、每次都给你一点意外的东西。你的一半精力放在怎么定义它，另一半放在怎么认出它长出什么。你的尺子、你的余量、你的团队能力，都要为这个「会变」的前提重新设计。

这大概才是这期节目真正想讲的。它不是一句「PM 又值钱了」能概括的。

内容整理自 Lenny's Podcast 对谈，嘉宾 Tulsee Doshi，谷歌 Gemini 及生成式媒体模型产品负责人。文中机制与引语均来自访谈原话，中文为翻译整理，未做额外演绎。文内两图为根据访谈内容绘制，非嘉宾原图。

每一期学习笔记中的播客原文（中英文对照版）均可关注并私信找作者获取。