产品经理学LLM:Agent意图识别学习笔记
- 2026-11-15 10:38:37
最近在学习Agent设计,一个完整的agent架构大概是这个样子,看起来非常简单清晰,但是真正做起来却发现困难重重,第一个难搞的就是意图识别。

从本文开始,我分享一下我的agent学习笔记,全程站在产品经理视角,而非技术视角,把所有的问题都讲透。我目前的学习方式已经变成AI辅助学习的方式了,即先建立对一个新事物的整体认知,了解其边界,定义,架构,然后以具体案例咨询的方式深入与AI沟通,直到自己没有不理解的东西才算结束,知其然,知其所以然,知概念,也知道如何落地。最后结构化整理信息存档。
认知:意图识别是四个层次,不仅是一个分类器
一条用户输入进来,我们要让系统依次回答四个不同的问题
最常见的误判:把"分类准确率 85%"当成项目健康。实际上四层里任何一层出错,用户都会归因为"这个机器人很蠢",而我们的指标只监控了第一层。
产品经理的工作顺序应该和这个结构对齐:先定义②(要办成事需要什么信息),再定义①(怎么归到一件事),链接最后定义④(缺什么就问什么)。反过来先做①,会得到一棵"看起来很全、实际办不成事"的树。
误区:开源框架无法替代PM的工作
刚开始学习的时候,觉得开源的agent框架这么多,随便配置一下就行,但是Dify 的问题分类器、Coze 的意图识别,本质是"一段提示词 + 一个类别列表"的可视化配置。它省掉的是写代码,省不掉的是判断:类别怎么划、边界在哪、冲突怎么排、缺信息怎么办。
判断标准很简单:如果你的 agent 只做知识问答,灌文档就够;只要涉及"办业务"(查单、退款、改地址),就必须建意图体系。客服 agent 基本都属于后者。
链路:一条请求的完整走向





问题补充:一级路由那三个分数是什么
refund 0.86 | order 0.61 | invoice 0.12 是余弦相似度,不是概率。它回答的是“这两句话意思有多接近”,不是“属于这一类的可能性”。
做法是把每句话编码成一个 1024 维向量(语义空间里的坐标),相似度就是两个坐标方向夹角的余弦:完全同向为 1,垂直为 0。
所以 0.86 的含义是:在退款域的 50 条示例里,最像「订单 A10293 的退款怎么还没到账」的那条是「钱怎么还没退回来」,两者相似度 0.86。0.61 是订单域里最像的「我的订单到哪了」——共享“到”这个动作语义,但一个是物流一个是资金,分数明显掉下来。0.12 是发票域最像的「怎么开发票」,几乎无关。





产出:产品经理交付的是五张表
然后是大家最关心的一个问题,那产品经理在agent生产过程中到底要输出啥?从目前来看就是表里的这些,这五张表是研发、运营、标注三方共用的唯一事实来源。表格定得越清,后面返工越少。
意图的粒度怎么定
唯一判据:一个意图 = 一个可执行动作 + 一组固定槽位 + 一个明确结果。
按这个标准,"退款"是话题,不是意图。真正的意图是四件事:申请退款、查退款进度、对金额有异议、撤销退款。它们动作不同、槽位不同、结果不同。
意图卡的八个字段
一个反例:按后台菜单建树
这是后台功能表,不是意图树。用户不会说"我要打开订单详情",他只会说"我上周买的东西到哪了"。按功能建树的后果是:一级能分对,二级永远分不准,因为用户的话里根本没有功能名。
正确切法是按用户当下要达成的结果:东西在哪(查物流)、想让它快点到(催发货)、想让它别来了(取消订单)。同一个后台页面,在意图树上会散落到三个域里。
示例:一棵能用的意图树
电商客服,6 个一级域,25 个二级意图。可直接替换成你自己业务的域和动作。

一级 6 个域用向量路由;二级用 LLM 判定加槽位抽取。二级超过 30 个,说明域切得太粗,该拆域而不是加第三层。
落到意图卡:退款域展开
注意 refund.status 和 refund.apply 的区别不在话术,而在上下文里有没有退款单。这类靠状态而非语义区分的意图,必须在卡里写清判据,否则模型只能靠猜。
必须有"不办清单"
意图树只定义了能办什么,还缺一半:遇到什么要明确不做。四类各自有独立出口和独立日志,否则上线后你分不清该改意图、改产品还是改权限。
判定:二级识别的逻辑,与多意图的处理
二级不是"再分类一次"。它是在一级收窄的闭集里做选择,并且意图与槽位必须并行。
二级识别的五步
输入装配
归一化后的句子 + 一级域 + 上下文事实(在途单、已提交退款单、上一轮说了什么)。上下文没传对,模型再强也判不准。
候选收窄
只保留该域下 4~6 个意图,形成闭集。其余一律不可选,从源头消除跨域误判。
双通道并行
通道 A 判意图(必须给判定依据,允许输出 null);通道 B 全局抽槽位,不受意图猜测约束。
组合判定
业务状态优先于语义。有退款单判 status,没有判 apply。规则写在提示词里,代码再做一次后置校验。
三路分派
证据齐且槽位齐走执行;缺槽位或候选分不开走澄清;null、写类且证据不足走人工。
槽位与意图必须并行抽,不能串行。先定意图再按该意图抽槽位,一旦意图判错,槽位会跟着错,而且错得很合理,你很难看出问题。先全局抽实体,再按选中意图裁剪,事后还能纠正。
让模型输出判定依据
在 schema 里加一个 evidence 字段。它不参与业务,但在 debug 时价值极大:你能一眼看出是词看错了,还是上下文没给对。
二级判定失败的三种典型
一句话两个意图怎么办
第一步是判断它到底是不是两个意图。这条最容易错:
• "我要退款,因为质量有问题" → 一个意图(refund.apply),"质量问题"是 reason 槽位的值
• "我要退款,另外发票重开一下" → 两个意图
判据只有一条:第二个信息指向不同动作、不同业务对象、需要不同的工具调用吗?只是给第一个动作当参数,就不是第二个意图。
这条判错,后果是把所有带原因描述的诉求都判成"质量投诉",投诉量瞬间翻倍。
确认是两个之后,按类型处置
五条处置原则
1.只执行一个,其余排队。两个写操作并行会制造"部分成功"的脏状态,对账时极难收拾。
2.风险优先。任何一个命中必转人工,整个会话转人工,不要先办退款再转。
3.一次只回一件事。同时讲退款和发票,用户大概率只看懂一半。
4.写类操作各自确认。不能合并成一次"都确认吗"。
5.次意图绝不能丢。办完主意图主动接一句"另外您还提到发票要重开",或落到工单附言。吞掉次意图是重复咨询最主要的原因。
多意图上限要设死:三个以上转人工。超过三个诉求的用户通常已经在气头上,机器办得越多错得越多。
数据:要准备什么,词条从哪里挖
那数据从哪里来的呢?数据准备不是“把文档灌进去”。九类数据里有四类只有产品经理能产,而词条只能从你自己的客服记录里挖出来——但要从有标签的那部分挖。
两条不能破的红线:① 示例库和评测集必须物理隔离,用同一批句子建库又评测,跑出来的 95% 是假的;② 标注必须有"无法归类"选项,否则标注员会硬塞,意图树永远"看起来完整、实际错位"。
归一化词典:先分清三类
归一化最容易犯的错,是把它当成一张同义词表来写。实际上只有一类适合做成词典:
最常见的事故:把"我不想要了 → 取消订单"这类语义改写塞进词典,遇到"我不想要赠品"就翻车。判据:能写成一行"原词 → 标准词"的才进词典,需要看上下文的一律不进。
整理五个步骤
先建"标准侧"
从意图卡的动作词、槽位枚举值、商品表、渠道表倒推出 200~400 个标准词。没有这份锚,收上来的词无处归属。
从五个来源挖
未命中日志(最高价值)、人工客服的复述(自带标注)、差评原话、站内搜索空结果、语音转写稿。
四种方法筛候选
高频未登录片段、编辑距离聚类、拼音近似、向量近邻。机器出候选,人工确认,这一步不能省。
按固定结构入库
每条必须带 hit_count、source、owner、status。没有元数据的词条三个月后就没人敢动。
按固定顺序匹配
实体编号 → 最长别名 → 错字替换 → 数值解析 → 否定标记。顺序错了会出事故。
展开:词条到底从哪里来
先纠正一个常见误解。你要挖的不是“词条”,而是「用户说法 ↔ 客服动作」的配对。只看用户说了什么,永远不知道他到底想干嘛。客服记录里最值钱的不是用户原话,是用户说完之后客服做了什么——那个动作就是这条消息的真实标签。
优先找有标签的,别一头扎进纯聊天记录。前者是带答案的题库,后者是没有答案的草稿纸。
取数:三个条件都要卡
三个条件都有讲究:只取人工会话,因为机器没处理好的会话才是你的缺口,只看全自动会话会得到一堆“你好”“在吗”;长度 2~200,过滤掉系统通知和客服的长篇营销文案;90 天窗口,太老的记录里业务规则可能已经变了。
从记录到词条:五步
•配对
• 把用户消息和它的“结果”对应起来:下一条客服回复、工单分类、用了哪个快捷话术。这一步做完,你就有一份弱标注语料。
•按意图归堆
• 用 category 预分;没有分类的用 embedding 聚类(k 取意图数的 2 倍)。簇不纯没关系,下一步人工命名会修正。
•出候选
• 每堆里跑三件事:高频未登录片段(不在标准词表里的 2~4 字组合)、拼音与编辑距离近邻(退宽 → 退款)、句内异常(措辞明显偏离簇内多数的句子,往往是新说法)。
•人工裁决,按频次排序
• 每次只处理 TOP 50,一周一批。标注只需要判断两件事:它在替换哪个标准词,或者它该进意图卡而不该进词典。
•反查覆盖率
• 词典上线后重跑同一批日志,看还有多少句子里的关键词没被覆盖。这个数才是“够不够完整”的真实答案。
不存在“完整”,只存在“够用”
按意图归并后的咨询量排序,覆盖到 80% 就停手。剩下 20% 是长尾,词条数量可能占 70%,收益却不到两成。
一个更实际的节奏指标:每周新增不超过 20 条。如果某周突然冒出 100 条新说法,说明意图切分出问题了,不是词典不够。
冷启动:日志不够时怎么办
新业务、新渠道,或者 agent 还没上线(没有“机器失败样本”)时,日志只有几百条,挖不出东西。三个替代来源,按有效性排:
1.让客服团队脑暴一小时。他们每天在做的“翻译”工作就是你要的词条,一场会能出 200~300 条,质量比任何算法都好。
2.人工扮演用户造样本。找 3 个人,按意图卡逐条造 5 种说法,20 个意图就是 300 条。
3.竞品客服与行业 FAQ 反推。去问一遍同类产品的客服,把他们的话术抄下来——那些话术本身就暴露了他们预设的用户说法。
造出来的样本只能进示例库,绝不能进评测集。否则你的评测指标从一开始就是假的。
词条长什么样
裸的 {"退宽": "退款"} 三个月后就没人敢动了。每条必须带元数据:
归一化词典的 KPI 是误伤率,不是覆盖率。覆盖不够只是效果差一点,改错一个字是直接答错。目标误伤率低于 0.5%,规模 300~500 条就够,不要追几千条。
归一化怎么跑起来:规则是数据,模型只管上下文
规则不该硬编码成 if text.contains("退宽"),否则三个月后就变成几千行没人敢动的代码。正确做法是代码只做执行器,规则放在配置里:
这样做换来四件事:运营加词条不用发版;新词条可以先标 status: shadow 只记录不生效;出问题能回滚;同一份配置能跑回归测试。
分工判据只有一条
是否必须结合上下文才能决定。能枚举的交给规则,需要推断的交给模型。
展开第 02 阶段:六步管道与耗时
实体编号保护 规则 · 恒执行 · ~1ms
订单号、手机号先打占位符,防止被后面的替换污染。
字符级归一 规则 · 恒执行 · ~2ms
全半角、繁简、英文大小写。
词典替换 数据驱动 · 可热更 · ~3ms
错字、别名、口语,最长匹配 + 白名单保护。
数值与时间解析 解析器 · 恒执行 · ~5ms
两百 → 200 元,昨儿 → 2026-11-02,同时落结构化字段。
模型改写 按需触发 · 约三成请求 · ~300ms
只处理指代消解与省略补全。顺带输出槽位,因为用的是同一份上下文,分两次调用纯属浪费。
回校验 规则 · 恒执行 · ~1ms
数字守恒、实体存在、长度比,任一不过就整段回退原句。
走一遍真实例子
原句:“我那个单子退宽咋还没到啊,昨儿付的”,上下文:上一轮问过订单 A10293。
结果:“订单 A10293 的退款怎么还没到账,2026-11-02 支付的”
注意第 ⑤ 步送给模型的输入已经不是原始口语了,而是“我那个订单退款怎么还没到,昨天付的”。模型看到的输入已经被洗干净,它只需要解决指代,不用一边猜错别字一边猜上下文。
模型出错时,校验兜住
如果上下文里没有 A10293,模型很可能为了让句子通顺而编一个订单号。这时第 ⑥ 步的实体校验判失败,整段归一化回退成原句,系统转走澄清:“您问的是哪一笔订单?”
模型在归一化里的正确位置:负责“让句子可理解”,不负责“保证事实正确”。事实由校验兜住,这也是它唯一能被信任的原因。
按需触发:省下七成调用
不需要上模型时就别上。两个检测器都很简单:
•指代词表:这个、那个、它、上回、刚才、前面那个
•省略检测:短于 8 字且缺谓语,或以“还有呢”“然后呢”结尾
命中任一才调用。实测这套判据能挡掉约七成请求,归一化 P95 从 400ms 降到 60ms 左右。
三个不要
1.不要把词条写成代码常量。运营改一个词就要发版,这个项目活不过三个月。
2.不要让模型做纯替换。“请把这句话改写得规范一些”这类指令会在长句里丢信息,而且改坏了看不出来——它读起来永远通顺。
3.不要让模型碰数字和否定词。只由解析器和规则处理,模型改了必须被校验拦回来。
一句话:规则保证确定性和可回归,模型保证覆盖面,校验保证不被模型带偏。三者缺一个,这条管道就不能上线。
质量:怎么评价才不会自欺
评价意图识别最常见的错误,是只看一个分类准确率。正确做法是分层归因,否则你永远不知道是识别错了,还是识别对了但下游执行错了。
四个判据
拒识与误识必须分开算
开放域里"全判成一个意图"也能有 90% 准确率。要看两个数:该拒的拒了没、不该拒的误拒了多少。阈值是业务决策,不是技术参数。
黄金集要分层,不要随机抽
覆盖意图 × 渠道 × 语言 × 长度 × 难度,三类样本必须齐:常规句、边界句、对抗句。只放常规句的测试集,分数好看得没有意义。
LLM 当评委先与人校准
同批样本让人标一遍,算一致性。κ ≥ 0.8 才可用,否则是用一个不可靠的标准评判另一个不可靠的标准。
上线要设门槛,不是报平均分
达不到就不上,比事后归因便宜得多。门槛值建议写进需求文档。
客服场景的四个门槛
前三项决定体验,最后一项决定事故。而在错误代价不对称的地方(金额、地址、取消订单),不要用平均指标,要用加权错误成本,或者干脆低置信度就只问不猜。
非功能:性能与并发
性能和并发本质是同一个问题:先把延迟预算定下来,再算需要多少并发。产品经理在这件事上要定的是 SLA,不是实现。
延迟花在哪

P95 由慢路径决定。把快路径覆盖率从 40% 提到 60%,比优化模型本身见效更快。
提性能的六个手段(按性价比)
两个坑:缓存 key 必须包含上下文状态,否则会把 status 的答案缓存给一个还没申请退款的用户;投机执行只对读类操作做,退款、改地址绝对不行,一旦判错就是资损。
并发怎么算
一个公式就够:并发槽位 = 峰值 QPS × 平均响应时间。
四个必须设的保护
•超时:意图识别 800ms,工具调用 2s。超时走降级,不重试三次。
•限流:按用户、按会话、按租户三级。
•熔断:连续失败 5 次熔断 30 秒,期间走快路径 + 转人工。
•幂等:会话 ID + 消息 ID + 时间窗。用户连点两次会产生两个退款单,这是最真实的事故。
最容易被忽略的一条:并发粒度是会话,不是请求。同一会话的消息必须串行,不同会话才并行。否则第二轮可能基于"退款单还没建好"的状态去判定,判成 apply,然后建出第二张退款单。
产品经理要定死的四项

落地:顺序、自检与投入
这类项目失败很少因为技术选型,多数因为顺序错了:先上模型,再补数据,最后发现意图切分根本不对。
三步走
第一步:归一化 + 向量路由 + 快路径
做完这三件就能覆盖大半咨询,每步独立发版。此时还没有复杂的意图判定,但已经能上线接流量。
第二步:二级意图 + 槽位抽取
在真实的失败案例上迭代意图卡。这一步的输入是第一步积累的日志,不是拍脑袋想的句子。
第三步:分派与风险旁路
最后接阈值、澄清策略、转人工规则。此前所有环节都跑在"人工确认"模式下,风险最低。
交付前自检三问
1. 每个意图都能说出"用户办完拿到了什么"吗?
说不出的删掉或合并。写不出结果的意图,只是个话题。
2. 任意两个意图,我能用一句话讲清区别吗?
讲不清就是意图切得不对,不是模型不行。这时候加示例、调提示词都是白费。
3. 有没有明确的"不办清单"?
域外、能力外、权限外三类都要有独立出口和独立日志,否则上线后不知道该往哪改。
投入估算
这套东西唯一不会随模型换代作废。模型可以换,意图树、槽位字典、快路径库换不了。所以它是这个项目里最值得投入的资产,也是产品经理最该亲自抓的部分。
最后一句话
意图识别的产品工作,本质是把"用户会怎么表达他要办的事"这件事穷举清楚,并且想明白信息不够时应该问,而不是猜。模型只负责把这两件事执行得更宽容一点。AI虽然是个黑箱,但是对于产品经理来说,做agent又不是炼丹,只管开火就好,本质还是抽象业务SOP,收集并整理数据特征成清晰的逻辑,从这个思路来看,做AI和做其他产品的思路是一样的,不要远离业务,要重视数据。