跳到内容
当前位置:首页>Excel>产品经理学LLM:Agent意图识别学习笔记

产品经理学LLM:Agent意图识别学习笔记

  • 2026-11-15 10:38:37
产品经理学LLM:Agent意图识别学习笔记

最近在学习Agent设计,一个完整的agent架构大概是这个样子,看起来非常简单清晰,但是真正做起来却发现困难重重,第一个难搞的就是意图识别。

从本文开始,我分享一下我的agent学习笔记,全程站在产品经理视角,而非技术视角,把所有的问题都讲透。我目前的学习方式已经变成AI辅助学习的方式了,即先建立对一个新事物的整体认知,了解其边界,定义,架构,然后以具体案例咨询的方式深入与AI沟通,直到自己没有不理解的东西才算结束,知其然,知其所以然,知概念,也知道如何落地。最后结构化整理信息存档。

认知:意图识别是四个层次,不仅是一个分类器

一条用户输入进来,我们要让系统依次回答四个不同的问题

层次
要回答的问题
典型技术
失败时用户感受到什么
① 路由意图
这句话该调哪个能力
向量检索 / 小模型分类
答非所问,选错工具
② 抽取槽位
这件事需要哪些参数
LLM 结构化输出
反复问已知信息,或参数填错
③ 判定约束
能不能办、该不该办
规则 + 权限校验
越权、乱承诺、乱答
④ 维护状态
聊到哪了、还缺什么
会话状态机 + 缺项清单
重复问、漏问、中途失忆

最常见的误判:把"分类准确率 85%"当成项目健康。实际上四层里任何一层出错,用户都会归因为"这个机器人很蠢",而我们的指标只监控了第一层。

产品经理的工作顺序应该和这个结构对齐:先定义②(要办成事需要什么信息),再定义①(怎么归到一件事),链接最后定义④(缺什么就问什么)。反过来先做①,会得到一棵"看起来很全、实际办不成事"的树。

误区:开源框架无法替代PM的工作

刚开始学习的时候,觉得开源的agent框架这么多,随便配置一下就行,但是Dify 的问题分类器、Coze 的意图识别,本质是"一段提示词 + 一个类别列表"的可视化配置。它省掉的是写代码,省不掉的是判断:类别怎么划、边界在哪、冲突怎么排、缺信息怎么办。

框架已经给了
没人能替PM做的
图 / 状态机编排
意图树与互斥边界
tool calling 解析与执行
槽位字典与业务校验规则
会话记忆与多轮上下文
分派阈值与升级策略
模型接入、重试、流式输出
快路径 FAQ 与标准话术
RAG 检索链路
归一化词典(错字 / 别名)
意图分类节点(拖拽配置)
标注语料与评测集

判断标准很简单:如果你的 agent 只做知识问答,灌文档就够;只要涉及"办业务"(查单、退款、改地址),就必须建意图体系。客服 agent 基本都属于后者。

链路:一条请求的完整走向

问题补充:一级路由那三个分数是什么

refund 0.86 | order 0.61 | invoice 0.12 是余弦相似度,不是概率。它回答的是“这两句话意思有多接近”,不是“属于这一类的可能性”。

做法是把每句话编码成一个 1024 维向量(语义空间里的坐标),相似度就是两个坐标方向夹角的余弦:完全同向为 1,垂直为 0。

所以 0.86 的含义是:在退款域的 50 条示例里,最像「订单 A10293 的退款怎么还没到账」的那条是「钱怎么还没退回来」,两者相似度 0.86。0.61 是订单域里最像的「我的订单到哪了」——共享“到”这个动作语义,但一个是物流一个是资金,分数明显掉下来。0.12 是发票域最像的「怎么开发票」,几乎无关。

产出:产品经理交付的是五张表

然后是大家最关心的一个问题,那产品经理在agent生产过程中到底要输出啥?从目前来看就是表里的这些,这五张表是研发、运营、标注三方共用的唯一事实来源。表格定得越清,后面返工越少。

产出物
包含什么
谁主笔
验收标准
1. 意图树
一级业务域 + 二级意图,两层
产品
同层互斥,任意两意图能用一句话讲清区别
2. 意图卡
每意图的定义、说法、动作、槽位、结果、边界
产品
能回答"办完这事用户拿到了什么"
3. 槽位字典
字段、类型、必填、来源优先级、校验、缺时怎么问
产品 + 研发
每个必填项都有对应的追问话术
4. 快路径清单
高频问题、标准答案、触发条件
运营
覆盖 55% 以上咨询量
5. 分派规则
执行 / 澄清 / 转人工的判定条件与阈值
产品
每个阈值都有业务理由,不是拍的

意图的粒度怎么定

唯一判据:一个意图 = 一个可执行动作 + 一组固定槽位 + 一个明确结果。

按这个标准,"退款"是话题,不是意图。真正的意图是四件事:申请退款、查退款进度、对金额有异议、撤销退款。它们动作不同、槽位不同、结果不同。

意图卡的八个字段

字段
示例
为什么必须有
意图 ID
refund.apply
研发按 ID 写代码,不用中文
一句话定义
用户要求发起退款,尚未提交
给模型看,也给人工标注看
典型说法
5~8 条真实原话
必须从日志里捞,不能编
执行动作
创建退款单
对应一个工具调用
必填槽位
order_id reason
决定要不要澄清
完成后给用户什么
退款单号 + 预计到账时间
答不出的意图不该存在
与易混意图的边界
与 status 的区别:有无已提交退款单
这是准确率的关键,不是模型的事
风险等级
写类,执行前需回显确认
决定是否二次确认、是否可自动执行

一个反例:按后台菜单建树

订单管理   ├─ 订单列表   ├─ 订单详情   └─ 订单导出

这是后台功能表,不是意图树。用户不会说"我要打开订单详情",他只会说"我上周买的东西到哪了"。按功能建树的后果是:一级能分对,二级永远分不准,因为用户的话里根本没有功能名。

正确切法是按用户当下要达成的结果:东西在哪(查物流)、想让它快点到(催发货)、想让它别来了(取消订单)。同一个后台页面,在意图树上会散落到三个域里。

示例:一棵能用的意图树

电商客服,6 个一级域,25 个二级意图。可直接替换成你自己业务的域和动作。

一级 6 个域用向量路由;二级用 LLM 判定加槽位抽取。二级超过 30 个,说明域切得太粗,该拆域而不是加第三层。

落到意图卡:退款域展开

意图 ID
典型说法
动作
必填槽位
风险
出口
refund.apply
我要退款 / 这个能退吗
创建退款单
order_id, reason
写
回显确认
refund.status
钱怎么还没到 / 退到哪了
查退款单状态
order_id(可上下文带)
读
直接答
refund.amount
少退了我 20 / 金额不对
对账 + 建工单
order_id, 差额
写
转人工
refund.cancel
不退了 / 撤销一下
撤销退款单
refund_id
写
回显确认
refund.exchange
不退款,换一个
创建换货单
order_id, sku
写
回显确认
refund.policy
拆封了还能退吗
检索政策
无
读
直接答

注意 refund.status 和 refund.apply 的区别不在话术,而在上下文里有没有退款单。这类靠状态而非语义区分的意图,必须在卡里写清判据,否则模型只能靠猜。

必须有"不办清单"

意图树只定义了能办什么,还缺一半:遇到什么要明确不做。四类各自有独立出口和独立日志,否则上线后你分不清该改意图、改产品还是改权限。

类型
例子
出口
域外
问天气、问竞品、闲聊
礼貌拒绝 + 引导
能力外
要求改价、要求赔精神损失
说明不支持 + 转人工
权限外
查他人订单、改他人地址
拒绝 + 要求本人验证
必转人工
投诉、辱骂、监管 / 律师 / 媒体、金额争议超阈值
无条件转,跳过判定

判定:二级识别的逻辑,与多意图的处理

二级不是"再分类一次"。它是在一级收窄的闭集里做选择,并且意图与槽位必须并行。

二级识别的五步

输入装配

归一化后的句子 + 一级域 + 上下文事实(在途单、已提交退款单、上一轮说了什么)。上下文没传对,模型再强也判不准。

候选收窄

只保留该域下 4~6 个意图,形成闭集。其余一律不可选,从源头消除跨域误判。

双通道并行

通道 A 判意图(必须给判定依据,允许输出 null);通道 B 全局抽槽位,不受意图猜测约束。

组合判定

业务状态优先于语义。有退款单判 status,没有判 apply。规则写在提示词里,代码再做一次后置校验。

三路分派

证据齐且槽位齐走执行;缺槽位或候选分不开走澄清;null、写类且证据不足走人工。

槽位与意图必须并行抽,不能串行。先定意图再按该意图抽槽位,一旦意图判错,槽位会跟着错,而且错得很合理,你很难看出问题。先全局抽实体,再按选中意图裁剪,事后还能纠正。

让模型输出判定依据

在 schema 里加一个 evidence 字段。它不参与业务,但在 debug 时价值极大:你能一眼看出是词看错了,还是上下文没给对。

{   "intents": [     {       "name": "refund.status",       "role": "primary",       "order": 1,       "evidence": "用户说'钱怎么还没到',且上下文存在退款单 RF20261102"     }   ],   "slots": {     "order_id": {"value": "A10293", "source": "context"},     "reason":   {"value": null, "source": null}   },   "risk": {"emotion": "angry", "escalate": false},   "missing": [] }

二级判定失败的三种典型

现象
真实原因
该改哪里
两个意图总是互相抢
一个意图包了两个动作
拆意图,别调提示词
该判 status 却判 apply
上下文没传退款单
修输入装配,不是修模型
缺槽位时硬判一个
提示词没给 null 选项
加 null,升级为澄清

一句话两个意图怎么办

第一步是判断它到底是不是两个意图。这条最容易错:

• "我要退款,因为质量有问题" → 一个意图(refund.apply),"质量问题"是 reason 槽位的值

• "我要退款,另外发票重开一下" → 两个意图

判据只有一条:第二个信息指向不同动作、不同业务对象、需要不同的工具调用吗?只是给第一个动作当参数,就不是第二个意图。

这条判错,后果是把所有带原因描述的诉求都判成"质量投诉",投诉量瞬间翻倍。

确认是两个之后,按类型处置

类型
例子
处置
并列型
退款 + 发票重开
串行执行,主意图先办,另一个进队列
依赖型
先退款,退完再下单
严格串行,前一步成功才做后一步
主次型
退款没到,你们效率真差
主意图执行,次诉求记为情绪 / 投诉附言,不建任务
冲突型
要退款 → 又说算了换货
以后出现为准,前一个作废并明确告知

五条处置原则

1.只执行一个,其余排队。两个写操作并行会制造"部分成功"的脏状态,对账时极难收拾。

2.风险优先。任何一个命中必转人工,整个会话转人工,不要先办退款再转。

3.一次只回一件事。同时讲退款和发票,用户大概率只看懂一半。

4.写类操作各自确认。不能合并成一次"都确认吗"。

5.次意图绝不能丢。办完主意图主动接一句"另外您还提到发票要重开",或落到工单附言。吞掉次意图是重复咨询最主要的原因。

多意图上限要设死:三个以上转人工。超过三个诉求的用户通常已经在气头上,机器办得越多错得越多。

数据:要准备什么,词条从哪里挖

那数据从哪里来的呢?数据准备不是“把文档灌进去”。九类数据里有四类只有产品经理能产,而词条只能从你自己的客服记录里挖出来——但要从有标签的那部分挖。

数据
来源
起步量
谁负责
用在哪
意图树 + 意图卡
业务梳理
20 个意图
产品
路由骨架
槽位字典
业务规则 + 后端契约
每意图 1~3 个
产品 + 研发
抽取与校验
真实会话语料
历史工单 / 聊天日志
1000~2000 条
运营采样
一切的基础
一级路由示例库
上述语料
每意图 30 条
运营标注
向量检索建库
评测集
上述语料,与示例库隔离
每意图 20 条
产品 + 标注
回归与验收
归一化词典
语料挖掘
300 条起步
运营
预处理
FAQ / 标准话术
知识库
覆盖 60% 咨询
运营
快路径
业务事实接口
后端
订单 / 物流 / 退款单
研发
上下文与槽位补全
风险词表
客诉记录
50~100 条
产品 + 客服主管
风险旁路

两条不能破的红线:① 示例库和评测集必须物理隔离,用同一批句子建库又评测,跑出来的 95% 是假的;② 标注必须有"无法归类"选项,否则标注员会硬塞,意图树永远"看起来完整、实际错位"。

归一化词典:先分清三类

归一化最容易犯的错,是把它当成一张同义词表来写。实际上只有一类适合做成词典:

类型
例子
用什么
错别字 / 同音字
退宽 → 退款、发漂 → 发票
映射词典
口语与缩略
咋 → 怎么、kf → 客服
映射词典
品牌与商品别名
顺风 → 顺丰、某宝 → 淘宝
映射词典(最长匹配)
时间 / 数量 / 金额
一礼拜 → 7 天、两百 → 200 元
解析器,不是词典
否定与条件
不要、除非、只要
规则标记,永不参与替换
实体编号
订单号、退款单号
正则先抓走并保护
语义改写
我不想要了 → 取消订单
不该进词典,进意图卡

最常见的事故:把"我不想要了 → 取消订单"这类语义改写塞进词典,遇到"我不想要赠品"就翻车。判据:能写成一行"原词 → 标准词"的才进词典,需要看上下文的一律不进。

整理五个步骤

先建"标准侧"

从意图卡的动作词、槽位枚举值、商品表、渠道表倒推出 200~400 个标准词。没有这份锚,收上来的词无处归属。

从五个来源挖

未命中日志(最高价值)、人工客服的复述(自带标注)、差评原话、站内搜索空结果、语音转写稿。

四种方法筛候选

高频未登录片段、编辑距离聚类、拼音近似、向量近邻。机器出候选,人工确认,这一步不能省。

按固定结构入库

每条必须带 hit_count、source、owner、status。没有元数据的词条三个月后就没人敢动。

按固定顺序匹配

实体编号 → 最长别名 → 错字替换 → 数值解析 → 否定标记。顺序错了会出事故。

展开:词条到底从哪里来

先纠正一个常见误解。你要挖的不是“词条”,而是「用户说法 ↔ 客服动作」的配对。只看用户说了什么,永远不知道他到底想干嘛。客服记录里最值钱的不是用户原话,是用户说完之后客服做了什么——那个动作就是这条消息的真实标签。

数据源
能挖出什么
价值
可得性
工单分类字段(一级 / 二级类目)
说法 ↔ 意图 的现成配对
最高,直接就是标注
有工单系统就有
快捷回复 / 话术模板使用记录
客服选了哪个模板 = 这条消息属于哪一类
很高,且量大
多数客服系统有
转人工前的用户消息
机器处理失败的样本,正是你要补的缺口
最高
有转人工就有
客服的复述
“您的意思是要退这笔款对吗”——自带标注的改写对
高
要写正则捞
纯对话日志(无任何标签)
只能靠聚类 + 人工命名
中,成本是前三类的三倍
最容易拿,但最费人工

优先找有标签的,别一头扎进纯聊天记录。前者是带答案的题库,后者是没有答案的草稿纸。

取数:三个条件都要卡

select m.session_id, m.content, m.created_at,        t.category, t.sub_category,      -- 弱标签        r.template_id,                    -- 客服用了哪个话术        s.escalated                       -- 是否转人工 from messages m join sessions s on s.id = m.session_id left join tickets t on t.session_id = s.id left join agent_replies r on r.msg_id = m.msg_id where m.created_at >= now() - interval '90 days'   and m.sender = 'user'   and s.agent_type = 'human'        -- 关键:只取人工处理过的   and length(m.content) between 2 and 200

三个条件都有讲究:只取人工会话,因为机器没处理好的会话才是你的缺口,只看全自动会话会得到一堆“你好”“在吗”;长度 2~200,过滤掉系统通知和客服的长篇营销文案;90 天窗口,太老的记录里业务规则可能已经变了。

从记录到词条:五步

•配对

• 把用户消息和它的“结果”对应起来:下一条客服回复、工单分类、用了哪个快捷话术。这一步做完,你就有一份弱标注语料。

•按意图归堆

• 用 category 预分;没有分类的用 embedding 聚类(k 取意图数的 2 倍)。簇不纯没关系,下一步人工命名会修正。

•出候选

• 每堆里跑三件事:高频未登录片段(不在标准词表里的 2~4 字组合)、拼音与编辑距离近邻(退宽 → 退款)、句内异常(措辞明显偏离簇内多数的句子,往往是新说法)。

•人工裁决,按频次排序

• 每次只处理 TOP 50,一周一批。标注只需要判断两件事:它在替换哪个标准词,或者它该进意图卡而不该进词典。

•反查覆盖率

• 词典上线后重跑同一批日志,看还有多少句子里的关键词没被覆盖。这个数才是“够不够完整”的真实答案。

不存在“完整”,只存在“够用”

按意图归并后的咨询量排序,覆盖到 80% 就停手。剩下 20% 是长尾,词条数量可能占 70%,收益却不到两成。

一个更实际的节奏指标:每周新增不超过 20 条。如果某周突然冒出 100 条新说法,说明意图切分出问题了,不是词典不够。

冷启动:日志不够时怎么办

新业务、新渠道,或者 agent 还没上线(没有“机器失败样本”)时,日志只有几百条,挖不出东西。三个替代来源,按有效性排:

1.让客服团队脑暴一小时。他们每天在做的“翻译”工作就是你要的词条,一场会能出 200~300 条,质量比任何算法都好。

2.人工扮演用户造样本。找 3 个人,按意图卡逐条造 5 种说法,20 个意图就是 300 条。

3.竞品客服与行业 FAQ 反推。去问一遍同类产品的客服,把他们的话术抄下来——那些话术本身就暴露了他们预设的用户说法。

造出来的样本只能进示例库,绝不能进评测集。否则你的评测指标从一开始就是假的。

词条长什么样

裸的 {"退宽": "退款"} 三个月后就没人敢动了。每条必须带元数据:

{   "surface": "退宽",   "canonical": "退款",   "type": "typo",   "hit_count": 137,   "source": "log_2026_10",   "owner": "ops_zhang",   "status": "active" }

归一化词典的 KPI 是误伤率,不是覆盖率。覆盖不够只是效果差一点,改错一个字是直接答错。目标误伤率低于 0.5%,规模 300~500 条就够,不要追几千条。

归一化怎么跑起来:规则是数据,模型只管上下文

规则不该硬编码成 if text.contains("退宽"),否则三个月后就变成几千行没人敢动的代码。正确做法是代码只做执行器,规则放在配置里:

pipeline:   - protect_entities       # 订单号 / 手机号 打占位符   - normalize_chars        # 全半角、繁简、英文大小写   - dictionary             # 词条在这里,不在代码里       file: dict/aliases.yaml       strategy: longest_match       whitelist: dict/whitelist.txt   - parse_value            # 中文数字、相对时间、金额   - model_rewrite          # 只在需要时触发       only_if: [has_pronoun, has_ellipsis]       timeout_ms: 600   - validate               # 数字守恒、实体存在

这样做换来四件事:运营加词条不用发版;新词条可以先标 status: shadow 只记录不生效;出问题能回滚;同一份配置能跑回归测试。

分工判据只有一条

是否必须结合上下文才能决定。能枚举的交给规则,需要推断的交给模型。

环节
谁做
理由
错别字、别名、繁简、全半角
规则
结果确定、可枚举、可回归。模型来做反而有害
中文数字、相对时间、金额
解析器
cn2an、dateparser 比模型准且快
指代消解(“那个”“它”“上回”)
模型
要看上下文,规则穷举不完
省略补全(“还有呢”“怎么还没动静”)
模型
要推断缺失成分

展开第 02 阶段:六步管道与耗时

实体编号保护 规则 · 恒执行 · ~1ms

订单号、手机号先打占位符,防止被后面的替换污染。

字符级归一 规则 · 恒执行 · ~2ms

全半角、繁简、英文大小写。

词典替换 数据驱动 · 可热更 · ~3ms

错字、别名、口语,最长匹配 + 白名单保护。

数值与时间解析 解析器 · 恒执行 · ~5ms

两百 → 200 元,昨儿 → 2026-11-02,同时落结构化字段。

模型改写 按需触发 · 约三成请求 · ~300ms

只处理指代消解与省略补全。顺带输出槽位,因为用的是同一份上下文,分两次调用纯属浪费。

回校验 规则 · 恒执行 · ~1ms

数字守恒、实体存在、长度比,任一不过就整段回退原句。

走一遍真实例子

原句:“我那个单子退宽咋还没到啊,昨儿付的”,上下文:上一轮问过订单 A10293。

环节
谁做
输出
① 实体保护
规则
句中无订单号,跳过
② 字符归一
规则
全角逗号转半角
③ 词典替换
规则
退宽→退款、咋→怎么、昨儿→昨天、单子→订单
④ 数值时间
解析器
pay_date: 2026-11-02
⑤ 模型
LLM
“那个”→订单 A10293;“还没到”→补全为“退款还没到账”
⑥ 回校验
规则
数字守恒通过、A10293 在上下文中、长度比 1.26 通过

结果:“订单 A10293 的退款怎么还没到账,2026-11-02 支付的”

注意第 ⑤ 步送给模型的输入已经不是原始口语了,而是“我那个订单退款怎么还没到,昨天付的”。模型看到的输入已经被洗干净,它只需要解决指代,不用一边猜错别字一边猜上下文。

模型出错时,校验兜住

如果上下文里没有 A10293,模型很可能为了让句子通顺而编一个订单号。这时第 ⑥ 步的实体校验判失败,整段归一化回退成原句,系统转走澄清:“您问的是哪一笔订单?”

模型在归一化里的正确位置:负责“让句子可理解”,不负责“保证事实正确”。事实由校验兜住,这也是它唯一能被信任的原因。

按需触发:省下七成调用

不需要上模型时就别上。两个检测器都很简单:

•指代词表:这个、那个、它、上回、刚才、前面那个

•省略检测:短于 8 字且缺谓语,或以“还有呢”“然后呢”结尾

命中任一才调用。实测这套判据能挡掉约七成请求,归一化 P95 从 400ms 降到 60ms 左右。

三个不要

1.不要把词条写成代码常量。运营改一个词就要发版,这个项目活不过三个月。

2.不要让模型做纯替换。“请把这句话改写得规范一些”这类指令会在长句里丢信息,而且改坏了看不出来——它读起来永远通顺。

3.不要让模型碰数字和否定词。只由解析器和规则处理,模型改了必须被校验拦回来。

一句话:规则保证确定性和可回归,模型保证覆盖面,校验保证不被模型带偏。三者缺一个,这条管道就不能上线。

质量:怎么评价才不会自欺

评价意图识别最常见的错误,是只看一个分类准确率。正确做法是分层归因,否则你永远不知道是识别错了,还是识别对了但下游执行错了。

层级
看什么
关键指标
组件级(离线)
识别本身准不准
逐类 P/R/F1、混淆矩阵、域外拒识率、槽位字段 F1、同义改写通过率
端到端(线上)
用户到底办成没
任务成功率、误触发率、重复问率、平均轮次、P95 延迟、单会话成本
机制(保可信)
指标别自欺
分层黄金集、LLM 评委 + 人工校准、影子模式、失败案例周回流、上线门槛

四个判据

拒识与误识必须分开算

开放域里"全判成一个意图"也能有 90% 准确率。要看两个数:该拒的拒了没、不该拒的误拒了多少。阈值是业务决策,不是技术参数。

黄金集要分层,不要随机抽

覆盖意图 × 渠道 × 语言 × 长度 × 难度,三类样本必须齐:常规句、边界句、对抗句。只放常规句的测试集,分数好看得没有意义。

LLM 当评委先与人校准

同批样本让人标一遍,算一致性。κ ≥ 0.8 才可用,否则是用一个不可靠的标准评判另一个不可靠的标准。

上线要设门槛,不是报平均分

达不到就不上,比事后归因便宜得多。门槛值建议写进需求文档。

客服场景的四个门槛

指标
建议门槛
它管什么
一级路由 Top-3 召回
≥ 97%
别把用户带错域
槽位字段 F1
≥ 0.90
别填错参数
快路径覆盖率
≥ 55%
成本与延迟的下限
误触发率
≤ 0.3%
不该执行却执行,直接决定事故

前三项决定体验,最后一项决定事故。而在错误代价不对称的地方(金额、地址、取消订单),不要用平均指标,要用加权错误成本,或者干脆低置信度就只问不猜。

非功能:性能与并发

性能和并发本质是同一个问题:先把延迟预算定下来,再算需要多少并发。产品经理在这件事上要定的是 SLA,不是实现。

延迟花在哪

P95 由慢路径决定。把快路径覆盖率从 40% 提到 60%,比优化模型本身见效更快。

提性能的六个手段(按性价比)

手段
做法
收益
快路径前置
高频咨询不进模型
60% 请求降到 100ms
提示词前缀缓存
意图清单等固定内容放最前
省 40~50% 时间
并行化
上下文、路由、风险判定同时发起
省 150~200ms,纯白捡
结果缓存
归一化与意图结果按 key 缓存
重复问题近乎 0 延迟
模型分级
意图用小模型,复杂话术才用大模型
延迟降一半,成本降 70%
流式输出
首 token 立即返回
首字延迟 1.2s → 300ms

两个坑:缓存 key 必须包含上下文状态,否则会把 status 的答案缓存给一个还没申请退款的用户;投机执行只对读类操作做,退款、改地址绝对不行,一旦判错就是资损。

并发怎么算

一个公式就够:并发槽位 = 峰值 QPS × 平均响应时间。

步骤
公式
示例
峰值 QPS
同时在会话数 ÷ 平均消息间隔
1000 ÷ 20s = 50
模型 QPS
QPS × 慢路径占比
50 × 0.4 = 20
所需并发槽
模型 QPS × 平均时延
20 × 1.5s = 30
模型配额
模型 QPS × 60
1200 RPM

四个必须设的保护

•超时:意图识别 800ms,工具调用 2s。超时走降级,不重试三次。

•限流:按用户、按会话、按租户三级。

•熔断:连续失败 5 次熔断 30 秒,期间走快路径 + 转人工。

•幂等:会话 ID + 消息 ID + 时间窗。用户连点两次会产生两个退款单,这是最真实的事故。

最容易被忽略的一条:并发粒度是会话,不是请求。同一会话的消息必须串行,不同会话才并行。否则第二轮可能基于"退款单还没建好"的状态去判定,判成 apply,然后建出第二张退款单。

产品经理要定死的四项

落地:顺序、自检与投入

这类项目失败很少因为技术选型,多数因为顺序错了:先上模型,再补数据,最后发现意图切分根本不对。

三步走

第一步:归一化 + 向量路由 + 快路径

做完这三件就能覆盖大半咨询,每步独立发版。此时还没有复杂的意图判定,但已经能上线接流量。

第二步:二级意图 + 槽位抽取

在真实的失败案例上迭代意图卡。这一步的输入是第一步积累的日志,不是拍脑袋想的句子。

第三步:分派与风险旁路

最后接阈值、澄清策略、转人工规则。此前所有环节都跑在"人工确认"模式下,风险最低。

交付前自检三问

1. 每个意图都能说出"用户办完拿到了什么"吗?

说不出的删掉或合并。写不出结果的意图,只是个话题。

2. 任意两个意图,我能用一句话讲清区别吗?

讲不清就是意图切得不对,不是模型不行。这时候加示例、调提示词都是白费。

3. 有没有明确的"不办清单"?

域外、能力外、权限外三类都要有独立出口和独立日志,否则上线后不知道该往哪改。

投入估算

工作
人
工期
产出
意图树 + 意图卡梳理
产品 1 人
约 1 周
20~25 个意图的完整卡片
语料采样与标注
运营 2 人
约 1~2 周
1000 条标注 + 示例库 + 评测集
边界打磨
产品 + 研发
约 1 周
易混意图的判据与消歧规则
归一化词典
运营 1 人
约 3 天
300 条词条 + 维护机制

这套东西唯一不会随模型换代作废。模型可以换,意图树、槽位字典、快路径库换不了。所以它是这个项目里最值得投入的资产,也是产品经理最该亲自抓的部分。

最后一句话

意图识别的产品工作,本质是把"用户会怎么表达他要办的事"这件事穷举清楚,并且想明白信息不够时应该问,而不是猜。模型只负责把这两件事执行得更宽容一点。AI虽然是个黑箱,但是对于产品经理来说,做agent又不是炼丹,只管开火就好,本质还是抽象业务SOP,收集并整理数据特征成清晰的逻辑,从这个思路来看,做AI和做其他产品的思路是一样的,不要远离业务,要重视数据。

基本 文件 流程 错误 SQL 调试
  1. 请求信息 : 2026-11-16 20:37:06 HTTP/1.1 GET : http://h.sjds.net/a/579880.html
  2. 运行时间 : 0.083733s [ 吞吐率:11.94req/s ] 内存消耗:4,558.96kb 文件加载:140
  3. 缓存信息 : 0 reads,0 writes
  4. 会话信息 : SESSION_ID=dde31ca80c6b85d722f83da77e9dc734
  1. /www/wwwroot/h.sjds.net/public/index.php ( 0.79 KB )
  2. /www/wwwroot/h.sjds.net/vendor/autoload.php ( 0.17 KB )
  3. /www/wwwroot/h.sjds.net/vendor/composer/autoload_real.php ( 2.49 KB )
  4. /www/wwwroot/h.sjds.net/vendor/composer/platform_check.php ( 0.90 KB )
  5. /www/wwwroot/h.sjds.net/vendor/composer/ClassLoader.php ( 14.03 KB )
  6. /www/wwwroot/h.sjds.net/vendor/composer/autoload_static.php ( 4.90 KB )
  7. /www/wwwroot/h.sjds.net/vendor/topthink/think-helper/src/helper.php ( 8.34 KB )
  8. /www/wwwroot/h.sjds.net/vendor/topthink/think-validate/src/helper.php ( 2.19 KB )
  9. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/helper.php ( 1.47 KB )
  10. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/stubs/load_stubs.php ( 0.16 KB )
  11. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Exception.php ( 1.69 KB )
  12. /www/wwwroot/h.sjds.net/vendor/topthink/think-container/src/Facade.php ( 2.71 KB )
  13. /www/wwwroot/h.sjds.net/vendor/symfony/deprecation-contracts/function.php ( 0.99 KB )
  14. /www/wwwroot/h.sjds.net/vendor/symfony/polyfill-mbstring/bootstrap.php ( 8.26 KB )
  15. /www/wwwroot/h.sjds.net/vendor/symfony/polyfill-mbstring/bootstrap80.php ( 9.78 KB )
  16. /www/wwwroot/h.sjds.net/vendor/symfony/var-dumper/Resources/functions/dump.php ( 1.49 KB )
  17. /www/wwwroot/h.sjds.net/vendor/topthink/think-dumper/src/helper.php ( 0.18 KB )
  18. /www/wwwroot/h.sjds.net/vendor/symfony/var-dumper/VarDumper.php ( 4.30 KB )
  19. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/App.php ( 15.30 KB )
  20. /www/wwwroot/h.sjds.net/vendor/topthink/think-container/src/Container.php ( 15.76 KB )
  21. /www/wwwroot/h.sjds.net/vendor/psr/container/src/ContainerInterface.php ( 1.02 KB )
  22. /www/wwwroot/h.sjds.net/app/provider.php ( 0.19 KB )
  23. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Http.php ( 6.04 KB )
  24. /www/wwwroot/h.sjds.net/vendor/topthink/think-helper/src/helper/Str.php ( 7.29 KB )
  25. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Env.php ( 4.68 KB )
  26. /www/wwwroot/h.sjds.net/app/common.php ( 0.03 KB )
  27. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/helper.php ( 18.78 KB )
  28. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Config.php ( 5.54 KB )
  29. /www/wwwroot/h.sjds.net/config/app.php ( 0.95 KB )
  30. /www/wwwroot/h.sjds.net/config/cache.php ( 0.78 KB )
  31. /www/wwwroot/h.sjds.net/config/console.php ( 0.23 KB )
  32. /www/wwwroot/h.sjds.net/config/cookie.php ( 0.56 KB )
  33. /www/wwwroot/h.sjds.net/config/database.php ( 2.48 KB )
  34. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/facade/Env.php ( 1.67 KB )
  35. /www/wwwroot/h.sjds.net/config/filesystem.php ( 0.61 KB )
  36. /www/wwwroot/h.sjds.net/config/lang.php ( 0.91 KB )
  37. /www/wwwroot/h.sjds.net/config/log.php ( 1.35 KB )
  38. /www/wwwroot/h.sjds.net/config/middleware.php ( 0.19 KB )
  39. /www/wwwroot/h.sjds.net/config/route.php ( 1.89 KB )
  40. /www/wwwroot/h.sjds.net/config/session.php ( 0.57 KB )
  41. /www/wwwroot/h.sjds.net/config/trace.php ( 0.34 KB )
  42. /www/wwwroot/h.sjds.net/config/view.php ( 0.82 KB )
  43. /www/wwwroot/h.sjds.net/app/event.php ( 0.25 KB )
  44. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Event.php ( 7.67 KB )
  45. /www/wwwroot/h.sjds.net/app/service.php ( 0.13 KB )
  46. /www/wwwroot/h.sjds.net/app/AppService.php ( 0.26 KB )
  47. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Service.php ( 1.64 KB )
  48. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Lang.php ( 7.35 KB )
  49. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/lang/zh-cn.php ( 13.70 KB )
  50. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/initializer/Error.php ( 3.31 KB )
  51. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/initializer/RegisterService.php ( 1.33 KB )
  52. /www/wwwroot/h.sjds.net/vendor/services.php ( 0.14 KB )
  53. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/service/PaginatorService.php ( 1.52 KB )
  54. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/service/ValidateService.php ( 0.99 KB )
  55. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/service/ModelService.php ( 2.04 KB )
  56. /www/wwwroot/h.sjds.net/vendor/topthink/think-trace/src/Service.php ( 0.77 KB )
  57. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Middleware.php ( 6.72 KB )
  58. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/initializer/BootService.php ( 0.77 KB )
  59. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/Paginator.php ( 11.86 KB )
  60. /www/wwwroot/h.sjds.net/vendor/topthink/think-validate/src/Validate.php ( 63.20 KB )
  61. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/Model.php ( 23.55 KB )
  62. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/concern/Attribute.php ( 21.05 KB )
  63. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/concern/AutoWriteData.php ( 4.21 KB )
  64. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/concern/Conversion.php ( 6.44 KB )
  65. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/concern/DbConnect.php ( 5.16 KB )
  66. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/concern/ModelEvent.php ( 2.33 KB )
  67. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/concern/RelationShip.php ( 28.29 KB )
  68. /www/wwwroot/h.sjds.net/vendor/topthink/think-helper/src/contract/Arrayable.php ( 0.09 KB )
  69. /www/wwwroot/h.sjds.net/vendor/topthink/think-helper/src/contract/Jsonable.php ( 0.13 KB )
  70. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/model/contract/Modelable.php ( 0.09 KB )
  71. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Db.php ( 2.88 KB )
  72. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/DbManager.php ( 8.52 KB )
  73. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Log.php ( 6.28 KB )
  74. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Manager.php ( 3.92 KB )
  75. /www/wwwroot/h.sjds.net/vendor/psr/log/src/LoggerTrait.php ( 2.69 KB )
  76. /www/wwwroot/h.sjds.net/vendor/psr/log/src/LoggerInterface.php ( 2.71 KB )
  77. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Cache.php ( 4.92 KB )
  78. /www/wwwroot/h.sjds.net/vendor/psr/simple-cache/src/CacheInterface.php ( 4.71 KB )
  79. /www/wwwroot/h.sjds.net/vendor/topthink/think-helper/src/helper/Arr.php ( 16.63 KB )
  80. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/cache/driver/File.php ( 7.84 KB )
  81. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/cache/Driver.php ( 9.03 KB )
  82. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/contract/CacheHandlerInterface.php ( 1.99 KB )
  83. /www/wwwroot/h.sjds.net/app/Request.php ( 0.09 KB )
  84. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Request.php ( 55.78 KB )
  85. /www/wwwroot/h.sjds.net/app/middleware.php ( 0.25 KB )
  86. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Pipeline.php ( 2.61 KB )
  87. /www/wwwroot/h.sjds.net/vendor/topthink/think-trace/src/TraceDebug.php ( 3.40 KB )
  88. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/middleware/SessionInit.php ( 1.94 KB )
  89. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Session.php ( 1.80 KB )
  90. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/session/driver/File.php ( 6.27 KB )
  91. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/contract/SessionHandlerInterface.php ( 0.87 KB )
  92. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/session/Store.php ( 7.12 KB )
  93. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Route.php ( 23.73 KB )
  94. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/RuleName.php ( 5.75 KB )
  95. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/Domain.php ( 2.53 KB )
  96. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/RuleGroup.php ( 22.43 KB )
  97. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/Rule.php ( 26.95 KB )
  98. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/RuleItem.php ( 9.78 KB )
  99. /www/wwwroot/h.sjds.net/route/app.php ( 1.72 KB )
  100. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/facade/Route.php ( 4.70 KB )
  101. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/dispatch/Controller.php ( 4.74 KB )
  102. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/route/Dispatch.php ( 10.44 KB )
  103. /www/wwwroot/h.sjds.net/app/controller/Index.php ( 4.81 KB )
  104. /www/wwwroot/h.sjds.net/app/BaseController.php ( 2.05 KB )
  105. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/facade/Db.php ( 0.93 KB )
  106. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/connector/Mysql.php ( 5.44 KB )
  107. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/PDOConnection.php ( 52.47 KB )
  108. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/Connection.php ( 8.39 KB )
  109. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/ConnectionInterface.php ( 4.57 KB )
  110. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/builder/Mysql.php ( 16.58 KB )
  111. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/Builder.php ( 24.06 KB )
  112. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/BaseBuilder.php ( 27.50 KB )
  113. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/Query.php ( 15.71 KB )
  114. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/BaseQuery.php ( 45.13 KB )
  115. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/TimeFieldQuery.php ( 7.43 KB )
  116. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/AggregateQuery.php ( 3.26 KB )
  117. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/ModelRelationQuery.php ( 20.07 KB )
  118. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/ParamsBind.php ( 3.66 KB )
  119. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/ResultOperation.php ( 7.01 KB )
  120. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/WhereQuery.php ( 19.37 KB )
  121. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/JoinAndViewQuery.php ( 7.11 KB )
  122. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/TableFieldInfo.php ( 2.63 KB )
  123. /www/wwwroot/h.sjds.net/vendor/topthink/think-orm/src/db/concern/Transaction.php ( 2.77 KB )
  124. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/log/driver/File.php ( 5.96 KB )
  125. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/contract/LogHandlerInterface.php ( 0.86 KB )
  126. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/log/Channel.php ( 3.89 KB )
  127. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/event/LogRecord.php ( 1.02 KB )
  128. /www/wwwroot/h.sjds.net/vendor/topthink/think-helper/src/Collection.php ( 16.47 KB )
  129. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/facade/View.php ( 1.70 KB )
  130. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/View.php ( 4.39 KB )
  131. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Response.php ( 8.81 KB )
  132. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/response/View.php ( 3.29 KB )
  133. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/Cookie.php ( 6.06 KB )
  134. /www/wwwroot/h.sjds.net/vendor/topthink/think-view/src/Think.php ( 8.38 KB )
  135. /www/wwwroot/h.sjds.net/vendor/topthink/framework/src/think/contract/TemplateHandlerInterface.php ( 1.60 KB )
  136. /www/wwwroot/h.sjds.net/vendor/topthink/think-template/src/Template.php ( 46.61 KB )
  137. /www/wwwroot/h.sjds.net/vendor/topthink/think-template/src/template/driver/File.php ( 2.41 KB )
  138. /www/wwwroot/h.sjds.net/vendor/topthink/think-template/src/template/contract/DriverInterface.php ( 0.86 KB )
  139. /www/wwwroot/h.sjds.net/runtime/temp/c1d6e8c94b2c2fa10e259903674c804d.php ( 8.11 KB )
  140. /www/wwwroot/h.sjds.net/vendor/topthink/think-trace/src/Html.php ( 4.42 KB )
  1. CONNECT:[ UseTime:0.000670s ] mysql:host=172.18.0.4;port=3306;dbname=h_sjds;charset=utf8mb4
  2. SHOW FULL COLUMNS FROM `fenlei` [ RunTime:0.000842s ]
  3. SELECT * FROM `fenlei` WHERE `fid` = 0 [ RunTime:0.000434s ]
  4. SELECT * FROM `fenlei` WHERE `fid` = 63 [ RunTime:0.000397s ]
  5. SHOW FULL COLUMNS FROM `set` [ RunTime:0.000521s ]
  6. SELECT * FROM `set` [ RunTime:0.000293s ]
  7. SHOW FULL COLUMNS FROM `article` [ RunTime:0.000671s ]
  8. SELECT * FROM `article` WHERE `id` = 579880 LIMIT 1 [ RunTime:0.000558s ]
  9. UPDATE `article` SET `lasttime` = 1794832626 WHERE `id` = 579880 [ RunTime:0.001911s ]
  10. SELECT * FROM `fenlei` WHERE `id` = 65 LIMIT 1 [ RunTime:0.000307s ]
  11. SELECT * FROM `article` WHERE `id` < 579880 ORDER BY `id` DESC LIMIT 1 [ RunTime:0.000401s ]
  12. SELECT * FROM `article` WHERE `id` > 579880 ORDER BY `id` ASC LIMIT 1 [ RunTime:0.000335s ]
  13. SELECT * FROM `article` WHERE `id` < 579880 ORDER BY `id` DESC LIMIT 10 [ RunTime:0.000748s ]
  14. SELECT * FROM `article` WHERE `id` < 579880 ORDER BY `id` DESC LIMIT 10,10 [ RunTime:0.000583s ]
  15. SELECT * FROM `article` WHERE `id` < 579880 ORDER BY `id` DESC LIMIT 20,10 [ RunTime:0.000743s ]
0.096300s