假设要开发一个智能工单分类系统,请拆解 AI 可参与的环节并说明技术选型思路
- 标签:大模型
🏛 业务架构师
智能工单分类系统,我先按价值链拆解 AI 可参与的环节,再讲选型:
AI 参与环节拆解:
- 工单受理:语音/文本转标准文本(ASR+清洗)——多模态模型直接做。
- 意图识别与分类:判断问题类型(故障/咨询/投诉)与紧急度——这是核心环节。
- 路由分发:按分类结果匹配处理组——规则引擎做,AI 只给输入。
- 辅助处理:检索知识库生成回复建议——RAG。
- 质检与闭环:工单解决质量抽检、用户情绪识别——分类模型。
技术选型思路(按分类环节展开):
- 冷启动期(日几百单):提示工程+Few-shot 调用通用 API 模型,零训练成本,准确率可到 85%,两周上线验证价值;
- 成长期(日数千单):积累的标注数据足够后,微调 7B 小模型(QLoRA)私有化部署,成本降 90%、时延从秒级到百毫秒,准确率到 90%+;
- 不确定样本:置信度低于阈值的工单转人工,人工结果回流训练数据——形成数据飞轮。
架构原则:AI 做"判断",流程编排(升级、超时、回访)交给规则引擎;每个 AI 环节埋点人工纠错率,作为持续优化的北极星指标。分期投入,先让分类环节自证 ROI,再扩到辅助回复。
🏗 系统架构师
智能工单分类系统,我先做环节拆解,再讲每个环节的技术选型逻辑——AI 参与边界由"收益 × 风险 × 可自动化程度"决定:
环节拆解:
- 接入与预处理:多渠道(电话转写、邮件、IM)工单归一化——转写和清洗用专用 ASR/规则,不依赖 LLM;
- 意图理解与分类(AI 核心环节①):一级/多级分类(故障/咨询/投诉/建议 + 产品线 + 优先级)。选型:QPS 高、类目稳定 → 微调小模型(7B LoRA)或 Embedding+分类头,毫厘级成本;类目频繁变动 → LLM zero-shot + 分类 Schema,改类目不改模型;
- 关键信息抽取(AI 环节②):设备型号、错误码、时间地点 → 结构化输出 + Schema 校验,供路由和知识库检索;
- 智能路由(AI 环节③):按分类+优先级+技能组匹配;规则引擎为主,LLM 处理边界案例;
- 辅助回复建议(AI 环节④):RAG 检索知识库生成回复草稿,人工确认发送(人在环中);
- 闭环沉淀:人工修正结果回流标注池,定期重训/更新示例库。
架构原则:确定性决策(SLA、路由规则)留给规则引擎,LLM 只做语义理解类任务;分类环节要求 P99 < 1s、准确率 >90% 达标可自动化;全程留人工兜底通道与纠正反馈闭环——冷启动期人工标注同时是训练数据资产。
💻 全栈开发专家
智能工单分类系统,我按「AI 参与环节 + 选型思路」拆解:
环节拆解:
- 入口预处理:标题+正文拼接、去噪(系统自动附加的日志尾巴)、长度截断;
- 核心分类:工单类型(故障/咨询/投诉)+ 紧急度 + 责任组三级分类;
- 辅助生成:分类理由生成(给人看)、建议回复草稿、关联知识库文章推荐;
- 兜底:置信度低的转人工,人工结果回流。
选型思路(分阶段演进,这是重点):
- 冷启动期:LLM API + few-shot + 输出 JSON schema,一周上线。few-shot 示例从历史工单挑边界样本(表述模糊的、跨类的);
- 数据积累期:线上人工纠错的数据自动入库做标注集,攒到 5 万+;
- 降本期:用 LLM 的预测当伪标签 + 人工标注校准,微调 Qwen-1.5B 小模型替换 API,分类这种封闭集合任务小模型 F1 完全能打平,单条成本降 99%;
- 长尾处理:聚类挖掘误分类模式,反向补充训练数据和 prompt 示例。
关键工程点:分类体系先做归一化(把 200 个老旧类别合并成 40 个标准类,这一步业务价值比模型还大);置信度校准(temperature=0 + logprobs 阈值)决定自动通过还是人工复核;分类服务 QPS 高,务必缓存相同文本结果。