AI 应用中的内容审核应该怎么做？有哪些技术方案和最佳实践？

🏛 业务架构师

AI 应用的内容审核要按"输入—生成—输出"全链路设防，并区分审核对象：

1. 用户输入侧：拦截违法违规请求、涉政涉黄、暴恐、侵权指令，以及 Prompt 注入攻击（诱导系统越权的伪装指令）。方案：关键词+规则引擎做第一道（快、便宜）→ 内容安全模型/API 做语义级识别（如各云厂商内容安全服务、Llama Guard 类开源模型）。

2. 检索内容侧（易被忽视）：RAG 召回的外部文档、网页、工具返回结果里可能藏污染内容——入库前清洗审核，运行时对外部内容做"数据隔离"标注，防止其中的指令被执行。

3. 模型输出侧：生成内容过安全审核（色情、暴力、歧视、违法建议）+ 事实性校验（关键领域）+ 隐私脱敏（输出中的身份证、手机号、卡号做脱敏或拦截）。方案：审核 API 实时过、低置信内容降级人工。

4. 行为侧（Agent 特有）：Agent 要执行的动作（发消息、调工具）在执行前过合规检查——高危动作人审。

最佳实践：分层分级——按业务场景定审核强度（C 端公开最强、B 端内部适度），误杀率与漏杀率平衡要靠运营；审核日志全量留存（监管追溯要求）；建立 badcase 回流机制每周迭代规则；上线前红队测试覆盖绕过手法（谐音、变体、多轮诱导）。

成本视角：内容审核调用成本远低于模型生成，占 AI 预算 5% 左右——但它保住的是牌照和品牌。我的原则：审核不是可选项，是生产许可证；同时别把它做成体验杀手，灰度上线持续调优阈值。

AI 应用内容审核我做三层流水线 + 分级处置架构：

第一层：实时规则与轻模型（延迟 <50ms，挡量）：

第二层：LLM 深度审核（延迟 500ms~2s，兜语义）：

第三层：人工与回流（质量闭环）：

处置策略分级：放行 / 替换（打码脱敏）/ 拦截并提示 / 限流降权 / 封禁转人工——按业务风险定，避免一刀切误杀。

工程要点：审核同步做第一层（阻塞请求），二三层异步（先放后撤，适合低风险场景）或按场景同步（高风险场景全同步）；误杀率与漏杀率的权衡要看业务代价（社交平台重体验，金融医疗重合规）；全量审计日志 + 监管报表是合规刚需。

架构总结：漏斗式——便宜的在前贵的在后，每层定义明确的"放行置信度"与"升级阈值"。

内容审核我按「三层流水线 + 分级处置」落地：

1. 输入侧（防进）：

2. 生成侧（防出）：

3. 处置层（分级动作）：

技术方案选型：云厂商内容安全 API（阿里/腾讯绿盾、Azure Content Safety）做通用底线；自训练领域分类器（BERT 级小模型 + 业务坏例数据）做垂直规则——两层叠加，通用+定制；LLM judge 做低频高价值场景的兜底（延迟高不适合实时链路）。

工程实践要点：

一个容易忽视的点：工具返回的内容（网页、文档）也要过审核——间接注入和违规内容会从这里进来。