面经策

如何设计一个安全可控的 AI 系统？从模型层到应用层需要考虑哪些安全维度？ ​

  • 标签：

🏛 业务架构师 ​

设计安全可控的 AI 系统，我从五层讲安全维度（从内到外）：

1. 模型层：选型评估模型自身的安全对齐水平（拒答有害请求的能力）；私有化部署满足数据不出域；版本固定与变更回归（防止厂商升级带来行为漂移）。

2. 数据层：训练/微调数据的合规来源审查（版权、隐私、出域授权）；RAG 知识库的权限分级与密级标注；PII 检测与脱敏贯穿数据管道；数据留存期限与删除机制（个保法要求）。

3. 应用层（护栏体系）：输入输出内容安全过滤；Prompt 注入防护（外部内容隔离、注入检测）；幻觉管控（RAG 约束、关键事实校验、拒答机制）；输出脱敏。

4. 权限与行为层（Agent 关键）：最小权限原则（工具按角色配置）；高危操作人工审批；写操作幂等与审计；预算熔断与限流——"假设模型会被骗，被骗了也干不了大事"。

5. 治理层：全链路审计日志（谁、何时、问了什么、AI 答了什么、执行了什么）；红队测试常态化；模型卡/数据卡记录（可解释与可追溯）；应急响应预案（kill switch、回滚、上报流程）；对监管的就绪度（生成内容标识、算法备案等行业要求）。

设计哲学：安全不是一层墙而是纵深防御——每层都假设前一层会失守。业务落地建议：按数据密级和业务风险分级实施——内部低敏工具先跑通 1/3/5 层基线，C 端和高敏场景五层全配。安全投入要与风险敞口匹配，但审计和权限这两项是从 day one 就该有的，事后补的成本是事前的十倍。

🏗 系统架构师 ​

安全可控的 AI 系统，我按五层架构设计（从内到外）：

1. 模型层：

  • 选型安全评估：越狱抵抗、拒答能力基线测试（红队报告）；
  • 可控定制：安全对齐微调/DPO（拒答行为内化）、输出温度与解码策略收敛；
  • 供应链：开源模型要扫权重来源与后门风险（model scanning）、依赖组件审计。

2. 数据层：

  • 训练/微调数据：来源合规、PII 清洗、投毒检测（统计异常 + 人工抽检）；
  • RAG 语料：入库前内容安全扫描（间接注入防御第一关）、权限标签完备（检索层 pre-filter 的前提）、更新走审核流。

3. 应用层（护栏体系）：

  • 输入闸：注入检测、PII 脱敏、话题边界；
  • 输出闸：泄露扫描、事实一致性、内容合规；
  • 行为闸：工具权限分级 + 高危审批、循环/预算熔断、审计留痕。

4. 权限与隔离层（零信任原则）：

  • Agent 权限 ≤ 其代理用户的权限，最小化授予；
  • 执行沙箱（容器隔离、网络白名单、资源配额）；
  • 多租户严格隔离（上下文串话是真实攻击面）；
  • 密钥与凭据绝不进上下文。

5. 治理层：

  • 全链路审计（谁、何时、干了什么、结果）与合规报表；
  • 红队常态化 + 攻击样本回归集进 CI；
  • 事件响应预案（发现被注入后的隔离、止损、复盘流程）；
  • 模型/提示词/护栏的变更管理（安全评审门禁）。

核心原则：假设模型和输入都不可信——安全不依赖模型自觉，靠架构上的权限、隔离、校验、审计四件套；安全成本要按业务风险分级投入，而不是全网均一。

💻 全栈开发专家 ​

安全可控的 AI 系统，我从五层讲设计（每层给关键措施）：

1. 模型层：

  • 选型评估：安全对齐记录、第三方渗透测试报告；
  • 上线前红队测试（注入/越狱/诱导样本库），攻击成功率达标才放行；
  • 版本锁定与变更回归（模型升级=安全重新评估）。

2. 应用层（护栏）：

  • 输入侧：注入检测、话题准入、PII 脱敏；
  • 输出侧：内容分类、领域红线（承诺性/医疗/法律表述）、引用校验；
  • 工具侧：权限分级（allow/deny/confirm）、参数校验、外发白名单（URL/邮箱域名）——防数据外传的最后一道闸。

3. 数据层：

  • 训练/检索数据分级分类，敏感数据脱敏后进 RAG；
  • 多租户硬隔离（tenant_id 强制注入过滤条件，检索层生效）；
  • 对话日志的加密存储、留存期限、用户可删除（合规）。

4. 基础设施层：

  • 密钥托管（模型永不接触原始密钥，工具侧代理鉴权）；
  • Agent 执行沙箱（容器隔离、文件系统白名单、网络出口控制）；
  • 全链路审计日志（谁、何时、让 AI 做了什么、AI 动了什么）不可篡改。

5. 流程与治理层：

  • 变更管理：prompt/工具/模型变更等同代码评审+安全回归；
  • 运行时监控：异常行为告警（短时大量读操作=外传前兆）、预算熔断；
  • 应急预案：一键降级（关工具/切只读/停服务）、事后取证流程；
  • 责任界定：AI 输出的人工复核点、最终决策留 human-in-the-loop。

设计哲学：把 LLM 当「能力很强但不可信的执行者」——信任建立在代码层的约束上，不在 prompt 的恳求上；安全是分层的洋葱，任何单层都可能被突破。