面经策

大模型的 Token 是什么？输入 Token 和输出 Token 在计费上有什么区别？ ​

  • 标签：

🏛 业务架构师 ​

Token 是大模型处理文本的最小单位——不等于一个字：中文一个汉字约 0.6~1.5 token（多数模型约 1 汉字≈1 token 或略少），英文一个单词约 1.3 token，代码、表情、特殊符号的 token 化更"贵"。模型按 token 读写，上下文窗口、计费、限流全以 token 计。

输入与输出 token 的计费差异（2026 年主流行情）：

  • 输出比输入贵 3~10 倍：以某旗舰模型为例，输入每百万 token 数美元，输出每百万 token 十几到几十美元——因为生成（自回归逐 token 采样）的计算量远大于理解（一次并行编码）；
  • 缓存输入打折：Prompt Caching 命中的输入部分通常 1 折左右——Agent 多轮对话里重复的 System Prompt 和历史走缓存，成本立降；
  • 长上下文梯度加价：部分模型对超长输入（如超过 128K 后）按区间加价。

业务管理的三个抓手：

  1. 输出长度控制：贵的是输出——提示词里限定篇幅、要求要点式回答、结构化输出，省钱立竿见影；
  2. 模型分层路由：80% 简单请求走小模型，成本差 10~30 倍；
  3. 缓存与复用：稳定前缀（系统提示、工具描述）做好缓存，高频问答上语义缓存。

一句话总结：token 是 AI 应用的"水电气"——输入是进水、输出是排水、排水的单价更高。成本治理要先管输出，再管路由，最后抠缓存，这个顺序的 ROI 最高。

🏗 系统架构师 ​

Token = LLM 处理文本的最小单位：不等于字符也不等于词——由 tokenizer（BPE 类子词算法）切分，常见映射：1 个中文汉字 ≈ 0.6~1 token（新 tokenizer 效率更高）、1 个英文单词 ≈ 1.3 token、代码更碎。模型的一切计价、窗口限制、吞吐指标都以 token 计。

输入/输出计费差异（成本结构的钥匙）：

  • 输出贵：主流 API 输出单价是输入的 3~5 倍（如输入 $0.1~$3/M、输出 $0.4~$15/M 档位）——原因在机制：输出是自回归逐 token 生成，每个 token 一次完整前向，算力消耗远高于输入的并行 prefill；且生成受内存带宽瓶颈（decode 阶段每 token 要读全量权重）；
  • 工程含义：成本优化优先砍输出——让模型"精炼作答"比"压缩输入"省得多；长输出任务（报告生成）成本敏感，要控制 max_tokens；
  • 输入靠缓存省：Prompt Cache 命中部分输入打 1~2.5 折（前缀稳定才命中），System Prompt、few-shot 示例放前缀是标配。

容量规划速算：日均 100 万次调用 × 平均 2K 输入 + 500 输出，按 $1/M 输入、$4/M 输出算，日成本 ≈ $2K + $2K = $4K/天——输入输出各占一半，说明两边都要优化（缓存砍输入、精简砍输出）。做 LLM 应用的第一课就是把 token 当预算管：每个功能的 token 成本要显式核算。

💻 全栈开发专家 ​

Token 是什么：模型处理文本的最小单位，由分词器（BPE 类）切分——可能是字、词、或词片。经验值：英文 1 token ≈ 0.75 个单词（4 字符）；中文 1 个汉字 ≈ 0.6~1.5 token（取决于分词器和模型，现代模型中文效率更高）。代码的 token 密度另算（缩进、符号都算）。估算工具：tiktoken 库或各厂商的 token 计数 API。

计费差异（输入 vs 输出）：

  1. 输出贵 3~5 倍：主流厂商输出单价约是输入的 3~5 倍（如输入 $3/M、输出 $15/M）——因为自回归生成是串行的，每个输出 token 都要一次完整前向；
  2. 缓存输入打折：prompt caching 命中的前缀部分约 1 折计费（写缓存首次可能上浮 25%，随后读缓存 10%）——这对 Agent 架构影响巨大：system prompt 和长历史放前面保持稳定，能省一半以上成本；
  3. 长上下文阶梯计价：部分厂商（Gemini、Anthropic）超过 128k/200k 后输入单价上浮；
  4. reasoning token 按输出计：推理模型的思考 token 看不见但计费，预算要留。

工程上的省钱组合拳（实操过的）：

  • 前缀稳定吃缓存（system prompt 字节级固定）；
  • 输出控制：max_tokens 上限、要求简洁格式、先列要点再展开的两段式；
  • 模型路由：简单任务走小模型；
  • 批处理：Batch API 五折（非实时任务）；
  • 语义缓存：重复问题直接命中。

成本监控要细到「每功能每用户」，我在网关层按 trace 聚合 token 用量做看板，超预算告警——不监控的成本迟早给你惊喜。