面经策

了解 ViLT（Vision-and-Language Transformer）吗？ ​

  • 标签：ViLT

🏛 业务架构师 ​

ViLT（Vision-and-Language Transformer）的要点（与 219 题同源，这里补充架构细节）：它是 2021 年提出的极简图文多模态模型，核心主张是"视觉入口不需要区域特征或卷积，线性投影就够了"。

架构：

  • 视觉侧：图像切 32×32 的 patch，每块线性投影成 embedding（ViT 式处理），彻底去掉 CNN 和目标检测器（Faster RRCNN 提区域特征的开销）；
  • 文本侧：WordPiece 分词 + embedding；
  • 融合：图文 token 序列拼接，进单塔 Transformer——每层都做跨模态注意力（图文 token 互相关注），深度交互；
  • 预训练目标：图文对比（匹配与否）+词掩码+图文对齐三类任务联合训练。

与其他范式的坐标：

  • CLIP（双塔）：图文各自编码、末端算相似度——交互浅但检索快，适合大规模召回；
  • ViLT（单塔）：层间深交互——适合 VQA、视觉推理这类要细粒度对齐的任务；
  • 现代 VLM（LLaVA、Qwen-VL 类）：ViT 编码器+LLM，把"深交互"做到生成级——ViLT 的"patch 直投"思想被完整继承。

性能特征：训练快推理快（比带区域特征的模型快几十倍）、参数效率高；但纯线性投影的视觉能力弱于重视觉编码器的方案——后续 BLIP/ALBEF 补回了更强的视觉塔。

业务启示：ViLT 验证了"多模态融合可以又轻又快"——今天的轻量图文理解（商品图文审核、图文检索预训练）仍受益于这条路线。双塔快检索+单塔深理解+VLM 生成的三层工具箱，是多模态业务的完整选型面。

🏗 系统架构师 ​

ViLT 我在多模态题（219）基础上补充架构细节与工程视角：

核心设计：图文 token 拼接进单个 Transformer——图像 16×16 patch 线性投影成视觉 token（无卷积无检测器），文本 BERT 分词，两类 token 在每一层自注意力中自由交互（early fusion 的极致形态）。

预训练三任务：

  • ITC（图文对比）：正负样本对齐（CLIP 的前身思想）；
  • ITM（图文匹配）：[CLS] 判断是否配对——细粒度对齐；
  • MLM（遮词）：用图像信息辅助补全文本——跨模态的显式监督（"一只[MASK]在草地上" + 图 → 补"狗"）。

相比前代的优势：砍掉了目标检测器（Faster R-CNN 抽区域特征是当时主流做法，推理慢且上游检测器主导了视觉质量上限）——端到端纯 Transformer，视觉表征可随任务共同训练，速度提升数十倍。

局限与定位：视觉端从零训练（无强视觉先验），细粒度识别略逊；对比 CLIP（对比学习 + 海量图文对，检索与零样本强）——ViLT 强在跨模态深度交互（VQA 类理解任务），弱在检索规模性。

历史意义（架构师视角）：ViLT 验证了"多模态统一 Transformer"路线的可行性与简洁性——直接铺平了其后多模态 LLM 的标准架构：ViT 视觉编码 + LLM 文本主干 + 投影对齐（Qwen-VL/LLaVA 系全是这个骨架的放大版）。工程启示：砍组件（检测器）比加组件（更强调觉塔）更能催生范式演进——简洁架构的可扩展性胜过复杂架构的初始精度。

💻 全栈开发专家 ​

ViLT（Vision-and-Language Transformer）我对它的理解（详见原理，这里给工程视角的补充）：

核心记忆点：三个「砍掉」——

  1. 砍掉区域检测器（Faster R-CNN 抽视觉特征——当年 VE 系模型的标配，又贵又慢，特征还带检测器偏差）；
  2. 砍掉卷积主干（连 ViT 的卷积 patch projection 都简化为线性投影）；
  3. 砍掉复杂融合模块——图和文 token 直接拼接进一个 Transformer，靠自注意力做跨模态融合。

架构流：

图像 → 16×16 patch → 线性嵌入 ┐
                              ├→ 拼接序列 → Transformer Encoder ×N → 下游头
文本 → BPE tokenize → 词嵌入   ┘

预训练：ITC（图文是否匹配）、MLM（掩词用图辅助还原）、MIM（掩图像块还原）。

工程视角的评价：

  • 优点：端到端简洁、参数小（比 VE 模型少 6 倍）、推理快——证明了「Transformer 统一多模态」的可行性，是后来 GPT-4V 类架构的思想先导；
  • 局限：视觉侧无预训练加成（线性投影随机初始化），检索精度逊于 CLIP 双塔；不适合生成任务（encoder-only）；
  • 它启发的现代方案：线性 patch embedding + 与文本联合编码的做法，活在 BLIP-2（Q-Former 融合）和现代 VLM 的 projector 设计里。

面试表述：一句话定位（「把视觉也 token 化进 Transformer 的极简早期融合模型」）+ 三个砍掉 + 与 CLIP（双塔对比学习）的路线对比，基本满分。