面经策

什么是 ETL 数据处理？在构建 RAG 知识库时有什么作用？你是如何利用 Spring AI 实现 ETL 的？ ​

  • 标签：后端、编程导航

🏛 业务架构师 ​

ETL = Extract（抽取）、Transform（转换）、Load（加载），源自数据仓库的舶来概念。在 RAG 语境里：抽取多源文档 → 清洗/切分/元数据标注 → 向量化入向量库。

Spring AI 的对应实现：ETL Pipeline 抽象——DocumentReader（Tika/PDF/Markdown 读取器）→ DocumentTransformer（TokenTextSplitter 切分、KeywordMetadataEnricher/摘要增强元数据）→ DocumentWriter（VectorStore 写入），像流水线一样串起来，每一段可独立替换。

它在 RAG 知识库构建中的三个业务作用：

  1. 质量关口：切分与清洗决定了检索的上限——** Retrieval 的准确率天花板在入库时就已锁定**，问答效果 70% 的功夫在 ETL，不在模型；
  2. 成本关口：批量化 Embedding（一次请求处理多篇）把向量化成本降一个数量级——token 是真金白银，ETL 的吞吐设计就是成本设计；
  3. 治理关口：元数据标注让知识可过滤、可授权、可时效管理——企业知识库没有权限模型等于泄密通道。

架构师视角的关键设计：ETL 是可重跑的批处理，不是一次性脚本——切分策略迭代、Embedding 模型升级、知识源扩容都要全量重建。所以我的实现要点：源文档版本化、流水线幂等、增量更新（bin 文档变更触发）+ 全量重建（季度性）双机制。

一句话：ETL 是 RAG 的生产车间——模型是销售，车间质量差，销售再能说也留不住客户。

🏗 系统架构师 ​

ETL = Extract（抽取）→ Transform（转换）→ Load（加载），数据仓库经典范式。在 RAG 知识库构建中它就是文档处理管道的骨架：

  • Extract：从 PDF/Word/网页/数据库等异构源抽取原始文本（Tika/爬虫/OCR）；
  • Transform：清洗（去噪、格式归一）→ 切分（分 chunk）→ 元数据富化（关键词/摘要/来源标注）——质量决定层，垃圾进垃圾出；
  • Load：向量化后写入向量库 + 原文与元数据落关系库。

作用：把非结构化文档变成"可检索、可溯源、可过滤"的结构化资产——没有 ETL 的治理，检索层无从优化（chunk 质量差，换什么向量模型都没用）。

Spring AI 中的实现：

java
// 1. Extract
DocumentReader reader = new TikaDocumentReader(resource);
List<Document> docs = reader.get();
// 2. Transform：切分 + 元数据富化
TextSplitter splitter = new TokenTextSplitter(800, 200, 5, 10000, true);
docs = splitter.apply(docs);
docs = keywordEnricher.apply(docs);   // KeywordMetadataEnricher
// 3. Load：向量化入库
vectorStore.accept(embeddingModel.embed(docs 之外通过add));
vectorStore.add(splitter.apply(docs));

ETL 管道组件全部可替换（自定义 Reader/Splitter/Enricher），我用 Strategy 组合按文档类型路由不同管道。

生产化要点：管道异步化（MQ 驱动）、批处理优化（embedding 攒批调用降 10 倍成本）、断点续传与幂等（content_hash 去重）。

💻 全栈开发专家 ​

ETL = Extract-Transform-Load（抽取-转换-加载），数据工程的老概念，Spring AI 把它借来组织 RAG 知识库的离线构建流程：

text
Extract：DocumentReader 从各数据源抽取文档
         （TikaDocumentReader 支持 pdf/docx/ppt/html；JsonReader；网页爬取）
Transform：文档的清洗与加工
         （TokenTextSplitter 切分、KeywordMetadataEnricher/SummaryMetadataEnricher 元信息增强、自定义清洗器）
Load：VectorStore 持久化（PGVector/Milvus/Redis/ES...）

在 RAG 知识库中的作用：知识库不是"文件扔进去就能用"，原始文档直接塞向量库效果很差（超长、噪声、无结构）。ETL 就是把非结构化原始文档加工成高质量检索单元的流水线——知识库质量 80% 决定检索效果，而 ETL 决定知识库质量。

我的实现（直接组合 Spring AI 组件）：

java
@Bean
public EtlPipeline knowledgePipeline(TikaDocumentReader reader,
        TokenTextSplitter splitter, KeywordMetadataEnricher enricher,
        EmbeddingModel embedding, VectorStore store) {
    return doc -> {
        List<Document> chunks = splitter.apply(reader.get());   // E + T1
        enricher.accept(chunks);                                 // T2
        store.add(chunks);                                       // 内部调 embedding，完成 L
    };
}

扩展：Transform 阶段我加了两步自定义——敏感信息脱敏（正则+实体识别）和按业务维度打标（部门/文档密级），让检索期可以带权限过滤。