Embedding + 向量数据库怎么搭?

语义搜索中模型选型、向量化流程与检索机制详解

原题：请说明如何结合嵌入模型和向量数据库实现语义级别的相似度搜索，包括模型选择、向量化过程和检索机制。

向量检索 · 字节真题

回答与解析

一、Embedding模型选择

场景	推荐模型	特点
通用中文	BGE-large-zh、M3E-base	开源、效果稳定、支持指令微调
多语言	E5-multilingual、BGE-m3	跨语言检索、支持100+语言
长文本	GTE-large、BGE-long	支持8K+上下文，适合文档级编码
轻量部署	MiniLM、BGE-small	速度快、资源占用低

选型关键：领域匹配度 > 向量维度（通常768/1024）> 推理速度

---

二、向量化流程

原始文本 → 文本分块（Chunking） → 嵌入编码 → L2归一化 → 写入向量库

关键细节：

• 分块策略：按语义段落切分（200-500 tokens），重叠窗口保证上下文连贯

• 编码方式：查询和文档通常共享同一模型，或查询用轻量模型、文档用重型模型

• 归一化：必须做，确保余弦相似度等价于点积，加速计算

---

三、向量数据库与检索机制

核心组件：

• 索引结构：HNSW（图索引，高召回）、IVF-PQ（倒排+量化，省内存）、Flat（暴力搜索，精度最高）

• 距离度量：余弦相似度（方向一致即可）、欧氏距离（绝对位置重要）、内积（带模长信息）

检索流程：

1. 查询文本 → Embedding模型 → 查询向量 q

2. ANN索引快速召回Top-K候选（如HNSW的ef_search参数控制深度）

3. 可选：重排序（Cross-Encoder精排）提升精度

---

四、生产优化要点

• 混合检索：向量相似度 + BM25关键词召回，融合排序（RRF算法）

• 量化压缩：FP32→FP16/INT8，降低50%+内存，精度损失关键一句:混合搜索中 RRF 比加权融合更鲁棒，因为不依赖分数尺度。

面试官还可能这样问

1. 问法 1 · 场景切入假设你在做电商客服系统，用户输入“我的订单怎么还没到”，你得检索出相似的历史工单。你怎么用嵌入模型和向量数据库实现这种语义搜索？比如模型选哪个、向量怎么生成、怎么快速召回？
2. 问法 2 · 层层追问语义搜索怎么做？……那你向量化之前文本怎么处理？……模型选型上有什么讲究？……怎么在百万级数据里快速找到最相似的？……检索结果要不要再排一下？
3. 问法 3 · 直球架构请设计一个基于嵌入模型和向量数据库的语义相似度搜索系统。说清楚模型怎么选、向量化流程（包括分块和归一化）、检索机制（索引结构和搜索策略），还有生产优化点。