聚合搜索系统设计：从结果融合到权重调优的工程实践

1. 从OneSearch-V2这个命名说起它到底想解决什么问题第一次看到OneSearch-V2这个名字我的直觉是这是一个把搜索这件事重新做了一遍的项目而且已经迭代到第二版。名字里没有堆砌任何技术名词没有AIGPTRAG这些当下最热的标签反而用了一个非常克制的词——One。一个入口一次检索一套结果。这种命名方式本身就透露出设计者的取向不追求功能上的大而全而是追求体验上的一步到位。我在实际工作中接触过不少搜索类项目绝大多数第一版都会陷入同一个陷阱把能接的数据源全接上把能做的过滤条件全堆上结果用户打开界面之后一脸茫然不知道该从哪里下手。OneSearch-V2 从命名上就在对抗这种倾向。它要做的不是更多而是更准、更快、更省心。那么它适合谁我判断有三类人会对这个项目感兴趣。第一类是需要在多个数据源之间来回切换、被碎片化检索折磨的普通用户第二类是想自己搭一套轻量级聚合检索系统、但不想从零造轮子的开发者第三类是对搜索质量有要求、希望理解为什么搜出来的东西不相关这个问题的技术爱好者。不管你是哪一类理解 OneSearch-V2 的设计思路都比直接抄它的代码更有价值。这篇文章我会从命名背后的设计哲学讲起拆解一个聚合搜索系统真正难的地方在哪里然后给出可落地的架构方案、核心模块实现思路、参数调优经验以及我在类似项目中踩过的坑。全文不涉及任何具体平台和真实项目所有案例均为虚构代称你可以放心对照自己的场景来参考。2. 聚合搜索真正的难点不是接进来而是排得对2.1 大多数人低估了结果融合的复杂度很多人对聚合搜索的第一印象是不就是把几个来源的结果拼在一起吗技术上确实不难写个并发请求把返回的列表合并成一个数组前端渲染出来就完事了。但真正做过的人都知道拼接只是开始融合才是地狱。问题出在相关性这三个字上。假设你从三个来源各拿到十条结果来源A的排序算法偏向时效性来源B偏向权威度来源C偏向点击率。这三套排序逻辑背后的打分体系完全不一样A的第一名可能在B的体系里连前十都进不去。你如果简单地按来源轮流插入或者按时间戳统一排序得到的结果几乎必然是看起来什么都有但什么都不对。OneSearch-V2 这个V2的版本号我猜测很大概率就是因为 V1 在结果融合上吃了亏。V1 可能只是做了简单的去重和拼接用户反馈搜出来的东西不相关于是 V2 必须重新设计融合层。这是聚合搜索项目最典型的演进路径。2.2 一个可落地的融合思路归一化打分加权重我在类似项目中用过一套相对稳妥的方案核心思想是不管来源的原始打分是什么量纲先把它归一化到 0 到 1 之间再乘以一个来源权重最后按加权分排序。具体做法分三步。第一步对每个来源的结果列表取其原始分数的最大值和最小值做 min-max 归一化。如果某个来源根本不返回分数那就用排名位置反推一个伪分数比如第一名 1.0第二名 0.9依次递减。第二步给每个来源分配一个权重这个权重可以基于历史点击数据动态调整也可以先手工设定。第三步把归一化分数乘以权重得到最终排序分。这里有个细节很多人会忽略归一化必须在单个来源内部做不能跨来源做。因为不同来源的分数分布差异极大跨来源归一化会把某个来源的整体优势或劣势放大导致结果被单一来源垄断。我见过一个项目就是因为跨来源归一化导致某个数据源的结果永远排在最前面用户以为系统坏了。提示权重不要设成固定值就完事。建议至少保留一个可配置的权重表并且记录每次检索的来源命中情况为后续动态调权留出数据基础。2.3 去重不是简单的字符串相等结果融合的另一个大坑是去重。两个来源返回的可能是同一条内容但标题差一个字、URL 多了个参数、摘要截断位置不同简单的字符串比较根本识别不出来。我的经验是分两层做去重。第一层是精确去重对 URL 做规范化处理——去掉追踪参数、统一协议头、统一末尾斜杠然后做哈希比对。第二层是近似去重对标题做分词后计算相似度超过阈值就判定为重复保留权重更高的那条。阈值设多少我一般从 0.85 开始试太低会误杀不同内容太高会漏掉重复。这个值需要根据你的数据特点微调没有万能答案。3. 架构拆解一个聚合检索系统应该长什么样3.1 分层设计比微服务更适合起步阶段一提到架构很多人第一反应是上微服务每个数据源一个服务中间加消息队列。这套方案不是不行但对于 OneSearch-V2 这种定位的项目来说起步阶段上微服务是典型的过度设计。我见过太多项目死在架构太复杂还没跑通业务就先被运维拖垮。更务实的做法是分层单体。整个系统分成四层接入层负责接收查询请求和参数校验调度层负责并发调用各个数据源、控制超时和熔断融合层负责归一化、去重、排序呈现层负责格式化输出。四层在同一个进程内通过清晰的接口隔离。等某一层真的成为瓶颈了再把它拆出去这时候你已经有真实的性能数据支撑拆分了而不是拍脑袋。这个思路的好处是调试极其方便。你可以在融合层打断点看到每个来源的原始结果和归一化后的分数排查为什么这条排前面这种问题时效率高得多。微服务架构下你得跨好几个服务追日志光定位问题就能耗掉半天。3.2 并发调度里的超时控制是生死线调度层最核心的问题不是怎么并发而是怎么控制并发带来的不确定性。聚合搜索要同时请求多个来源只要有一个来源响应慢整个查询就会被拖住。用户可不会管你背后有几个来源他只知道这个搜索怎么这么慢。我的做法是给每个来源设置独立的超时时间并且这个超时时间要短。经验值是根据该来源的历史 P95 响应时间乘以 1.5但绝对不超过一个全局上限比如 800 毫秒。超过就放弃这个来源用已经返回的结果继续融合。这里的关键是宁可少一个来源的结果也不能让用户等。还有一个细节是并发数的控制。如果你有二十个来源不要一次性全发出去用信号量限制同时进行的请求数比如 8 个。这样既能利用并发又不会把下游打爆也不会因为线程数过多导致上下文切换开销过大。3.3 缓存策略决定了系统的实际体验聚合搜索的缓存比普通搜索更复杂因为它的结果依赖多个来源。我的策略是分两级缓存。第一级是来源级缓存每个来源的原始结果单独缓存键是来源标识加查询词。第二级是融合级缓存缓存最终排序后的结果键是查询词加权重配置版本。为什么要分两级因为来源级缓存可以复用。当权重配置调整时融合级缓存失效但来源级缓存还能用不用重新请求所有来源。这个设计在调权重的时候能省下大量请求调试效率提升非常明显。缓存过期时间怎么定来源级缓存可以设长一点比如 10 分钟因为原始数据变化没那么快。融合级缓存设短一点比如 2 分钟保证排序结果相对新鲜。如果某个来源支持增量更新还可以做主动失效但那是进阶玩法起步阶段用 TTL 就够了。4. 核心模块的实操细节与参数调优4.1 查询预处理别让用户的输入直接进检索用户输入的查询词往往很脏。多空格、全半角混用、大小写不一致、带了无意义的符号这些问题如果不在预处理阶段解决会直接影响召回率。我在项目里固定做四件事去除首尾空白、合并连续空格、统一全半角、按需做大小写归一。还有一件容易被忽略的事查询词的分词。如果你的来源里有中文内容分词质量直接决定召回效果。我的建议是不要自己造分词器用成熟的开源方案但要注意词典的领域适配。通用词典对专业术语的切分经常出错需要补充自定义词典。这个工作看起来琐碎但投入产出比很高。4.2 来源适配器的统一接口设计每个数据源的返回格式都不一样有的返回 JSON有的返回 XML字段名五花八门。如果不在适配层做统一融合层就要写一堆 if-else维护起来是灾难。我的做法是定义一个统一的结果结构至少包含这几个字段标题、摘要、链接、来源标识、原始分数、时间戳。每个来源写一个适配器负责把原始返回转换成这个统一结构。适配器里可以处理该来源特有的逻辑比如字段映射、时间格式转换、分数提取。融合层只认统一结构完全不关心数据从哪来。这个设计的价值在新增来源时体现得最明显。你只需要写一个新的适配器融合层一行代码都不用改。我见过没做这层抽象的项目每加一个来源就要改融合逻辑改到最后没人敢动代码。4.3 权重调优从拍脑袋到看数据权重是融合排序的灵魂但也是最难调的部分。起步阶段可以拍脑袋给一组初始值比如权威来源 1.0普通来源 0.7时效性来源 0.8。但拍脑袋的权重撑不了多久必须尽快转向数据驱动。我的做法是记录每次检索的完整链路查询词、各来源返回的结果、融合后的排序、用户点击了哪条。有了这些数据就可以做简单的归因分析。如果用户频繁点击某个来源的结果说明这个来源的权重可能偏低如果某个来源的结果几乎没人点权重就该降。这个反馈闭环建立起来之后权重调优就从玄学变成了工程。注意调权重一定要有版本管理。每次调整记录版本号和调整原因出问题时能快速回滚。我吃过这个亏调了一版权重发现效果更差想回退却找不到之前的配置。4.4 分页与深翻页的处理聚合搜索的分页比单来源搜索麻烦得多。单来源搜索可以直接用偏移量但聚合搜索的每一页都是实时融合出来的偏移量分页会导致结果重复或遗漏。我的方案是游标分页。第一次查询返回一个游标里面记录了当前融合状态的关键信息比如各来源已经取到第几条、当前的排序边界值。下一页请求带上这个游标系统从各来源继续取数据然后接着上次的边界继续融合。这样能保证分页的连续性和一致性。深翻页还要考虑性能问题。翻到第十页的时候如果每个来源都要取一百条数据来融合开销会很大。我的做法是设置一个深翻页上限超过之后提示用户请细化查询词而不是硬撑着返回质量越来越差的结果。这个取舍很现实与其给用户一堆不相关的结果不如引导他重新表达需求。5. 我在类似项目中踩过的坑与排查链路5.1 结果突然全部来自单一来源有一次线上反馈说搜索结果全被某个来源霸占了其他来源的结果一条都看不到。第一反应是融合逻辑出问题了但查了日志发现融合层正常各来源都有返回。顺着链路往上查发现问题出在归一化环节。那个霸屏的来源返回的分数范围特别窄比如都在 0.9 到 0.95 之间归一化之后全部接近 1.0。而其他来源的分数范围很宽归一化之后大部分落在 0.5 以下。结果就是那个来源的结果全面压制其他来源。修复方案是引入分数分布的动态校准。具体来说不直接用 min-max 归一化而是用该来源历史分数的分位数来做映射把当前分数映射到它在历史分布中的位置。这样即使某个来源的分数范围窄也不会因为归一化而被异常放大。这个坑让我明白一个道理归一化不是数学问题是统计问题必须结合数据分布来做。5.2 超时设置不当导致的雪崩另一次事故是某个来源响应变慢导致大量请求堆积最终整个系统响应时间飙升。排查发现是超时时间设得太长而且没有做熔断。慢来源把线程池占满快来源的请求也排不上队。修复分两步。第一步是把超时时间从 3 秒降到 800 毫秒并且给每个来源独立的线程池避免互相影响。第二步是加熔断当某个来源的失败率超过阈值时直接跳过它一段时间不再发请求。熔断的恢复策略用半开模式过一段时间放少量请求试探成功了再完全恢复。这个事故的教训是聚合系统里任何一个来源的不稳定都会传导到整体。必须假设每个来源随时可能出问题用隔离和熔断把故障限制在局部。5.3 缓存穿透引发的连锁反应还有一次是缓存设计的问题。某些冷门查询词没有缓存每次都要实时请求所有来源而这些查询又恰好集中在某个时间段导致来源压力骤增。解决方案是加空结果缓存。对于确实没有结果的查询也缓存一个空结果设置较短的过期时间。这样重复的冷门查询就不会反复穿透到来源。另外对于高频查询词做了预热在系统空闲时提前把结果算好放进缓存。排查这类问题的关键是看缓存命中率。我养成了一个习惯把缓存命中率作为核心监控指标之一一旦发现命中率异常下降立刻排查是不是有新的查询模式绕过了缓存。6. 关于 OneSearch-V2 这类项目的一点个人判断做聚合搜索这几年我最大的体会是技术难度不在聚合而在取舍。你不可能让所有来源都满意也不可能让所有查询都完美。真正决定项目成败的是你有没有想清楚在资源有限的情况下优先保证哪部分体验。OneSearch-V2 这个命名里的V2其实很说明问题。第一版往往是功能的堆砌第二版才开始做减法。如果你的项目正处在 V1 阶段别急着加来源、加功能先把融合质量和响应速度这两个基础打牢。来源少但结果准比来源多但结果乱要好得多。另外分享一个我一直在用的小技巧给系统加一个调试模式输入查询词后能看到每个来源的原始结果、归一化分数、权重、最终排序分。这个功能在排查问题时能省下大量时间而且开发成本很低。很多团队等到出问题才想起来做可观测性其实一开始就把它做进去后面会轻松很多。最后说一个容易被忽视的点文档。聚合搜索系统的行为依赖大量配置——来源列表、权重、超时、缓存策略。这些配置如果没有文档说明过两个月连自己都记不清为什么这么设。我的习惯是每个配置项旁边都写清楚为什么是这个值哪怕只是一句话。这个习惯在团队协作和后续维护中价值巨大。