快讯

语义检索与匹配:搜索框背后那点小心思

搜「苹果」两个字,有人想买水果,有人想找手机。语义检索与匹配要做的事,说白了就是猜你到底想要哪一个。

听起来不难。做起来嘛……挺麻烦的。

字面匹配为什么老是翻车

传统关键词检索的逻辑很直白:你输入什么,它就去比对什么。倒排索引、TF-IDF、BM25,这些老家伙干活快,也便宜,到今天仍然是很多系统的底座。

问题出在词上。

你搜「怎么把照片变小」,文档里写的是「图片压缩方法」。字面一个字都不重合,老系统直接懵。再比如「感冒了能吃头孢吗」和「上呼吸道感染用药禁忌」,人一看就知道在说同一件事,机器不一定。

据一些用户反馈,电商站内搜索里特别让人抓狂的场景,就是搜了个偏口语的词,结果页空空如也。不是没有商品,是那件商品的标题里恰好没写这个词。

向量空间语义检索余弦相似度可视化示意图
向量空间语义检索余弦相似度可视化示意图

向量那套东西,把「意思」放哪了

向量那套东西,把「意思」放哪了
向量那套东西,把「意思」放哪了

现在比较常见的做法,是把文本压成一串数字。对,就是一串几百上千维的浮点数,业内叫 embedding。

压完之后有个挺有意思的性质:意思相近的句子,在空间里离得近。「我想吃苹果」和「来个苹果尝尝」会挤在一起,而「苹果发布了新机」会飘到另一片区域去。距离怎么算?余弦相似度用得比较多,也有用内积或者欧氏距离的,看具体场景。

但这里有个前提常被忽略——这串数字是谁给的,效果差别巨大。通用大模型生成的向量,和用领域数据微调过的向量,在同一个任务上可能差出一大截。所以选型的时候,别只盯着公开榜单,拿自己真实的 query 跑一批离线评测,更靠谱。

至于检索层,常见的组合是「向量召回做粗排 + 交叉编码器做精排」。前者快,后者准,搭着用比较划算。

真上手,容易在哪栽跟头

一个坑是数据本身。向量库里的存量文本如果写得乱七八糟、标题堆砌关键词,模型再好也救不回来。清洗这一步省不掉。

另一个坑是长文本。一篇三千字的文章压成一个向量,信息会被稀释得很厉害。通常的做法是切块,按段落或者按语义边界切,切完再分别建索引。

还有时效问题。商品下架了、文档更新了,向量库里的旧记录还赖着不走。得有增量更新和删除机制,不然搜出来的结果点进去是404,体验很糟。

评估也别偷懒。召回率、MRR、NDCG,这几个指标反映的侧面不一样,业务目标不同,该看的指标也不同。只看一个准确率数字,很容易被误导。

电商搜索语义匹配查询改写与召回排序流程图
电商搜索语义匹配查询改写与召回排序流程图

它不是来取代关键词检索的

它不是来取代关键词检索的
它不是来取代关键词检索的

经常有人问:有了语义匹配,BM25是不是可以扔了?

不建议。

场景不一样。搜订单号、搜型号、搜一长串数字编码这种精确查找,字面匹配又快又准,向量反而容易出错——它擅长的是「差不多」的东西,而精确查询恰恰不想要「差不多」。

比较务实的路子是混合检索:两路结果都召回,再做融合排序。至于权重怎么配,这个可能因人而异,得靠线上 A/B 测试慢慢调。

另外提一句,语义检索与匹配不是上线一次就完事的工程。语料在变,用户说话的方式也在变。隔一段时间重新跑一轮评测集,看看有没有效果漂移,算是常规维护动作。

您在实际项目里还遇到过哪些奇怪的检索 case?欢迎结合具体场景继续聊。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:语义检索与匹配:搜索框背后那点小心思
文章链接:https://m.ttrenwu.com/geo/4214.html