快讯

实体链接与消歧:你搜的“苹果”为什么总不是水果?

你有没有这种经历?在搜索框里敲下“苹果”,满屏都是iPhone、MacBook,可你明明想找的是那种脆甜多汁的水果。或者你搜“李娜”,出来的全是打网球的那位,但你想找的可能是唱歌的。这背后,就是实体链接与消歧在悄悄干活。

它到底在链什么?消什么?

简单说,文本里出现的每个名字——比如“小米”、“苹果”、“张三”——都叫“实体指称”。实体链接就是给这个指称找到它在知识库(比如维基数据、百度百科)里对应的那个唯一实体。消歧呢,就是当同一个名字对应多个实体时,根据上下文判断到底指哪个。

举个例子。“小米宣布造车了。”这里的“小米”大概率是那家科技公司。但“今天煮了小米粥。”这里的“小米”就是粮食。机器怎么知道?它得看周围的词。有意思的是,有时候连人都得愣一下。比如“苹果发布了新手机”和“苹果富含维生素”,语境明显不同。

自然语言处理中实体指称消歧案例图
自然语言处理中实体指称消歧案例图

消歧的几种常见套路,以及它们翻车的时候

业内处理消歧,路子挺多。有的靠上下文词袋,把句子里的词和实体描述做匹配。有的靠实体之间的关联——比如“雷军”和“小米”经常一起出现,那这个“小米”多半是公司。还有的用图嵌入,把知识图谱里的关系也考虑进去。说实话,这些方法单独用都容易翻车。

据一些用户反馈,电商场景里挺让人头疼。一个商品标题写着“苹果 新鲜 水果 包邮”,另一个写着“苹果 手机 正品 国行”。如果消歧错了,推荐系统直接裂开。从实操角度看,很多时候得靠人工规则兜底,比如加个“水果”关键词就强制链到农产品实体。但规则多了又会冲突,难搞。

另外,指称边界也是个坑。“纽约大学”和“纽约的大学”完全是两码事。还有缩写,“北大”和“北京大学”得能对上。新实体不断冒出来,知识库更新不及时,链接就失效了。所以实际系统里,通常会设计一个“NIL”选项——实在拿不准,就先不链。

知识图谱实体链接与消歧流程示意图
知识图谱实体链接与消歧流程示意图

它藏在搜索、推荐和问答的哪些角落?

它藏在搜索、推荐和问答的哪些角落?
它藏在搜索、推荐和问答的哪些角落?

你每天用的搜索引擎,结果页右侧那个实体卡片——比如搜“刘德华”出来演员简介、电影作品——就是实体链接的功劳。问答系统更依赖它。你问“苹果的CEO是谁”,系统得先知道这个“苹果”指公司,才能去查库克。推荐系统也一样,你看了“小米手机”,它给你推“小米手环”,而不是“小米粥”。

不过话说回来,这玩意儿也不是万能的。遇到模糊指称照样懵。比如“那个谁演的片子”,连个人名都没有,消歧无从下手。还有多语言场景,中文的“龙”和英文的“dragon”在知识库里可能不是同一个实体,跨语言链接又是一堆事。

从行业趋势看,现在不少方案开始结合大语言模型做消歧,效果有提升,但成本也上去了。而且大模型有时候会“幻觉”,硬生生把一个实体链错。所以很多系统还是传统方法加模型兜底,稳一点。

你平时有没有被搜错东西的经历?或者在做数据标注时,被“苹果”这种词折磨过?欢迎结合具体场景继续探讨。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:实体链接与消歧:你搜的“苹果”为什么总不是水果?
文章链接:https://m.ttrenwu.com/geo/4220.html