聊聊AI搜索中的实体链接与消歧

实体链接与消歧是大模型搜索和知识图谱里解决”找对对象”问题的核心步骤。

先搞懂:实体链接与消歧到底用在哪儿

我们搜内容的时候,同一个词往往对应好几个不同的真实事物。 比如你搜”苹果”,得先搞清楚你要找的是酸甜的水果,还是做手机的科技公司。 实体链接就是把文本里出现的词汇,对应到知识图谱里那个准确的真实实体,消歧就是帮AI排除掉不对的候选选项。 有意思的是,我们人类聊天的时候自动就做了消歧,AI却得专门训练才能做好这件事。

NLP实体链接与消歧流程示例图
NLP实体链接与消歧流程示例图

实操里容易踩的常见小坑

很多刚接触知识图谱搭建的朋友,容易犯一个错:只给实体挂名称,不打领域属性标签。 举个例子,做金融领域的内部知识库,”东方”既可以是东方证券,也可以是东方航空,还能是不少中小公司的字号。 如果没有领域标签标注,消歧的时候大概率只会留名气最大的那个,把你需要的垂直领域实体给漏掉。 据一些用户反馈,不少垂直场景的搜索不准,多半都是消歧这一步没做细致。 需要留意的是,简称和别名的消歧难度远高于全名,搭建的时候要多预留标注空间。

垂直知识库实体消歧标签标注示例图
垂直知识库实体消歧标签标注示例图

和普通关键词匹配差在哪儿

和普通关键词匹配差在哪儿
和普通关键词匹配差在哪儿
很多人会把实体链接和普通的关键词搜索搞混,其实差得挺多。 普通关键词匹配只要页面里有这个词就会放出来,不管这个词指的是什么东西。 实体链接是找背后的具体对象,消歧会结合整个请求的上下文判断。 比如你搜”陈坤 walking 代言”,系统就能通过上下文锁定是演员陈坤,而不是其他同名的设计师或者学者。 说实话,现在大模型做生成的时候,之所以会乱混信息,很多时候就是实体链接这一步错了,把A的事迹安到了同名的B身上。

您在实际搜索或者搭建知识库的时候,还遇到过哪些实体混淆的情况?欢迎结合具体场景继续探讨。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:聊聊AI搜索中的实体链接与消歧
文章链接:https://m.ttrenwu.com/geo/651.html