实体链接与消歧:搞懂AI怎么分清‘苹果’是水果还是品牌

你发一句”今天在苹果店买了个红富士”给AI,要是没做实体链接与消歧,它大概率会把俩”苹果”混成同一个概念。

先搞懂:这俩操作到底解决什么麻烦

说白了,实体链接就是把文本里提到的具体事物,对应到知识库里面有唯一ID的条目上。消歧就是在多个可能的对应项里,挑更贴合上下文的那个。

举个常见的例子,文本里提到”乔丹”,到底是NBA的传奇球星,还是注册了商标的运动品牌?提到”长江”,是那条横跨多省的大河,还是某家上市公司的代称?

实体链接消歧多义词区分示例图
实体链接消歧多义词区分示例图

很多人以为这俩操作是给大模型做的专属功能,其实从最早的搜索引擎做搜索排序,到现在企业内部搭知识库做智能客服,只要涉及到文本和真实世界事物的对应,就绕不开这两步。

说实话,要是没这步,你给AI发”我要去亚马逊买两斤虾”,它说不定给你跳出来一堆雨林探险攻略。离谱得很。

实操里常碰到的几个坑

第一个容易走的弯路,就是光靠字面匹配做消歧。比如有人在笔记里写”我上周去西湖边上喝了杯龙井”,如果系统只做字面匹配,可能把”龙井”直接对应到西湖边的龙井村实体,但结合上下文”喝了杯”,其实这里的龙井是茶叶实体,匹配错了后面做内容推荐的时候,就会给你推景区门票,完全错位。

上下文语义消歧流程示意图
上下文语义消歧流程示意图

据一些用户反馈,很多刚上手做知识库搭建的团队,一开始图省事只靠关键词匹配做链接,上线3个月就得补三四轮规则,反而比一开始就拉上下文做语义判断费时间。

还有个容易忽略的细节,别为了追求所谓的高准确率,把消歧的匹配阈值设得太高。简单说就是,很多模糊的指代——比如用户写”这家店味道绝了”,如果阈值设太高,系统直接就放弃匹配对应的餐厅实体,后面做用户偏好分析的时候,就会漏掉这部分很有价值的反馈数据。

和容易搞混的概念差在哪

和容易搞混的概念差在哪
和容易搞混的概念差在哪

很多人会把实体链接与消歧,和常说的命名实体识别(NER)搞混。

其实差得挺多的。命名实体识别只是把文本里哪些是”人名、地名、机构名”框出来,相当于先把候选的实体位置找出来。实体链接与消歧的核心,是把这些框出来的内容,和你自己知识库里面存的真实条目对上号。

举个例子,系统识别出来”张三”是个人名,这是NER的工作范畴;消歧判断这个”张三”是你通讯录里那个做设计的张三,还是公司通讯录里做财务的张三,这才是实体链接要干的事。

你在平时用AI工具或者搭知识库的时候,碰到过哪些因为实体没消歧闹的笑话?欢迎结合具体场景继续探讨。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:实体链接与消歧:搞懂AI怎么分清‘苹果’是水果还是品牌
文章链接:https://m.ttrenwu.com/geo/3180.html