实体链接与消歧,是搜索引擎和大语言模型能准确理解用户需求的核心环节,你每天搜内容、刷AI问答都在用到它,只是你没发现而已。
基础认知:它到底解决什么问题
歧义,无处不在。
当文本里出现一个指代性的词,AI得搞清楚说的具体是哪个东西,这就是实体链接与消歧要做的事。
举个例子,你在搜索框输入“小米新品发布会”,这里的“小米”是谷物还是科技公司?实体链接就是把文本里的“小米”,绑定到知识库中对应的实体条目,消歧就是排除掉谷物小米这个错误选项。
再生活化一点,朋友给你发消息“我刚买了个杜鹃,放阳台了”,你得反应过来这是花不是知名女演员,对吧?人类大脑一秒就能做完的判断,AI得靠实体链接与消歧才能做到。

实际应用里要避开这些坑
说实话,很多刚接触NLP开发的朋友很容易踩同一个误区。只用关键词匹配做消歧,完全忽略上下文。
比如规则写“只要出现乔布斯,苹果就绑定科技公司”,遇到原文“乔布斯早餐最爱吃蘸花生酱的苹果”,直接就错了。
据一些用户反馈,很多轻量化的垂直NLP应用,为了省算力这么做,出错率不低。
需要留意的是,部分实体本身就有多重身份,比如“郭晶晶”既是运动员也当过政协委员,消歧的时候不用硬绑定到单一实体,只要匹配语境对应对属性就可以。

别和普通语义识别搞混了

有意思的是,很多人会把这两个概念弄混。
普通语义识别,只是帮你判断这句话讲了什么主题,识别出哪里是名词哪里是动词。
但实体链接与消歧,是要精准定位到真实世界里那个具体的对象。简单说,语义识别知道“马云”是个人名,实体链接要告诉你这个马云是阿里巴巴的那个马云。
从实操角度看,现在大模型做检索增强生成的时候,实体链接与消歧是第一步,要是这步错了,后面生成的内容再通顺也没用。
您在使用AI产品的时候,还遇到过哪些因为实体消歧出错的乌龙?欢迎结合具体场景继续探讨。