到底什么是实体链接与消歧,我们在哪用到它
说白了,这项技术就是帮我们把文本里提到的模糊名词,对应到现实世界里确定的那个实体上。
比如你搜「苹果新品发布」,这里的「苹果」到底是吃的水果,还是美国科技公司?区分开这个就是消歧要干的活。确认之后把这个词对应到苹果公司的实体条目上,就是实体链接。
再比如你刷社交平台搜「张译新剧」,平台不会给你弹出一堆同名的普通用户账号,靠的就是准确的消歧能力。

做实体链接与消歧,最容易踩哪些坑
说实话,很多刚接触NLP项目的新手,很容易犯一个错:只靠名称匹配实体,完全忽略上下文语境的作用。
举个例子,文本里提到「李娜拿到了大满贯冠军」,叫李娜的公众人物不止一位,有网球运动员,也有跳水运动员,如果只按实体库的热度排序,大概率能蒙对,但要是文本说「李娜在跳台项目完成了难度动作」,还按热度排就错了。
据一些用户反馈,很多垂直领域的小型搜索工具,搜出来的结果经常驴头不对马嘴,多半就是消歧环节省了算力,没结合上下文判断。
我们通常做项目的时候,会给上下文的关联特征留足够的权重,不会只看实体名称的匹配度。

这项技术现在有什么新变化

有意思的是,早些年做实体链接与消歧,完全依赖提前整理好的结构化知识库,比如维基百科或者行业自定义的词库。
大模型流行之后,越来越多的方案改成了端到端生成,不需要提前构建固定知识库,灵活性高了很多。不过也带来新的问题,容易出现不存在的实体错配,也就是大家常说的幻觉问题。
不过话说回来,对于大多数民用场景,现在的技术已经够用了。如果是做医疗、法律这类垂直领域的应用,通常建议搭配领域专属的实体库辅助,准确率会提升不少。
您在实际使用搜索或者开发相关项目的时候,还遇到过哪些实体错配的情况?欢迎结合具体场景继续探讨。