快讯

知识图谱与实体识别:机器到底是怎么认出“苹果”是个手机的?

前两天跟一做电商的朋友吃饭,他吐槽说后台的推荐系统把一款“苹果手机壳”推给了搜“苹果价格”的果农。我听完乐了——你看,机器认字没问题,认“东西”却翻车了。这背后其实就是知识图谱与实体识别要解决的事儿。

别被这俩词吓到,说白了,一个是教机器认人认物,另一个是把这些人和物的关系画成一张网。

搜索引擎搜索苹果结果歧义消解实体识别示意图
搜索引擎搜索苹果结果歧义消解实体识别示意图

实体识别:从一堆字里揪出“谁是谁”

实体识别:从一堆字里揪出“谁是谁”
实体识别:从一堆字里揪出“谁是谁”

你给机器一句话:“张三在李四的店里买了台小米。”

人类一看就知道,张三、李四、小米是三个不同的东西。但机器看到的是一串字符。实体识别干的事,就是从这串字符里把人名、地名、机构名、商品名这些“有意义的最小单位”给框出来。

听起来简单?说实话,坑多着呢。

比如“小米”这词。它可以是粮食,可以是雷军那家公司,还可以是一个人的小名。机器光靠字面根本分不清。怎么办?靠上下文。“买了台小米”和“煮了一锅小米粥”,动词不一样,搭配的宾语量词也不一样。实体识别模型就得学会抓这些信号。

从实操角度看,现在主流的做法是拿预训练语言模型打底,再用少量标注数据做微调。效果好,但标注数据贵啊。很多团队卡在这一步——标注几千条容易,标到几万条就想哭了。

知识图谱:把认出来的“点”连成“网”

实体识别是第一步,它输出的是一个个孤立的点。张三、李四、小米、店铺,各站各的。

知识图谱要干的,是给这些点之间连上线。张三——就职于——小米;李四——经营——店铺;张三——购买——小米手机——发生于——李四的店铺。

连完之后,机器就“懂”了一些人类看来理所当然的事。比如你问它“李四的店里卖不卖小米手机”,它能在图谱里走一圈关系路径,给出答案。

知识图谱实体关系网络可视化界面示意图
知识图谱实体关系网络可视化界面示意图

有意思的是,知识图谱不只是用来做搜索。我见过一个做反欺诈的团队,他们把用户、设备、IP、银行卡都建成实体,关系连起来之后,发现某个设备关联了三十多个不同用户——这要光看单条数据根本发现不了。图谱一拉,异常团伙就浮出来了。

不过话说回来,知识图谱不是建完就完事了。它得维护。新实体不断冒出来,旧关系会变,实体还会合并或拆分。我见过一些项目,初期建得漂漂亮亮,半年后没人更新,图谱就成了“死图”。这个维护成本,选型时就得考虑进去。

几个容易踩的坑,提前留个心

几个容易踩的坑,提前留个心
几个容易踩的坑,提前留个心

第一个是实体歧义消解。同名不同人,同人不同名。比如“马云”和“马老师”,在特定语境下指同一个人。模型得学会判断。

第二个是跨语言实体对齐。中文的“苹果公司”和英文的“Apple Inc.”是不是同一个实体?通常需要额外做一步对齐,不是自动就完整的。

第三个是冷启动。新领域、新业务,没有标注数据,没有现成图谱。这时候可以先用通用模型跑一版,人工审一遍,再迭代。别想着一步到位。

据一些用户反馈,图谱项目的最大阻力往往不在算法,而在业务方能不能持续提供高质量的种子数据。这个可能因人而异,但值得提前对齐预期。

所以你看,知识图谱与实体识别这东西,说深了能写一本书,说浅了就是教机器认东西、连关系。您在实际项目里,有没有遇到过把“苹果”认成水果这种哭笑不得的情况?欢迎结合具体场景继续聊聊。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:知识图谱与实体识别:机器到底是怎么认出“苹果”是个手机的?
文章链接:https://m.ttrenwu.com/geo/4130.html