当前位置: 代码网 > 服务器>网络>https > 论文浅尝 | SimKGC:基于预训练语言模型的简单对比知识图谱补全

论文浅尝 | SimKGC:基于预训练语言模型的简单对比知识图谱补全

2024年08月04日 https 我要评论
笔记整理:李雅新,天津大学硕士,研究方向为知识图谱补全链接:https://dl.acm.org/doi/10.1145/3539597.3570483动机知识图谱补全(KGC) 旨在对已知事实进行推理并推断缺失的链接。基于文本的方法从自然语言描述中学习实体表示,并且具有归纳KGC的潜力。然而,基于文本的方法的性能在很大程度上落后于基于图嵌入的方法,如TransE和RotatE。本文认为基于文本...

2589935c44dbcd642c37971e517d4754.png

动机

知识图谱补全 (kgc) 旨在对已知事实进行推理并推断缺失的链接。基于文本的方法从自然语言描述中学习实体表示,并且具有归纳kgc的潜力。然而,基于文本的方法的性能在很大程度上落后于基于图嵌入的方法,如transe和rotate。本文认为基于文本的方法的关键问题是进行有效的对比学习。为了提高学习效率,本文引入了三种类型的负采样: 批批内负采样、批前负采样和作为困难负样本的简单形式的自我负采样。结合infonce损失,本文提出的模型simkgc在多个基准数据集上的性能大大优于基于嵌入的方法。实验结果显示,在平均倒数秩(mrr)方面,本文的模型在wn18rr上比之前的sota模型提高了19%。

亮点

simkgc的亮点主要包括:

(1)受对比学习的启发,引入三种类型的负采样来提升基于文本的kgc方法:批内负采样、批前负采样和自我负采样;

(2) 如果两个实体在知识图谱中通过一条短路径连接,两个实体更有可能相互关联。但是基于文本的kgc方法严重依赖语义匹配,而在一定程度上忽略了这种拓扑偏差,因此本文提出一种简单的重排策略,来缓解

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com