论文浅尝 | SimKGC:基于预训练语言模型的简单对比知识图谱补全
笔记整理:李雅新,天津大学硕士,研究方向为知识图谱补全链接:https://dl.acm.org/doi/10.1145/3539597.3570483动机知识图谱补全(KGC) 旨在对已知事实进行推理并推断缺失的链接。基于文本的方法从自然语言描述中学习实体表示,并且具有归纳KGC的潜力。然而,基于文本的方法的性能在很大程度上落后于基于图嵌入的方法,如TransE和RotatE。本文认为基于文本...

动机
知识图谱补全 (kgc) 旨在对已知事实进行推理并推断缺失的链接。基于文本的方法从自然语言描述中学习实体表示,并且具有归纳kgc的潜力。然而,基于文本的方法的性能在很大程度上落后于基于图嵌入的方法,如transe和rotate。本文认为基于文本的方法的关键问题是进行有效的对比学习。为了提高学习效率,本文引入了三种类型的负采样: 批批内负采样、批前负采样和作为困难负样本的简单形式的自我负采样。结合infonce损失,本文提出的模型simkgc在多个基准数据集上的性能大大优于基于嵌入的方法。实验结果显示,在平均倒数秩(mrr)方面,本文的模型在wn18rr上比之前的sota模型提高了19%。
亮点
simkgc的亮点主要包括:
(1)受对比学习的启发,引入三种类型的负采样来提升基于文本的kgc方法:批内负采样、批前负采样和自我负采样;
(2) 如果两个实体在知识图谱中通过一条短路径连接,两个实体更有可能相互关联。但是基于文本的kgc方法严重依赖语义匹配,而在一定程度上忽略了这种拓扑偏差,因此本文提出一种简单的重排策略,来缓解
相关文章:
-
李总对⼩芳的表现⾮常满意,他感叹道:“⼩芳,你真的是⼀个了不起的员⼯,你的才华和能⼒已经超越了你的出身,我相信你的未来⼀定会更加辉煌。她⽤⾃⼰的实际⾏动,证明了⾃⼰的价值和才华,也…
-
在这个快节奏的社会中,写文章已经是我们日常工作中不可缺少的一部分,从各类报告总结到内容运营等。但是面对繁琐的写作任务和迫在眉睫的截止日期,我们经常感到心力交瘁。好在随着科技的不断进…
-
-
原创 KGGPT 知识图谱科技 2024-03-09 10:37Source: https://blog.griddynamics.com/retrieval-augmented-…
-
-
版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。
发表评论