Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction翻译笔记（学习层次感知的知识图嵌入以进行链接预测）

论文标题：学习层次感知的知识图嵌入以进行链接预测

论文链接：https://arxiv.org/abs/1911.09419
arxiv:1911.09419v3 [cs.lg] 6 apr 2022

摘要

知识图谱嵌入，旨在将实体和关系表示为低维度的向量（或矩阵、张量等），已被证明是预测知识图中缺失链接的强大技术。现有的知识图谱嵌入模型主要关注建模关系模式，如对称性/反对称性、反转和组合。然而，许多现有方法无法建模语义层次结构，而这些层次结构在实际应用中很常见。 为了解决这个挑战，我们提出了一种新颖的知识图谱嵌入模型——即，层次感知知识图谱嵌入（hake）——它将实体映射到极坐标系统中。hake的灵感来源于在极坐标系统中的同心圆可以自然地反映层次结构。具体来说，径向坐标旨在模拟不同层次的实体，而半径较小的实体被期望处于更高层次；角度坐标旨在区分处于同一层次的实体，这些实体预计具有大致相同的半径但不同的角度。实验表明，hake能够有效地在知识图谱中建立语义层次结构，并在链接预测任务的基准数据集上显著优于现有的最先进方法。

1 介绍

知识图谱通常是事实性三元组的集合 - (头部实体，关系，尾部实体)，以结构化方式表示人类知识。在过去的几年里，我们见证了知识图谱在许多领域的伟大成就，如自然语言处理（zhang等，2019），问答系统（huang等，2019）和推荐系统（wang等，2018）。尽管常用的知识图谱包含数十亿的三元组，但它们仍然受到不完整性问题的困扰，即缺失很多有效的三元组，因为手动找到所有有效的三元组是不现实的。因此，知识图谱补全（也称为知识图谱中的链接预测）最近引起了广泛关注。链接预测旨在根据已知的链接自动预测实体之间的缺失链接。一个具有挑战性的任务是不仅需要预测两个实体之间是否存在关系，还需要确定具体是什么关系。

受词向量（mikolov 等人，2013）能很好地捕捉词语语义的启发，研究人员转向知识图谱的分布式表示（又称知识图谱嵌入）来解决链接预测问题。知识图谱嵌入式方法将实体和关系视为低维度的向量（或矩阵、张量），这些向量可以被有效地存储和计算。此外，就像在词嵌入中一样，知识图谱嵌入式方法可以保留实体和关系的语义和内在结构。因此，除了链接预测任务外，知识图谱嵌入还可以用于各种下游任务，如三元组分类（林等人，2015年），关系推断（郭、孙和胡，2019年）和搜索个性化（阮等人，2019年）。

现有知识图谱嵌入模型的成功在很大程度上依赖于它们对关系连接模式的建模能力，如对称性、反对称性、反转和组合（sun等，2019）。例如，transe（bordes等，2013）将关系表示为翻译，可以模拟反转和组合模式。distmult（杨等人，2015年）可以模型化头实体、关系和尾实体之间的三重交互，从而模拟对称模式。rotate（孙等人，2019年）将实体表示为复数空间中的点，将关系表示为旋转，可以模拟包括对称性/反对称性、反转和组合在内的关系模式。然而，许多现有的模型无法模拟知识图谱中的语义层次结构。

语义层次是知识图谱中普遍存在的属性。例如，wordnet（miller 1995）包含了一个三元组[arbor/cassia/palm，hypernym，tree]，在这个层次结构中，“tree”比“arbor/cassia/palm”处于更高的层级。freebase（bollacker等人2008年提出）包含了一个三元组[英格兰，/location/location/contains，ponte-frac t兰开斯特]，在这个层次结构中，“ponte-fract兰开斯特”比“英格兰”处于更低的层级。尽管已经有一些工作考虑到了层次结构（xie, liu, and sun 2016；zhang et al. 2018），但它们通常需要额外的数据或过程来获取层次信息。因此，找到一种能够自动且有效地建模语义层次的方法仍然具有挑战性。

在本文中，我们提出了一种新颖的知识图嵌入模型，即 “意识到层次结构的知识图嵌入（hake）”。为了建立语义层次模型，hake 将实体分为两类：(a) 不同层次的实体；(b) 同一层次的实体。受具有层次属性的实体可被视为一棵树这一事实的启发，我们可以使用节点（实体）的深度来模拟层次结构的不同层次。因此，我们使用模量信息来为类别（a）中的实体建模，因为模量的大小可以反映深度。在上述设置下，类别（b）中的实体将具有大致相同的模量，很难区分。受同一圆上的点可能具有不同相位的启发，我们使用相位信息来为类别（b）中的实体建模。结合模量和相位信息，hake 将实体映射到极坐标系中，其中径向坐标对应模量信息，角坐标对应相位信息。实验表明，我们提出的 hake 模型不仅能清晰地区分实体的语义层次，而且在基准数据集上的表现明显优于几种最先进的方法。

符号 在本文中，我们使用小写字母 h、r 和 t 分别表示头部实体、关系和尾部实体。三元组（h、r、t）表示知识图谱中的事实。相应的黑体小写字母 h、r 和 t 表示头部实体、关系和尾部实体的嵌入（向量）。向量 h 的第 i 个条目表示为 [h]_i。让 k 表示嵌入维度。

让 ◦ : $\mathbb{r}$ⁿ × $\mathbb{r}$ⁿ → $\mathbb{r}$ⁿ 表示两个向量之间的哈达玛乘积，即

和 ∥ · ∥₁, ∥ · ∥₂ 分别表示 ℓ₁ 和 ℓ₂ 规范。

2 相关工作

在本节中，我们将从模型类别和知识图谱中层次结构的建模方法这两个方面来介绍相关工作以及它们与我们的工作之间的主要区别。

模型类别

粗略地说，我们可以把知识图谱嵌入模型分为三类–翻译距离模型、双线性模型和基于神经网络的模型。表 1 列出了几种流行的模型。

翻译距离模型将关系描述为从源实体到目标实体的翻译。transe（bordes 等人，2013 年）假设实体和关系满足 h + r ≈ t，其中 h、r、t∈$\mathbb{r}$ⁿ，并将相应的得分函数定义为 f_r(h, t) =-∥h+r-t∥_1/2。然而，transe 在 1-n、n-1 和 n-n 关系上表现不佳（wang 等人，2014 年）。transh（wang 等人，2014 年）克服了多对多关系的问题，允许实体在不同关系下有不同的表示。

得分函数定义为 f_r(h, t) = -∥h_⊥+r-t_⊥∥₂，其中 h_⊥ 和 t_⊥ 是实体在特定关系超平面上的投影。manifolde （xiao、huang 和 zhu，2016 年）通过将每个有效三元组的假设 h + r ≈ t 放宽为 ∥h + r - t∥²₂ ≈ ${\theta }_r^2$ 来处理多对多问题。这样，候选实体可以位于流形上，而不是精确点上。相应的得分函数定义为 f_r(h, t) = -(∥h+r-t∥²₂-${\theta }_r^2$)² 。最近，为了更好地模拟对称和非对称关系，rotate（sun 等人，2019 年）将每种关系定义为在复向量空间中从源实体到目标实体的旋转。得分函数定义为 f_r(h, t) = -∥h ◦ r - t∥₁，其中 h、r、t ∈ $\mathbb{c}$^k 且 |[r]_i| = 1。

双线性模型是基于乘积的评分函数，以匹配实体和关系在其向量空间表示中所体现的潜在语义。rescal （nickel、tresp 和 kriegel，2011 年）将每种关系表示为一个全秩矩阵，并将得分函数定义为 f_r(h, t) = h^⊤m_rt，这也可以看作是一个双线性函数。例如，distmult（yang 等，2015 年）假设 m_r 是对角矩阵，analogy（liu、wu 和 yang，2017 年）假设 m_r是正态矩阵。然而，这些简化模型通常表现力较差，对一般知识图谱来说不够强大。不同的是，complex（trouillon 等人，2016 年）通过引入复值嵌入对 distmult 进行了扩展，以更好地模拟非对称关系和逆关系。hole（nickel、rosasco 和 poggio，2016 年）通过使用循环相关操作，将 rescal 的表现力与 distmult 的高效性和简洁性相结合。

基于神经网络的模型近年来受到更多关注。例如，mlp（dong 等人，2014 年）和 ntn（socher 等人，2013 年）使用全连接神经网络来确定给定三元组的分数。conve (dettmers 等人，2018 年) 和 convkb (nguyen 等人，2018 年) 采用卷积神经网络来定义分数函数。最近还引入了图卷积网络，因为知识图谱显然具有图结构（schlichtkrull 等人，2018 年）。

我们提出的模型 hake 属于平移距离模型。更具体地说，hake 与 rotate（sun 等人，2019 年）有相似之处，作者称他们同时使用了模量和相位信息。然而，rotate 和 hake 之间存在两大差异。具体差异如下。
(a) 目标不同。rotate 的目标是建立关系模式模型，包括对称/不对称、倒置和组合。hake 的目的是建立语义层次模型，同时它也可以建立上述所有关系模式的模型。
(b) 使用模量信息的方式不同。rotate 将关系建模为复数空间中的旋转，这就鼓励两个关联实体具有相同的模量，无论其关系是什么。rotate 中不同的模量来自于训练的不准确性。相反，hake 对模量信息进行了明确建模，在区分层次结构中不同层次的实体方面明显优于 rotate。

层次结构建模的方法

另一个相关问题是如何为知识图谱中的层次结构建模。最近的一些研究以不同的方式考虑了这个问题。li 等人（2016）将实体和类别共同嵌入语义空间，并为概念分类和无数据分层分类任务设计了模型。zhang 等人（2018）使用聚类算法对层次关系结构进行建模。xie、liu 和 sun（2016）提出了将类型信息嵌入知识图嵌入的 tkrl。也就是说，tkrl 需要实体的额外层次类型信息。

与之前的工作不同，我们的工作
(a) 考虑了链接预测任务，这是知识图谱嵌入中更常见的任务；
(b) 无需使用聚类算法，即可自动学习知识图谱中的语义层次；
© 除知识图谱中的三元组外，不需要任何其他信息。

3 拟议的 hake

本节将介绍我们提出的 hake 模型。我们首先介绍两类实体，它们反映了知识图谱中的语义层次。随后，我们将介绍我们提出的 hake 模型，它可以为这两类实体建模。

两类实体

为了对知识图谱的语义层次进行建模，知识图谱嵌入模型必须能够区分以下两类实体。
(a) 层次结构中不同层次的实体。例如，"哺乳动物 "和 “狗”、"奔跑 "和 “移动”。
(b) 处于同一层次的实体。例如，"玫瑰 "和 “牡丹”、"卡车 "和 “货车”。

意识到层次结构的知识图谱嵌入

为了对上述两个类别进行建模，我们提出了一个层次感知知识图嵌入模型–hake。hake 由两部分组成–模数部分和相位部分–分别用于对两个不同类别的实体建模。图 1 给出了拟议模型的示意图。

为了区分不同部分的嵌入，我们用 e_m（e 可以是 h 或 t）和 r_m表示模量部分的实体嵌入和关系嵌入，用 e_p（e 可以是 h 或 t）和 r_p 表示阶段部分的实体嵌入和关系嵌入。

模数部分旨在为层次结构中不同层次的实体建模。受具有层次属性的实体可被视为树这一事实的启发，我们可以使用节点（实体）的深度来模拟层次结构的不同层次。因此，我们使用模量信息反映树的深度。具体来说，我们将 h_m 和 t_m 的每个条目（即 [h_m]_i 和 [t_m]_i）视为一个模量，将 r_m 的每个条目（即 [r]_i）视为两个模量之间的缩放变换。我们可以将模量部分表述如下：

相应的距离函数为:
请注意，我们允许实体嵌入项为负数，但限制关系嵌入项为正数。这是因为实体嵌入的符号可以帮助我们预测两个实体之间是否存在关系。例如，如果 h 和 t₁ 之间存在关系 r，而 h 和 t₂ 之间没有关系，那么（h, r, t₁）就是正样本，而（h, r, t₂）就是负样本。我们的目标是最小化 d_r(h_m,t₁,m)，最大化 d_r(h_m,t₂,m)，从而明确区分正样本和负样本。对于正样本，由于 [r_m]_i > 0，[h]_i和[t₁]_i往往具有相同的符号。对于负样本，如果我们随机初始化[h_m]_i和[t₂,m]_i的符号，它们的符号可能会不同。这样，d_r(h_m, t₂,m) 就更有可能大于 d_r(h_m,t₁,m)，而这正是我们所希望的。我们将在补充材料的第 4 部分通过实验验证这一论点。

此外，我们可以预期层次结构中较高层次的实体的模数会更小，因为这些实体更接近树的根。

如果我们只使用模数部分来嵌入知识图谱，那么（b）类中的实体将具有相同的模数。此外，假设 r 是反映相同语义层次的关系，那么 [r]_i 将趋向于一个，因为 h ◦ r ◦ r = h 对所有 h 都成立。因此，类别（b）中实体的嵌入趋向于相同，这就很难区分这些实体。因此，需要一个新模块来为类别（b）中的实体建模。

相位部分旨在为语义层次结构中同一层次的实体建模。受同一圆上的点（即具有相同模数）可以具有不同相位这一事实的启发，我们使用相位信息来区分（b）类中的实体。具体来说，我们将 h_p 和 t_p 的每个条目，即 [h_p]_i 和 [t_p]_i 视为一个相位，将 r_p 的每个条目，即 [r_p]_i 视为一个相位变换。我们可以将相位部分表述如下：

相应的距离函数为

其中，sin(·) 是对输入的每个元素应用正弦函数的操作。请注意，我们使用正弦函数来测量相位之间的距离，而不是使用 ∥h_p +r_p -t_p∥₁，因为相位具有周期性特征。这个距离函数与 protate 的公式相同（sun 等人，2019 年）。

结合模数部分和相位部分，hake 将实体映射到极坐标系中，其中径坐标和角坐标分别对应于模数部分和相位部分。也就是说，hake 将实体 h 映射到 [h_m; h_p]，其中 h_m 和 h_p 分别由模量部分和相位部分生成，[ · ; · ]表示两个向量的连接。显然，（[h_m]_i，[h_p]_i）是极坐标系中的一个二维点。具体地说，我们将 hake 表述如下：

hake 的距离函数为

其中，λ∈$\mathbb{r}$ 是模型学习到的参数。相应的得分函数为

当两个实体具有相同的模量时，模量部分 d_r,m（h_m，t_m）= 0。通过结合模数部分和相位部分，hake 可以对类别（a）和类别（b）中的实体建模。因此，hake 可以对知识图谱的语义层次进行建模。

在对模型进行评估时，我们发现在 d_r,m(h,t)中加入混合偏置有助于提高 hake 的性能。修改后的 d_r,m(h, t)的计算公式为

其中，-r_m < r′ _m < 1 是与 r_m 具有相同维度的向量。事实上，上述距离函数等价于

其中 / 表示元素顺除运算。如果我们让 r_m ← (r_m + r′_m)/(1-r′_m)，那么在比较不同实体对的距离时，修正后的距离函数与原始函数完全相同。为方便起见，我们仍用 d_r,m(h,t)=∥h_m ◦ r_m - t_m∥₂ 表示模量部分。我们将在实验部分对偏差进行烧蚀研究。

损耗函数

为了训练模型，我们使用负采样损失函数进行自我对抗训练（sun 等人，2019 年）：

其中，γ 是固定的边际值，σ 是 sigmoid 函数，（h′_i, r, t′_i）是第 i 个负三重。此外

是负三元组的采样概率分布，其中 α 是采样温度。

4 实验与分析

本节内容安排如下。首先，我们将详细介绍实验设置。然后，我们在三个基准数据集上展示了我们提出的模型的有效性。最后，我们分析了 hake 生成的嵌入，并展示了消融研究的结果。hake 的代码可在 github 上获取：https://github.com/miralab-ustc/kge-hake。

实验设置

我们在三个常用的知识图谱数据集–wn18rr（toutanova 和 chen，2015 年）、fb15k-237（dettmers 等，2018 年）和 yago3-10 （mahdisoltani、biega 和 suchanek，2013 年）上评估了我们提出的模型。表 2 总结了这些数据集的详细信息。

wn18rr、fb15k-237 和 yago3-10 分别是 wn18（bordes 等人，2013 年）、fb15k（bordes 等人，2013 年）和 yago3（mahdisoltani、biega 和 suchanek，2013 年）的子集。正如 toutanova 和 chen（2015 年）以及 dettmers 等人（2018 年）所指出的，wn18 和 fb15k 存在测试集泄漏问题。即使使用基于规则的简单模型，也能获得最先进的结果。因此，我们使用 wn18rr 和 fb15k-237 作为基准数据集。
评估协议 按照 bordes 等人（2013 年）的方法，对于测试数据集中的每个三元组（h, r, t），我们用每个候选实体替换头部实体 h 或尾部实体 t，以创建一组候选三元组。然后，我们按照得分从高到低的顺序对候选三元组进行排序。值得注意的是，我们使用的是 bordes 等人（2013 年）中的 "过滤 "设置，即在排序时不考虑任何现有的有效三元组。我们选择平均互易排名（mrr）和点击率（h@n）作为评估指标。mrr 或 h@n 越高，表示性能越好。
训练协议 我们使用 adam（kingma 和 ba，2015 年）作为优化器，并根据验证数据集上的表现使用网格搜索来找到最佳超参数。为了使模型更容易训练，我们在距离函数中增加了一个系数，即 d_r(h, t) = λ₁d_r,m(h_m, t_m) + λ₂d_r,p(h_p, t_p)，其中 λ₁, λ₂∈ $\mathbb{r}$。
基线模型 有人可能会说，相位部分没有必要，因为我们可以通过允许 [r]_i为负数来区分 (b) 类别中的实体。我们提出了一个模型mode，它只使用模数部分，但允许 [r]_i < 0。

主要结果

在这一部分，我们展示了我们提出的模型–hake 和 mode–与现有先进方法的性能对比，包括 transe（bordes 等，2013 年）、distmult（yang 等，2015 年）、complex（trouillon 等，2016 年）、conve（dettmers 等，2018 年）和 rotate（sun 等，2019 年）。

表 3 显示了 hake、mode 和之前几个模型的性能。我们的基线模型 mode 与 transe 具有相似的简单性，但在所有数据集上的表现都明显优于 transe。令人惊讶的是，mode 甚至在所有数据集上都优于 distmult、conve 和 complex 等更复杂的模型，并在 fb15k-237 和 yago3-10 数据集上优于最先进的模型–rotate，这证明了模量信息的巨大威力。表 3 还显示，在所有数据集上，我们的 hake 都明显优于现有的最先进方法。

wn18rr 数据集包含两类关系：对称关系，如 similar to，用于连接（b）类中的实体；其他关系，如 hypernym 和 member meronym，用于连接（a）类中的实体。实际上，rotate 可以很好地对类别（b）中的实体进行建模（sun 等人，2019 年）。然而，与 rotate 相比，hake 的 mrr 高出 0.021，h@1 高出 2.4%，h@3 高出 2.4%。与 rotate 相比，hake 的性能更优越，这意味着我们提出的模型能更好地模拟层次结构中的不同层次。

与 wn18rr 和 yago3-10 相比，fb15k-237 数据集的关系类型更复杂，实体数量更少。虽然 fb15k-237 中存在反映层次结构的关系，但也有很多关系，如"/location/location/time zones “和”/film/film/prequel"，这些关系并不导致层次结构。由于该数据集的特点，我们提出的模型在性能上不如 wn18rr 和 yago3-10 数据集，这也是为什么我们提出的模型不如以前的先进模型的原因。不过，结果也表明，只要知识图谱中存在语义层次，我们的模型就能获得更好的性能。由于几乎所有知识图谱都有这样的层次结构，因此我们的模型具有广泛的适用性。

yago3-10 数据集包含具有高特定关系 indegree 的实体（dettmers 等人，2018 年）。例如，链接预测任务（?, hasgender, male）有超过 1000 个真实答案，这使得任务具有挑战性。幸运的是，我们可以将 "男性 "视为层次结构中较高层次的实体，而将预测的头部实体视为较低层次的实体。因此，yago3-10 是一个明显具有语义层次属性的数据集，我们可以预期我们提出的模型能够在这个数据集上很好地工作。表 3 验证了我们的预期。mode 和 hake 都明显优于之前的先进水平。值得注意的是，hake 的 mrr 比 rotate 高 0.050，h@1 高 6.0%，h@3 高 4.6%。

关系嵌入分析

在这一部分，我们首先证明 hake 可以通过分析关系嵌入的模量来有效地建立层次结构模型。然后，我们展示了 hake 的相位部分可以帮助我们通过分析关系嵌入的相位来区分处于同一层次的实体。

在图 2 中，我们绘制了六种关系的模量分布直方图。这些关系来自 wn18rr、fb15k-237 和 yago3-10。具体来说，图 2a、2c、2e 和 2f 中的关系取自 wn18rr。图 2d 中的关系取自 fb15k-237。图 2b 中的关系取自 yago3-10。我们将图 2 中的关系分为三组。
(a) 图 2c 和 2d 中的关系连接语义层次结构中同一层次的实体；
(b) 图 2a 和图 2b 中的关系表示尾部实体的层次高于头部实体的层次；
© 图 2e 和 2f 中的关系表示尾部实体的层次低于头部实体的层次。

如模型描述部分所述，我们预计层次结构中较高层次的实体模量较小。实验验证了我们的预期。对于 mode 和 hake，（a）组中大多数关系项的值都在 1 左右，这导致头部实体和尾部实体的模量大致相同。在（b）组中，大多数关系项的值小于 1，这导致头部实体的模量小于尾部实体。c 组的情况与 b 组相反。这些结果表明，我们的模型可以捕捉知识图谱中的语义层次。此外，与 mode 相比，hake 的关系嵌入模量的方差更小，这说明 hake 可以更清晰地建立层次模型。

如上所述，组（a）中的关系反映了相同的语义层次，因此其模量应约为 1。显然，仅使用模数部分很难区分这些关系所连接的实体。在图 3 中，我们绘制了组（a）中关系的相位图。结果表明，处于同一层次的实体可以通过相位来区分，因为许多相位都有π值。

实体嵌入分析

在本部分中，为了进一步证明 hake 能够捕捉实体间的语义层次，我们将几个实体对的嵌入结果可视化。

我们绘制了两种模型的实体嵌入图：之前最先进的 rotate 模型和我们提出的 hake 模型。rotate 将每个实体视为一组复数。由于复数可以看作是二维平面上的一个点，因此我们可以在二维平面上绘制实体嵌入图。至于 hake，我们已经提到过它能将实体映射到极坐标系中。因此，我们也可以根据极坐标在二维平面上绘制 hake 生成的实体嵌入图。为了进行公平比较，我们设定 k = 500。也就是说，每幅图包含 500 个点，而实体嵌入的实际维度为 1000。请注意，为了更好地显示实体嵌入之间的差异，我们使用了对数刻度。由于所有模数的值都小于 1，因此在进行对数运算后，图中较大的半径实际上代表较小的模数。

图 4 显示了 wn18rr 数据集中三个三元组的可视化结果。与尾部实体相比，图 4a、4b 和 4c 中的头部实体在语义层次结构中分别处于较低层次、相似层次和较高层次。我们可以看到，在 hake 的可视化结果中存在明显的同心圆，这表明 hake 可以有效地建立语义层次模型。然而，在 rotate 中，三个子图式中的实体嵌入是混合的，很难区分层次结构中不同层次的实体。

消融研究

在这一部分，我们对 hake 的模量部分和相位部分以及混合偏差项进行了消减研究。表 4 显示了三个基准数据集的结果。

我们可以看到，偏置几乎可以改善 hake 在所有指标上的性能。具体来说，在 yago3-10 数据集上，偏置提高了 4.7% 的 h@1 分数，这说明了偏置的有效性。

我们还观察到，hake 的模数部分在所有数据集上都表现不佳，这是因为它无法区分处于同一层次结构的实体。当只使用相位部分时，hake 退化为 protate 模型（sun 等人，2019 年）。它的表现要好于模数部分，因为它能很好地模拟同一层次结构中的实体。不过，我们的 hake 模型在所有数据集上的表现都明显优于模数部分和相位部分，这说明了结合这两部分对知识图谱中的语义层次进行建模的重要性。

与其他相关工作的比较

我们将我们的模型与 tkrl 模型（xie、liu 和 sun，2016 年）进行了比较，后者也旨在对层次结构进行建模。关于 hake 与 tkrl 的区别，请参阅相关工作部分。表 5 显示了 hake 和 tkrl 在 fb15k 数据集上的 h@10 分数。由 whe+stc 版本获得的 tkrl 最佳性能为 0.734，而我们的 hake 模型的 h@10 分数为 0.884。结果表明，虽然 hake 不需要额外的信息，但其性能明显优于 tkrl。

5 结论

为了对知识图谱中的语义层级进行建模，我们提出了一种新颖的层级感知知识图谱嵌入模型–hake，它能将实体映射到极坐标系中。实验表明，在链接预测任务的基准数据集上，我们提出的 hake 明显优于现有的几种一流方法。进一步的研究表明，hake 能够对语义层次结构中不同层次和相同层次的实体进行建模。

附录

在本附录中，我们将对关系模式、负实体嵌入和实体嵌入模数进行分析。然后，我们将给出语义层次结构的更多可视化结果。

a. 关系模式分析

在本节中，我们将证明我们的 hake 模型可以推断出（反）对称、反转和组合关系模式。详细命题及其证明如下。
命题 1。 hake 可以推断出（反）对称模式。证明。如果 r(x, y) 和 r(y, x) 成立，我们有

则有

否则，若 r(x, y) 和 ¬r(y, x) 成立，则有

命题 2.。hake 可以推断出反转模式。证明。如果 r1(x, y) 和 r2(y, x) 成立，我们有

则有

命题 3.。hake 可以推断组合模式。证明。如果 r1（x，z）、r2（x，y）和 r3（y，z）成立，我们有

则有

b. 负实体嵌入分析

我们将链接实体对表示为由某种关系链接的实体对集合，将未链接实体对表示为在训练/验证/测试数据集中不包含三重实体对的实体对集合。值得注意的是，由于知识图谱不完整，未链接的实体对可能包含有效的三元组。对于有链接和无链接的实体对，我们都会计算两个实体的嵌入条目，这些嵌入条目具有不同的符号。图 5 显示了结果。

对于链接实体对，正如我们所预期的那样，大多数条目具有相同的符号。由于存在大量非链接实体对，我们随机抽取了其中一部分进行绘制。在非链接实体对中，约有一半的条目符号不同，这与随机初始化的结果一致。结果支持了我们的假设，即实体嵌入的负号可以帮助我们的模型区分正负三元组。

c. 实体嵌入模量分析

图 6 显示了实体嵌入的模数。我们可以看到，rotate 鼓励嵌入模数相同，因为关系被建模为复数空间中的旋转。与 rotate 相比，hake 中实体嵌入的模数更加分散，因此更有可能建立语义层次模型。

d. 语义层次结构的更多结果

在这一部分，我们将对 wn18rr 中的更多三元组进行可视化。我们使用与正文中相同的方法在二维平面上绘制头部和尾部实体。可视化结果见图 7，其中的小标题展示了相应的三元组。从图中可以看出，与 rotate 相比，我们的 hake 模型可以更好地模拟不同层次和同一层次中的实体。