5.14.1 使用超声图像进行乳房肿块数据增强和分类的深度学习方法

使用超声成像进行乳房分类和检测被认为是计算机辅助诊断系统中的重要一步。传统的增强方法受到严格限制，除了传统的增强之外，我们还使用生成对抗网络（gan）进行数据增强的新方法。我们通过将传统增强与基于 gan 的增强相结合，实现了更高的准确度。

在两个数据集上进行评估时，使用增强方法和深度学习分类方法（尤其是迁移学习）可以实现整体增强。

1. 介绍

医学成像是诊断多种疾病和分析实验结果的重要工具。生物医学成像是整体癌症护理基础的一部分。数字乳腺x线摄影digital mammography（dm）是乳腺癌诊断中最常用和最实用的技术。dm 成像在致密乳房中存在一些弱点，其中肿瘤可能被周围组织隐藏（致密组织与肿瘤相比具有类似的衰减）。

在实践中，超声 (us) 成像是 dm 的最佳替代方法，由于其敏感性、安全性和多功能性，它被用作乳腺癌分类和检测的补充方法。然而，超声成像的弱点是它依赖于手工，更多地依赖于放射科医生。由于其难度和散斑噪声的出现，解释超声图像需要专业放射科医生。因此，计算机辅助诊断（cad）可以帮助放射科医生在超声上对乳腺癌进行分类和检测，减少超声成像手动依赖性的影响。

乳房超声图像质量极大地依赖于采集过程，并且各种超声系统之间存在很大的差异，影响算法实现的输出。输出还受到肿瘤或微钙化的大小、位置和外观的影响。

在数据不足的情况下训练深度模型通常会导致过度拟合，因为高容量的模型能够“记住”训练集。为了缓解这个问题，技术可以分为两大类：（1）正则化技术，旨在限制模型的容量（例如，dropout和参数范数惩罚）和（2）数据增强技术，旨在增加数据集的大小。

gan 是一类无监督神经网络，最常用于图像生成。最常见的增强形式包括翻转、缩放、平移、旋转、模糊和锐化。这种转换的目标是获得包含与原始图像相同的语义信息的新图像。

虽然增强确实有助于神经网络更有效地学习和泛化，但在大多数情况下，增强技术仅限于图像上的微小变化，因为更多“重度”增强可能会损坏图像的语义内容。

研究背景和意义

尽管在使用不同类型的方式对癌症肿瘤进行分类和检测的过程中有很多科学研究，但由于缺乏公共基准数据集，乳腺超声成像的研究很少。我们利用数据增强生成对抗网络（dagan）来使我们的数据集（busi）和数据集（b）更大。超声扫描对人体是安全的，而dm和其他筛查技术可能无法达到与超声成像相同的安全标准。

论文贡献

新颖的增强技术，它克服了上述限制，并且能够使用 dagan 从头开始​​生成真实、高质量的图像来增强任何给定的数据集。

2. 相关工作

乳腺癌超声图像分类

cnn（卷积神经网络）

huynh 等人[15] 评估了利用预训练 cnn的转移特征对乳腺癌超声图像中的癌症进行分类的性能，并用包括人类设计特征在内的先前方法检验这种转移学习方法。

使用由 1125 个样本和 2392 个感兴趣区域 (roi) 组成的乳房超声图像数据集。每个 roi 都被注释为恶性或良性。使用预先训练的 cnn 从每个 roi 中提取特征，并用于训练支持向量机 (svm) 分类器来区分良性肿瘤和恶性肿瘤。

堆叠深度多项式网络（s-dpn）

jun shi等人[17]提出的深度多项式网络（dpn）[18]算法不仅在海量数据集上表现出更好的性能。在他们的研究中，提出了一种s-dpn算法来进一步增强初级dpn的表示性能，然后将s-dpn用于具有少量数据集的肿瘤​​超声图像分类的纹理特征学习任务。肿瘤分类的任务是在两个数据集上实现的，即前列腺超声图像弹性成像数据集和乳腺b型超声图像数据集。

基于shearlet的纹理特征提取

zhou等人[19]提高了美国计算机辅助诊断（cad）基于纹理特征检测乳腺肿瘤的分类精度。提出使用shearlet变换来实现纹理特征描述。

shearlet 变换产生高维数据的分散表示，在不同尺度上具有特别高的方向敏感性。因此，基于shearlet 的纹理特征描述符可以有力地解释乳腺肿瘤。

为了准确评估基于shearlet的特征的实现，还获得了基于curvelet、contourlet和小波的纹理特征描述符进行比较。然后将所有这些特征输入到两个不同的分类器：adaboost 和支持向量机 (svm)，以估计一致性。

提出了一种基于shearlet 变换的新纹理特征提取方法，用于描述超声图像中的乳腺肿瘤。对比实验结果表明，基于shearlet的纹理特征比curvelet、contourlet、小波和灰度共生矩阵（glcm）方法提取的其他特征更能有效地识别超声图像中的乳腺肿瘤。

数据增强

wang 等人 [20] 和 antoniou 等人 [13] 在低数据设置中使用自定义 gan 架构，以始终获得比传统增强分类器更好的结果，而 perez 等人 [21] 设计了一种称为 neural 的新颖管道增强，通过风格迁移技术，旨在生成不同风格的图像，在后续分类任务中与传统增强方案表现一样好。

neff [22] 提出了一种生成模型，该模型学习生成图像对及其各自的分割掩模，以协助 unet 分割模型，证明在更简单的数据集中，使用合成图像和真实图像混合训练的网络与网络保持竞争力使用通常的数据增强对严格真实的数据进行训练。

bentaieb 等人 [25] 和 shaban 等人 [26] 提出了基于 gan 的风格迁移方法来对组织病理学图像进行染色归一化。为了解决分割任务，这些架构和管道经过对抗性训练，可以从给定的医学图像数据集生成适当的分割掩模。

乳腺成像深度学习

医学影像中的深度学习通常以卷积网络为代表。 gan 是一类无监督神经网络，最常用于图像生成。

1. cnn 方法。该方法使用图像来训练 cnn 进行训练和测试 [33]、[34]。然而，将每张图像输入网络非常耗时 [35]。

2. 迁移学习方法。最近在生物医学研究中广泛使用的另一种方法是迁移学习技术[15]，[36]。该方法使用自然图像的预训练模型来克服医学成像研究中数据的缺乏。

3. 生成对抗网络。这种方法允许我们从数据集中生成新图像。gan 是一种强大的新图像合成方法。

dhungel 等人 [37] 使用深度学习进行了肿块分割； mordang等人[38]介绍了cnn在微钙化检测中的应用；最近，ahn 等人 [39] 建议在乳腺密度评估中使用 cnn。在乳腺超声成像中，huynh 等人[15]建议使用迁移学习方法进行乳腺超声图像分类。 yap等人[14]提出使用深度学习方法对乳腺超声肿瘤进行分类。

数据集

busi 数据集包括 25 至 75 岁女性的超声乳腺图像。患者人数为600名女性患者。它于 2018 年从开罗（埃及）baheya 女性癌症早期检测和治疗医院使用 logiq e9 超声系统和 logiq e9 agile 超声采集。数据分为三类：正常、良性和恶性。该数据集由来自不同女性的 780 张图像组成，平均图像大小为 500 x 500 像素。在780张肿瘤图像中，133张是没有癌性肿块的正常图像，437张是有癌肿块的图像，210张是有良性肿块的图像。

数据集 b从位于萨瓦德尔（西班牙）的 udiat 诊断中心收集。它有 163 张来自不同女性的图像。数据集的平均图像大小为 760 x 570 像素。数据集中的图像数量为 163 张图像，其中 53 张图像为恶性肿块，110 张图像为良性肿瘤。

3. 方法论

分类算法是在四种形式的数据样本上执行的，如下所示：（1）没有增强，这意味着真实图像（蓝色虚线和箭头）。 (2)采用传统的增强方法。(3)使用dagan。 (4) 使用传统的增强和dagan（橙色框和箭头）。

dagan

使用深度学习方法提高分类准确性。这些模型能够创建逼真的图像。为了实现这一目标，我们构建了一个框架，在每个类别上训练单个 gan。必须选择一个具有足够能力来理解和建模每个类别的底层分布的 gan 架构。满足上述目标的 gan 在训练后应该能够生成其所训练的类别的真实图像。

生成器接受噪声向量作为输入并生成假数据，然后将这些数据与真实数据一起馈送到鉴别器，鉴别器的目标是区分样本是从哪个分布生成的。相反，生成器的目标是在不见证真实分布的情况下学习真实分布，以便使其输出与真实样本无法区分。两个网络同时进行对抗性训练，直到达到平衡。

为了解决训练期间的不稳定问题，使用了 earth mover 或 wasserstein 距离，部分原因是它导致更广泛的分布集的收敛，但主要是因为它的值与生成数据的质量直接相关。鉴别器最初是通过用任意值 wasserstein gan (wgan) 剪裁其权重来实现的。这种技术会导致次优行为，可以通过在鉴别器的损失函数中加入梯度惩罚项来改善这种行为，该损失函数是根据真实样本和假样本之间的随机插值点计算的。由此产生的架构 wgan 梯度惩罚 (wgangp) 是我们研究中使用的架构。

生成器

选择 11 层的架构作为网络的生成器。生成器输入是由 (0,1) 范围内的 128 个随机值组成的向量。它是从均匀分布中采样的。输入层之后是全连接（fc）层。随后的层是常规 2d 卷积 (conv) 和 2d 转置卷积 (conv trans up)，有时称为“反卷积”层。两种类型的层都选择了 5x5 大小的内核和“相同”的填充，而转置卷积则选择了 2 的步长。这会使其输入的空间维度加倍。

最后，经过五次卷积层和转置卷积层的交替（每个层都将其输入的大小加倍），生成了分辨率为 (192x160) 和 1 个通道的图像。

“leaky relu”函数激活了除最后一层之外的所有层。最后一层具有正切双曲 (tanh) 激活函数，因为它的输出需要绑定才能输出图像。  

鉴定器

鉴定器是一种常见的 cnn 架构，旨在进行二元分类。鉴别器的输入是单通道 192x160 图像。然后，该图像通过步幅分别为 1 和 2 的交替卷积层五次；后者用于子采样，因为该架构中不存在池化层。最后两层是fc层。

除了没有激活函数的最后一层之外，网络中的所有层都由“leaky relu”激活。

传统增强技术

由于我们数据集的性质，我们只能实现有限范围的视觉转换。特别是，我们应用了水平翻转、亮度、缩放和缩放。对于每种增强方法，从传统增强获得的增强图像的数量将增加 2 倍。

卷积神经网络

基于深度学习的定义，是一种表示学习方法，可以从数据中自动检测满足特殊任务的特征。特征提取器是特定于任务的，因为它们并不每次都固定为一组特定规则。每个网络包含多个层，这些层导致学习过程中使用分层特征。

cnn 由卷积层和池化层组成，其中前者的作用是从一组可学习的滤波器中提取局部特征，后者的作用是合并相邻模式，减少先前表示的空间大小，为平移添加空间不变性。

alexnet [16] 和使用卷积网络 [52] 的迁移学习方法

cnn-alexnet

由于数据集中的超声乳腺图像是灰度的，并且乳腺肿瘤或微钙化的尺寸相对较小，因此选择alexnet [16]作为合适的架构来解决多类的分类问题。训练和验证图像是包含数据集中所有类的模型的输入。

将所有数据集分别分成 70%、15% 和 15% 用于训练、验证和测试。 alexnet 架构很简单，主要是为数字分类而构建的。

输入由乳腺肿瘤和正常组织的图像组成。输入被输入到第一个卷积层和最大池层，该层重复一次并最终由两个完全连接的层完成。最终的输出数量是 2 个神经元或 3 个神经元，分别是为两个或三个类别生成的激活：（良性和恶性）或（正常、良性和恶性）。

cnn 的最后部分是类概率的输出，用于衡量最终全连接参数与训练和验证数据标签的接近程度。使用多项式逻辑损失和 softmax 分类器计算损失。我们网络的输出是对图像是肿瘤还是健康乳腺组织的预测。由两个全连接层组成，softmax 函数定义为

其中  是类分数 f 向量的第 j 个元素，z 是随机实值分数的向量，该向量被展平为 0 到 1 之间的值组成的向量，总和为 1。损失函数的定义使得在训练期间具有良好的预测相当于具有较小的损失。第一个全连接层包含修正线性单元 (relu) 层。这种逐元素运算的计算和定义为 

其中函数 f 将激活阈值设置为零。 

迁移学习

迁移学习（tl）是一种训练 cnn 学习广泛领域特征的方法，然后更改分类函数以优化网络以学习更具体领域的特征。在此设置下，特征和网络参数从广义域转移到特定域。可以将先前任务中学到的知识应用到与先前领域有某种关系的新任务领域。迁移学习方法基于 vgg16 [55]、resnet [56]、inception [57] 和 nasnet [58]。

这些网络主要用于对 imagenet 数据集上一千多个不同类别的对象进行分类 

实验

预处理

重点关注数据集和图像增强的准备。我们采取了额外的预处理步骤来促进模型训练。使用 lanczos 插值将其大小调整为 192x160。此外，我们将数据集随机分为训练集、验证集和测试集，保持每个图像的序列完整，以便每个图像仅出现在上述集合之一中。

lanczos 上采样插值https://blog.csdn.net/jh__chen/article/details/137658554随机打乱和分割所有图像，而不保留每个图像序列；这使得模型能够识别每个受试者形态的关键特征，并在测试集上获得满分（即，对于每个测试集图像，模型都在与其相似的另一个图像上进行了训练）。我们使用 dagan 模型训练两个数据集（busi 和 b）。保存训练好的模型并在生成新图像时重复使用。 dagan 每个类别（正常、良性和恶性）运行 700 个 epoch。使用 dagan 模型为每个类别生成 5000 张图像。所有图像都添加到我们的数据集中。

分类方法

本文提出的 cnn 方法是 alexnet 模型 [16]。乳房超声图像为灰度图像。数据集分为 70%、15% 和 15%，分别用于训练、验证和测试。该网络使用 adam 优化器进行训练 - 学习率为 0.0001。它使用 60 个 epoch和 0.30 的 dropout 率。我们在最大池化中使用了 1 和 2 像素的步幅。为了在数据集上获得最先进的分类方法的最佳性能，我们使用正则化技术，例如归一化和 dropout。

对于迁移学习，我们使用了四种预训练模型，即 vgg16 [55]、resnet [56]、inception [57] 和 nasnet [58]。使用 adam 优化器，学习率为 0.001。epoch 的数量为 10 个，tl 模型的输出层被更改，并在其中训练数据。tl 实验中使用了 softmax 激活函数。

结果和讨论

数据集busi来自现代超声系统，这对当前的肿瘤分类技术提出了新的挑战。这些超声系统获得的高分辨率图像可能会覆盖肺部空气、肋骨或胸肌等其他结构，从而使肿瘤分类变得更加困难。数据集 b 是从旧的超声系统收集的。图像通常分辨率较低。

当我们在没有数据增强的数据集上进行实验时，它们产生的精度很低（即使我们组合了两个数据集（busi+b））。这是由于数据不足造成的。由于医学图像的性质，传统的增强在我们的工作中并不是很有效。此外，医学图像与用于对象分类的自然图像不同。可用于医学图像的传统增强技术有限。

通过使用 dagan 和组合数据集 (busi+b) 中的传统增强进行数据增强训练时，迁移学习方法实现了最佳准确性。最终结果为99%（在tl nasnet预训练模型上训练时）。

使用强大的生成模型（例如 dagan）最重要的优势是所生成图像的质量以及超越原始数据集限制以生成新模式的能力。所提出的技术在图像遵循非常严格的格式的低方差数据集中特别有用。同时无法使用 dagan 合成高分辨率图像。