在 Amazon SageMaker 上训练和托管用于篡改检测的计算机视觉模型：第二部分 机器学习博

在 Amazon SageMaker 上训练和托管计算机视觉模型进行篡改检测：第 2 部分

关键要点

在这篇三部分系列的第一部分，我们展示了如何利用 AWS AI 和机器学习 (ML) 服务，自动化大规模检测文档篡改和欺诈的方法，专注于抵押贷款承保案例。

在本篇文章中，我们提出了一种基于深度学习的计算机视觉模型，以检测和突出抵押贷款中的伪造图像。我们将指导您如何在 Amazon SageMaker 上构建、训练和部署深度学习网络。

在第三部分中，我们将说明如何在 Amazon Fraud Detector 上实现这一解决方案。

解决方案概述

为了实现抵押贷款承保中的文档篡改检测目标，我们采用了一种在 SageMaker 上托管的计算机视觉模型作为我们的图像伪造检测解决方案。该模型接收测试图像作为输入，并生成伪造的可能性预测作为其输出。网络架构如以下图所示。

图像伪造主要涉及四种技术：拼接、复制移动、去除和增强。根据伪造的特征，可以使用不同的线索作为检测和定位的基础。这些线索包括 JPEG 压缩伪影、边缘不一致、噪声模式、颜色一致性、视觉相似性、EXIF 一致性和相机型号。

考虑到图像伪造检测的广泛领域，我们使用错误级分析 (ELA) 算法作为检测伪造的示例方法。我们选择 ELA 技术的原因如下：

然而，在实际场景中，您可能会碰到不同格式的输入文档JPEG、PNG、GIF、TIFF、PDF，建议结合使用 ELA 和其他方法，如检测边缘不一致性、噪声模式、颜色均匀性、EXIF 数据一致性、相机型号识别和字体均匀性。我们计划在本帖代码中更新其他伪造检测技术。

ELA 的基本前提假设输入图像为 JPEG 格式，以其有损压缩著称。然而，即使输入图像最初为无损格式如 PNG、GIF 或 BMP，在篡改过程中转换为 JPEG，ELA 依然有效。当 ELA 应用于原始无损格式时，通常表明图像质量一致而没有劣化，使得识别更改区域变得困难。典型情况下，JPEG 图像的预期是整个图像显示相似的压缩级别。然而，如果图像中的某个特定区域显示出明显不同的错误级别，通常意味着数字修改已发生。

ELA 突出 JPEG 压缩率的差异。颜色均匀的区域将产生较低的 ELA 结果例如，与高对比度边缘相比，较暗的颜色。识别篡改或修改的迹象包括：

前提条件

要跟随本帖的内容，请完成以下前提条件：

在终端中运行以下命令：

git clone https//githubcom/awssamples/documenttamperingdetectiongit

设置模型训练笔记本

完成以下步骤以设置您的训练笔记本：

将笔记本环境设置为使用 TensorFlow 26 的 Python 38 CPU 或 GPU 优化版本。 在选择 GPU 优化的实例时，您可能会遇到可用性不足或达到 AWS 账户中的 GPU 实例配额限制的问题。在这种情况下，您可以访问服务配额控制台并提高所需实例类型的服务限制。您也可以使用 CPU 优化的笔记本环境。

对于 Kernel，选择 Python3。

我们选择了更大的实例类型以缩短模型的训练时间。使用 mlm5d24xlarge 笔记本环境，每小时费用为 7258 美元。

运行训练笔记本

按顺序运行笔记本中的每个单元格 tamperingdetectiontrainingipynb。在接下来的部分中，我们将更详细地讨论某些单元格。

准备原始图像和篡改图像的数据集

在运行笔记本中以下单元格之前，根据具体业务需求准备原始和篡改文档的数据集。对于本帖，我们使用了一组示例数据集，包括篡改的工资单和银行对账单。该数据集可在 GitHub 仓库 的图像目录中找到。

笔记本从 images/training 目录读取原始和篡改图像。

训练的数据集是使用 CSV 文件创建的，包含两列：图像文件路径和图像标签0 表示原始图像，1 表示篡改图像。

通过生成每个训练图像的 ELA 结果来处理数据集

在此步骤中，我们生成输入训练图像的 ELA 结果质量为 90。函数 converttoelaimage 接收两个参数：路径表示图像文件的路径，以及质量表示 JPEG 压缩的质量参数。该函数执行以下步骤：

在有损图像格式如 JPEG中，初始保存过程会导致大量的颜色损失。然而，当图像被加载并随后在相同的有损格式中重新编码时，通常会有更少的颜色劣化。ELA 结果强调在重新保存过程中最易受颜色劣化影响的图像区域。通常，修改会 prominently 显示在那些表现出较高劣化潜力的区域。

接下来，图像将处理为 NumPy 数组以进行训练。然后，我们将输入数据集随机拆分为训练和测试或验证数据80/20。在运行这些单元格时，您可以忽略任何警告。

根据数据集的大小，运行这些单元格可能需要时间。对于我们在此仓库提供的示例数据集，可能需要 510 分钟。

配置 CNN 模型

在此步骤中，我们构建了一个使用小卷积滤波器的 VGG 网络的最小版本。VGG16 由 13 个卷积层和三个全连接层组成。以下屏幕截图展示了我们的卷积神经网络 (CNN) 模型的架构。

注意以下配置：

在运行这些单元格时，您可以忽略任何警告。

保存模型工件

使用唯一的文件名例如，根据当前日期和时间保存训练好的模型到名为 model 的目录中。

模型以 Keras 格式保存，扩展名为 keras。我们还将模型工件保存为名为 1 的目录，其中包含序列化签名和运行所需的状态，包括在 SageMaker 运行时部署所需的变量值和词汇，稍后我们将在本篇中详细讨论。

评估模型性能

以下损失曲线显示了模型损失在训练历程中的变化。

损失函数衡量模型的预测与实际目标的匹配度。较低的值说明预测与真实值之间的更好对齐。随着历元的增加，损失减少表明模型在改善。准确性曲线展示模型在训练历元中的准确性。准确性是正确预测与总预测数的比率，较高的准确性表示模型表现更佳。通常在训练时，随着模型学习模式并提升其预测能力，准确性会不断上升。这些结果可以帮助您判断模型是否出现了过拟合在训练数据上表现好，但在未见数据上表现差或欠拟合未充分学习训练数据。

以下混淆矩阵直观地展示模型在区分正类伪造图像，代表值 1与负类未篡改图像，代表值 0方面的准确度。

在模型训练完成后，我们的下一步是将计算机视觉模型部署为 API。此 API 将作为承保工作流的一部分集成到业务应用程序中。我们使用 Amazon SageMaker 推理，这是一个完全托管的服务，能够无缝整合 MLOps 工具，实现可扩展的模型部署、成本效益高的推理、增强的模型管理并减少操作复杂性。在本帖子中，我们将模型部署为实时推理端点。值得注意的是，具体的业务应用程序工作流也可以将模型部署调整为批处理、异步处理或通过无服务器部署架构来实现。

设置模型部署笔记本

完成以下步骤以设置模型部署笔记本：

使用 mlt3medium 笔记本环境，每小时费用为 0056 美元。

创建 SageMaker 角色的自定义内联策略以允许所有 Amazon S3 操作

AWS 身份与访问管理 (IAM) 角色的格式为 AmazonSageMakerExecutionRolelt随机数字gt。请确保您使用的是正确的角色。角色名称可以在 SageMaker 域配置中的用户详情下找到。

更新 IAM 角色，以便包含一个内联政策以允许所有 Amazon 简单存储服务 (Amazon S3) 的操作。这将用于自动创建和删除将存储模型工件的 S3 存储桶。您可以限制特定 S3 存储桶的访问。请注意，我们在 IAM 策略中对 S3 存储桶名称使用了通配符tamperingdetection