人工智能安全平台RealSafe

企业名称:北京瑞莱智慧科技有限公司

产品概况:

对抗样本、模型后门等新型攻击手段能够导致人工智能模型执行错误的指令，最终可能造成严重的安全后果。人工智能安全平台RealSafe通过集成主流及独有世界领先的测评算法，能够有效评价模型防对抗样本攻击的安全性、检测模型是否被植入了后门。

关键技术指标：

1.对抗样本攻击效果：效果较好的对抗样本攻击能够兼顾隐蔽性（添加尽量少的对抗噪声）和攻击成功率。L∞范数用于约束扰动图像和原始图像之间的距离，L∞值越小，对抗样本的隐蔽性越好。平台能够在LFW数据集上以添加L∞小于 8 的对抗噪声攻破人脸识别模型，在ImageNet数据集上以添加L∞小于 8 的对抗噪声攻破图像分类模型，在COCO数据集上以添加L∞小于 8 的对抗噪声攻破目标检测模型。
2.后门检测类别数量：支持检测10分类以内的图像分类模型后门。
3.多并发处理：支持自动依据硬件配置多并发生成对抗样本进行测评，具体并发量与硬件资源、待测评模型占用资源大小相关。例如，在GPU 128 G显存、CPU 40 核、被测模型显存占用 6 G的情况下，支持 20 并发。
4.攻击算法：支持 10 种业界主流及自研对抗样本攻击算法，同时支持迁移攻击和查询攻击。
5.自动化测评：提交测评任务后，平台可自动化调度算法进行测评，无需人工进行干预。
6.创建数据集：支持上传PNG、JPG、JPEG格式的图片创建数据集；上传的单张图片最大不超过 10 M，图片张数最多不超过 500 张。

产品创新点：

技术创新：
RealSafe拥有业内领先的AI对抗攻防算法，其部分安全测评算法经过深度调优，具有强大的攻击能力，例：平台中的黑盒迁移攻击算法RealTAttack-1结合了传统MIM方法中的动量优化思想、DIM方法中的数据增广思想和TIM方法中的低频噪声攻击思想，利用了网络结构经过特殊设计的替代模型，生成攻击力更强的对抗样本。
模式创新：
1.科学的可视化评估方法：综合多强度多维度对抗攻击下AI模型的性能指标变化情况，输出AI模型的安全评分及图表化报告，AI系统的安全性一目了然。
2.开箱即用的简易操作：零编码、低门槛，用户无需具备专业的模型安全算法知识和编程开发经验，全界面化操作。
3.业内首创的黑盒测评能力：测评过程无需获知被测模型结构和参数等敏感信息，严格保护被测评方知识产权。

国内外市场推广情况：

2020年6月，北京瑞莱智慧科技有限公司与北京智源人工智能研究院联合成立安全人工智能创新中心，双方以RealSafe为基础构建AI安全测评平台、AI安全对抗防御平台、AI安全应用验证平台和AI安全内容检测平台，能实现每张图片的对抗样本生成、去噪时间不超过15秒、在对抗攻击条件下，实现对攻击样本的鲁棒性防御，在计算复杂度不显著增加的条件下，比目前经典深度学习算法ResNet101差错率降低 30%以上、对典型深度伪造内容检测的成功率高于 90%等高性能和示范效果。
2020年8月，中国信息通信研究院采购RealSafe用于构建国家级重要科研项目—“人工智能安全技术研究与检测验证平台”，RealSafe作为该项目平台的重要技术支撑产品，实现了平台的检测验证功能，助力打造国家级人脸识别对抗样本安全性测评及防御高标准能力。
2020年11月，中国电子技术标准化研究院采购RealSafe私有化版，功能场景包括人脸对比、图像分类、目标检测。该应用案例为中国电子技术标准化院提供了一整套以对抗攻防算法为技术基础的多场景解决方案，支持10种对抗样本攻击算法、多并发处理、自动化测评等性能，应用效果突出，获得客户好评。
2021年10月，与重庆长安汽车软件科技有限公司达成合作，通过车辆感知模型黑盒迁移攻击方法研究，构建车辆感知算法模型鲁棒性评估和加固平台，提升该算法模型的安全性和可信赖性。
2021年，RealAI与国家广播电视总局广播电视科学研究院就视听人工智能应用算法安全评估项目进行合作，运用人工智能对抗攻击算法，在商业化人工智能模型上训练人工智能对抗攻击数据生成模型，支撑其视听人工智能应用算法的安全评估试验工作。