整个卷积层的安全协议完整版如下图11.Cheetah: Lean and Fast Secure Two-Party Deep Neural Network Inference
-
摘要
-
技术概览
-
预备知识
-
威胁模型
-
符号约定
-
基于格的同态加密
-
不经意传输
-
-
线性层的2PC协议
-
全联接层(FC层)
-
卷积层(CONV层)
-
批标准化层(BN层)
-
-
非线性函数的2PC优化协议
-
百万富翁协议
-
近似截断
-
-
优化
-
计算优化
-
通信优化
-
-
实验
-
总结
-
参考文献
摘要
2PC-NN安全推理与实际应用之间仍存在较大性能差距, 因此只适用于小数据集或简单模型. 本文通过仔细设计DNN, 基于格的同态加密、VOLE类型的不经意传输和秘密共享, 提出了一个2PC-NN推理系统Cheetah, 比CCS'20的CrypTFlow2技术开销小的多, 计算效率更快, 通信效率更高. 主要贡献有两点:
-
基于格的同态加密的协议可在不进行任何昂贵同态rotation操作的情况下评估线性层;
-
提出了非线性函数的几个精简且通信高效的原语.
本文的方案在ResNet50神经网络下在WAN进行端到端安全推理需要不到2.5分钟和2.3G通信量, 分别优于CrypTFlow2约5.6倍和12.9倍.
具体代码已在Github开源:
https://github.com/Alibaba-Gemini-Lab/OpenCheetah.
技术概览
Cheetah与最先进的2PC协议复杂度比较如表1.
预备知识
威胁模型
Cheetah是半诚实两方计算设定下构造的. 两方分别为Alice(作为Server)和Bob(作为Client). 在安全推理中, Alice持有DNN, Bob持有神经网络的输入, 如图像. 协议允许Bob获得神经网络架构信息和推理输出, 而Alice根据应用场景的不同要么没有输出, 要么得到安全推理结果.
不经意传输
Cheetah的协议非线性计算依赖于Boyle等人于CCS'19提出的VOLE类型OT协议——Silent OT extension[^2], 它通过低通信量、与输入无关的设定以及纯本地计算两个阶段生成大量Random OT correlation, 而Ferret[^3]和Silver[^4]是Silent OT extension的两个更高效的变种.
整个卷积层的安全协议完整版如下图11.
非线性函数的2PC优化协议
百万富翁协议
x
近似截断
在定点数计算中, 截断是乘法计算后的必要步骤.
一比特近似截断
已知符号位的近似截断
通信复杂度分析: 比起CrypTFlow2, Cheetah通信开销更小, 如下表所示.
实验
本文的协议可以使用任意VOLE类型的OT扩展协议实现, 本文代码使用的是Ferret的方案[3]. 涉及的开源库有: SEAL, HEXL acceleration, EMP-toolkit. 具体代码已在Github开源: https://github.com/Alibaba-Gemini-Lab/OpenCheetah.
实验环境: 阿里云ecs.c7.2xlarge, 2.70GHz处理器, 16GB RAM.
线性协议对比: 计算快约1.3~20倍, 通信开销低1.5~2倍.
非线性函数对比: 单线程下, 本文的所有非线性协议通信开销低10倍以上.
总结
Cheetah提供了一个高度优化的2PC-NN推理架构, WAN设定下, 在不到2.5分钟的时间内对ResNet50模型进行安全推理, 消耗2.3GB的通信量, 非常高效, 适合大规模神经网络训练推理, 是目前最好的2PC-NN工作之一.
总体而言, 本文的亮点有以下几点:
参考文献
[1]Deevashwer Rathee, Mayank Rathee, Nishant Kumar, Nishanth Chandran, Divya Gupta, Aseem Rastogi, and Rahul Sharma. CrypTFlow2: Practical 2-party secure inference. In CCS, pages 325–342. ACM, 2020.
[2]Elette Boyle,Geoffroy Couteau,Niv Gilboa,Yuval Ishai, Lisa Kohl, Peter Rindal, and Peter Scholl. Efficient two-round OT extension and silent non-interactive secure computation. In CCS, pages 291–308, 2019.
[3]Kang Yang, Chenkai Weng, Xiao Lan, Jiang Zhang, and Xiao Wang. Ferret: Fast extension for correlated OT with small communication. In CCS, pages 1607–1626, 2020.
[4]Geoffroy Couteau, Peter Rindal, and Srinivasan Raghuraman. Silver: Silent VOLE and oblivious transfer from hardness of decoding structured LDPC codes. In CRYPTO, pages 502–534, 2021.
[5]Pratyush Mishra, Ryan Lehmkuhl, Akshayaram Srini- vasan, Wenting Zheng, and Raluca Ada Popa. DELPHI: A cryptographic inference service for neural networks. In USENIX, pages 2505–2522, 2020.
[6]Anders P. K. Dalskov, Daniel Escudero, and Marcel Keller. Secure evaluation of quantized neural networks. Proc. Priv. Enhancing Technol., 2020(4):355–375, 2020.
译者简介：
魏伟明, 应用数学硕士, 目前在广州大学数学与信息科学学院攻读博士学位, 主要研究方向为: 安全多方计算在隐私保护机器学习领域中的应用. 知乎: @云中雨雾.