Privacy-Preserving Convolutional Deep Neural Networks on the Fully Homomorphic Encryption
내용: KAIST AI 학생 콜로키움 행사
7월 11일 월요일 오후 4시 서울대학교 이준우 박사과정 (졸업예정) 강연이 예정되어 있습니다.
다음과 같은 주제와 내용으로 진행되오니 많은 관심과 참여 부탁드립니다.
이번 행사는 한국어로 진행될 예정입니다.
Title: Privacy-Preserving Convolutional Deep Neural Networks on the Fully Homomorphic Encryption
Speaker: 이준우 박사과정 (서울대학교)
When: 7월 11일 오후 4시
Where(On-Offline): 성남 킨스타워 17층 김재철AI대학원 강의실 & https://kaist.zoom.us/j/87573916972
요약:
최근 머신러닝 응용에서 개인정보 보호 문제가 의료정보 및 금융 데이터와 같은 민감한 데이터에서 많은 관심을 받고 있습니다. 완전 동형 암호화(Fully Homomorphic Encryption, 이하 FHE)는 암호학적 의미에서 강력한 보안을 보장하기 위해 개인 정보 보호 머신러닝(Privacy-Preserving Machine Learning, 이하 PPML)을 위한 가장 적절한 도구 중 하나입니다. FHE는 서버가 클라이언트의 암호화된 데이터를 해독하지 않고 처리할 수 있도록 하는 암호화 체계이며, 이를 통해 클라이언트는 데이터에 대한 어떠한 정보도 유출하지 않고 중요한 데이터 처리를 다른 서버로 아웃 소싱할 수 있습니다. 그러나, 실제 FHE 체계는 제한된 산술 연산과 1D 데이터 구조만 지원하기 때문에 효율적인 개인 정보 보호 기계 학습 시스템을 구현하기 위해서는 비산술 활성 함수(Non-arithmetic Activation Function)를 가진 컨볼루션 신경망을 사용하는 것이 중요합니다. 또한, 클라이언트에서 회전 키(Rotation Key)의 생성 및 전송은 높은 통신 비용을 초래하기도 하며, PPML의 클라이언트-서버 모델을 위해 서버에서 회전 키를 저장할 수 있는 대용량 메모리가 필요합니다. 이와 관련하여, 본 강연에서는 네 가지 중요한 주제를 다룹니다.
i) 고정밀 부트스트래핑 체계를 포함한 CKKS 및 RNS-CKKS 체계와 같은 완전 동형 암호화 체계
ii) FHE를 통한 효율적인 CNN 연산을 위한 ReLU 함수와 다중 병렬 컨볼루션의 다항식 근사치
iii) CIFAR 및 ImageNet 데이터 세트를 사용하는 ResNet 및 VGGNet을 위한 개인 정보 보호 심층 신경망
iv) 회전 키의 생성 및 전송 부담을 해결하는 PPML의 클라이언트-서버 모델에서 계층적 Galois 키 관리 체계
Abstract:
Recently, the privacy issues in machine learning applications are getting more attention, especially privacy-sensitive data, e.g., medical information and financial data. Fully homomorphic encryption (FHE) is one of the most appropriate tools for privacy-preserving machine learning (PPML) to ensure strong security in the cryptographic sense. FHE is an encryption scheme that enables the server to process encrypted data of the clients without decrypting them. It allows the clients to outsource processing the sensitive data to the distrustful server without leaking any information about the data. However, since the practical FHE schemes only support limited arithmetic operations and 1D data structure, it is crucial to perform the deep convolutional neural networks for 3D tensors with non-arithmetic activation functions on these FHE schemes to implement an efficient privacy-preserving machine learning system. Further, the generation of rotation keys in the clients and their transmission to the server causes a high communication cost. Also, huge memory to store the rotation keys is required in the server for the client-server model of PPML. In this talk, four crucial topics are addressed:
i) fully homomorphic encryption schemes such as CKKS and RNS-CKKS schemes, including high-precision bootstrapping schemes,
ii) polynomial approximation of ReLU function and multiplexed parallel convolution for efficient CNN operations over FHE,
iii) privacy-preserving deep neural network for ResNet and VGGNet with CIFAR and ImageNet datasets,
iv) hierarchical Galois key management scheme in the client-server model of PPML that resolves the burdens of generation and transmission of rotation keys.
Bio:
Joon-Woo Lee is a Ph.D. candidate majoring in Electrical and Computer Engineering at Seoul National University, advised by Prof. Jong-Seon No. He received his B.S. in Electrical and Computer Engineering from Seoul National University. His research interests include privacy-preserving machine learning, fully homomorphic encryption, and post-quantum lattice-based cryptography.
