[KAIST 이성주 교수, 신재민 연구원, 칭화대 Yunxin Liu 교수, Yuanchun Li 교수, 왼쪽부터]
KAIST 이성주 교수 연구팀이 6/27-7/1에 열린 세계컴퓨터연합회(ACM) 주최로 진행된 제20회 모바일 시스템, 어플리케이션, 및 서비스 국제학술대회(MobiSys, International Conference on Mobile Systems, Applications, and Services)에서 연합학습(Federated Learning)의 학습속도 향상(4.5배 가속)을 위한 데이터 샘플 최적 선택 및 데드라인 조절 방법론을 발표하였다.
MobiSys는 2003년에 시작되었으며 모바일 시스템, 소프트웨어, 어플리케이션, 서비스를 위한 최신 연구를 소개하는데 초점을 맞추고 있으며, Mobile Computing 및 Systems 분야의 최우수 학회 중 하나로 오랫동안 각광받고 있다. 올해 MobiSys 2022에서는 176개의 제출 논문 중 38개의 논문이 채택되었다.
이번 논문(FedBalancer: Data and Pace Control for Efficient Federated Learning on Heterogeneous Clients)은 신재민 박사과정이 1저자로 활약했으며, 중국 칭화대학과의 국제협력으로 이루어진 성과이다. (칭화대학교 Yuanchun Li 교수, Yunxin Liu 교수 참여).
최근 구글에 의해 제안된 연합학습은 새로운 기계학습 기술로, 개인정보의 유출 없이 방대한 사용자 기기 위 데이터를 활용할 수 있게 하여 의료 AI 기술 등 새로운 인공지능 서비스의 개발을 가능케 하여 각광받고 있다. 본 연구팀은 연합학습에 참여하는 사용자 기기 위 데이터 샘플 각각의 학습 기여도 측정을 기반으로 최적의 샘플을 선택함으로써 학습속도 향상을 달성하였다.
또한, 샘플 선택으로 줄어든 학습 시간에 대응하여, 연합학습 라운드의 데드라인 또한 최적으로 조절하는 기법을 제안하여 모델 정확도의 저하 없이 학습속도를 무려 4.5배 향상시켰다.
이성주 교수는 ”연합학습은 많은 세계적 기업들이 사용하는 중요한 기술이다. 학습속도를 향상시켜 활용도를 높여 의미가 있으며, 컴퓨터 비전, 자연어 처리, 모바일 센서 데이터 등 다양한 응용에서 모두 좋은 성능을 보여, 빠른 파급효과를 기대한다“라고 소감을 밝혔다.
이 연구는 과학기술정보통신부의 재원으로 한국연구재단과 정보통신기술진흥센터의 지원을 받아 수행됐다.
□ 연구성과도
[그림: 본 연구의 데이터 샘플 최적 선택 및 데드라인 조절 방법론을 적용한 연합학습 라운드 진행 모식도]
