우리 학부 황창호, 김태현 박사과정 연구원이 (박경수 (지도교수), 신진우 교수, MIT CSAIL 김승현 학생 공동연구) 인공지능 학습을 가속하기 위한 고성능 GPU 클러스터 자원 관리 프레임워크인 CoDDL 시스템을 개발하였습니다. 본 시스템은 한국전자통신연구원 (ETRI)과의 협력하에 개발되었습니다.
인공지능 모델을 학습하기 위한 GPU 자원의 수요가 폭발적으로 늘어남에 따라, 많은 기업들 및 클라우드 컴퓨팅 사업자들은 각자의 GPU 클러스터를 구축하고 인공지능 개발자들에게 GPU를 분배하여 학습 연산에 활용할 수 있도록 지원하고 있습니다. 이러한 GPU 클러스터는 구축하는데 높은 초기비용이 들 뿐 아니라 매우 많은 전력을 소모하기 때문에, 클러스터의 GPU 자원을 효율적으로 관리하기 위한 시스템을 구현하는 것이 더욱 중요해지고 있습니다.
본 연구팀이 개발한 CoDDL 시스템은 인공지능 개발자들이 구현한 모델이 GPU 클러스터 내에서 빠르고 효율적으로 학습되도록 자동으로 관리해주는 시스템입니다. 개발자들이 학습시키고자 하는 모델을 시스템에 제출하면, 모델이 여러 GPU를 동시에 활용하여 고속 학습되도록 자동으로 병렬화 해주며, 특히 학습이 진행되는 도중에도 클러스터의 전체적인 성능을 최적화하기 위해 각 학습 작업이 사용하는 GPU 개수를 탄력적으로 변경하는 작업 스케줄러가 구현되어 있습니다. CoDDL 시스템은 각 학습 작업에 할당된 GPU 개수를 변경하는데 소요되는 시간을 최소화함으로써 작업 스케줄러가 더욱 효율적이고 정교한 자원 배분을 할 수 있도록 하고, 따라서 전체적인 학습 속도를 크게 높일 수 있습니다.
본 연구에서 제안한 AFS-P 스케줄러는 마이크로소프트가 공개한 인공지능 학습용 GPU 클러스터 트레이스에서 기존 최고 스케줄러 대비 최대 3.11배 빠른 평균 작업 완료 시간 (average job completion time)을 보였으며, 본 성과는 네트워크 컴퓨터 시스템 분야 최고 권위 학회 중 하나인 USENIX NSDI 2021에서 발표되었습니다.
그림: CoDDL 시스템 개요
자세한 연구 내용은 하단의 링크에서 확인하실 수 있습니다.
논문: https://www.usenix.org/system/files/nsdi21-hwang.pdf
학회 발표 영상: https://www.usenix.org/conference/nsdi21/presentation/hwang
전기및전자공학부 황의종 교수님 연구실 태기현 박사과정생이 정확하고 공정한 머신러닝 모델을 위한 선택적 데이터 수집 기법을 개발했습니다.
머신러닝이 현대 사회에 폭넓게 사용되면서 책임 있는 인공지능의 필요성이 대두되고 있습니다. 높은 정확도를 넘어서 책임 있는 인공지능의 목표에는 공정성(fairness), 강건성(robustness), 설명가능성(explainability) 등이 포함되어 있습니다. 특히, Google, Microsoft, IBM 등의 회사에서 책임있는 인공지능을 강조하고 있습니다.
본 연구에서는 인공지능 공정성에 초점을 맞추고 불공정한 인공지능의 근원이 편향된 훈련 데이터에 있다는 점에 착안하여, 데이터 수집 단계에서부터 인공지능 모델의 정확도와 공정성을 함께 고려한 프레임워크인 Slice Tuner를 제안하였습니다. Slice Tuner는 데이터양에 따라 모델의 손실을 추정할 수 있는 학습 곡선(learning curve)을 효율적이고 신뢰할 수 있도록 관리하고, 이를 활용하여 정확하고 공정한 모델을 위한 최적의 데이터 수집 방법을 제시합니다.
연구팀은 해당 기술이 데이터 수집단계에서 부터 책임 있는 인공지능을 실현하기 위한 중요한 첫 단추가 될 수 있다고 설명했습니다. 또한, 본 연구 성과는 데이터베이스 최고 권위 학회인 ACM SIGMOD (International Conference on Management of Data) 2021 에서 발표되었습니다.
자세한 연구 내용은 하단의 링크에서 확인하실 수 있습니다.
Figure 1. Slice Tuner architecture
[논문 정보]
논문명: Slice Tuner: A Selective Data Acquisition Framework for Accurate and Fair Machine Learning Models
저자: 태기현, 황의종(지도교수)
논문 링크: https://arxiv.org/abs/2003.04549
논문 슬라이드: https://docs.google.com/presentation/d/1thnn2rEvTtcCbJc8s3TnHQ2IEDBsZOe66-o-u4Wb3y8/edit?usp=sharing
학회 발표 영상: https://youtu.be/QYEhURcd4u4?list=PL3xUNnH4TdbsfndCMn02BqAAgGB0z7cwq
전기및전자공학부 황의종 교수님과 서창호 교수님 연구팀에서 공정한 머신러닝 모델 학습을 위한 새로운 배치 선택 기법을 개발했습니다. 본 연구는 노유지 박사과정(지도교수 황의종)이 주저자로 참여했고, 위스콘신 매디슨 전기컴퓨터공학부 이강욱 교수님과의 공동 연구로 진행되었습니다.
인공지능 기술이 인간에게 단순히 편리성을 가져다주던 단계에서, 이제는 사회 전반에 걸쳐 광범위하게 활용되며 인간의 삶에 많은 영향을 미치고 있습니다. 최근 인공지능의 긍정적인 효과 이면에 머신러닝 모델이 특정 개인 혹은 집단을 차별하는 사례가 다수 발견되었고, 이에 따라 공정성(fairness)을 고려한 머신러닝 학습의 필요성에 대한 사회적인 공감이 커지고 있습니다.
본 연구팀은 공정한 머신러닝 모델 학습을 위한 새로운 배치 선택(batch selection) 기법인 FairBatch를 제안합니다. 기존의 공정성을 위한 머신러닝 기법들은 학습 데이터 혹은 알고리즘 자체에 큰 수정이 요구되었는데, 이와는 달리 FairBatch는 데이터를 샘플링하는 배치 선택 단계에서 한 줄의 코드 변경만으로 높은 정확도와 공정성을 효과적으로 달성합니다. 또한 FairBatch는 이중수준 최적화를 통한 해석을 기반으로 하며, 다양한 시나리오에서 폭 넓게 활용이 가능함을 보였습니다.
연구팀은 FairBatch가 높은 성능을 달성함과 동시에 실제 머신러닝 파이프라인에 쉽게 적용될 수 있다는 장점을 가졌기에, 해당 학습 기법을 다양한 어플리케이션에 적용할 수 있을 것이라고 설명했습니다. 또한 공정한 머신러닝 시스템에 대한 사회적 요구가 더욱 커짐에 따라, 이에 대한 활발한 후속 연구가 진행될 것으로 예상됩니다. 본 연구 성과는 머신러닝 최고 권위 학회인 ICLR (International Conference for Learning Representations) 2021에서 발표되었습니다.
자세한 연구 내용은 하단의 링크에서 확인하실 수 있습니다.
Figure 1. A scenario that shows how FairBatch adaptively adjusts batch ratios in model training for fairness.
Figure 2. PyTorch code for model training where FairBatch is used for batch selection. Only a single-line code change is required to replace an existing sampler with FairBatch, marked in blue.
[Paper information and links]
Title: FairBatch: Batch Selection for Model Fairness
Authors: Yuji Roh (KAIST EE), Kangwook Lee (Wisconsin-Madison Electrical & Computer Engineering), Steven Euijong Whang (KAIST EE), and Changho Suh (KAIST EE)
Paper: https://openreview.net/forum?id=YNnpaAKeCfx
Source code: https://github.com/yuji-roh/fairbatch
Slides: https://docs.google.com/presentation/d/1IfaYovisZUYxyofhdrgTYzHGXIwixK9EyoAsoE1YX-w/edit?usp=sharing
우리 학부 심현철 교수님 연구팀이, 과학기술정보통신부가 주관하는 ‘AI그랜드 챌린지 대회’에 참여하여 제어 지능 부문 2년 연속 우승(과학기술정보통신부 장관상)이라는 성과를 달성하였습니다.
심현철 교수님 지도를 받고 있는 우리 학부 김보성 박사과정생과 항공우주공학과 이한섭 박사과정생이 이번 대회에 참여하였습니다.
이번 2020 AI 그랜드 챌린지는 인공지능의 순기능이 가져올 미래상을 바탕으로 우리 사회 주변에서 발생하는 다양한 문제를 인공지능으로 풀어내는 기술개발의 필요성에 의해 진행되었습니다. 도전 과제의 경우, 인공지능 활용하여 다양한 지역사회의 국민생활 및 사회현안에 어떻게 대응할 수 있는가를 제시하는 것이었습니다.
총 4개의 트랙으로 구성된 이번 대회에서, 심현철 교수님 연구팀은 제어지능 부문에 해당하는 트랙 4에 지원하였습니다. 해당 부문에는 총 5개의 팀이 참여하였으며, 복잡한 실내환경에서 드론이 안전한 비행을 통해 조난자에게 물품을 전달하는 시나리오를 바탕으로 대회가 치뤄졌습니다.
당당히 2년 연속 우승을 차지한 심현철 교수님 연구팀은, 100% 자체 개발한 기술(정밀 측위시스템, 고속 비행제어 시스템 등)로 해당 대회에 임했다는 점에서 더욱 이번 성과가 눈에 띄는 부분입니다.
작년에 이어 올해도 우승을 차지한 심현철 교수님 연구팀은 총 24억원 규모의 연구비 지원을 받게 됩니다. 이는 DARPA Challenge 우승팀에 주어지는 상 규모와 맞먹습니다. 인공지능 관련 기술 개발의 중요성이 대두되고 있는 만큼, 심현철 교수님께서는 실내비행드론, 민간 무인항공기, 자율주행차량, 배달로봇 등 자율이동체에 요구되는 인공지능 기술을 개발하기 위해 더욱 정진할 예정이라고 밝혔습니다.
해당 연구성과를 통해 전기및전자공학부의 위상을 드높인 심현철 교수님 연구팀에 다시 한 번 축하의 인사를 보내드립니다.
[Link]
http://www.aitimes.com/news/articleView.html?idxno=134221 [전자신문]
우리 학부 유민수 교수님 연구팀이 GPU 가속 컴퓨팅 대비 21배 빠른 AI가속기를 개발하여, 국내 유수의 언론사에 보도되었습니다. ‘Processing in Memory(PIM)’기술이 적용된 인공지능(AI) 추천시스템 학습 알고리즘 가속에 최적화된 지능형 반도체시스템을 세계 최초로 개발하였습니다. 지능형 메모리 반도체 기술은 세계 인공지능 시장을 장악하기 위한 주요 핵심기술 중 하나에 해당합니다. 연구팀의 이번성과가 PIM 기술의 상용화 및 성공 가능성을 시사한다는 점에서 의미가 깊습니다.
권영은 박사과정생이 제1 저자로, 이윤재 석사과정생이 제2 저자로 참여한 이번 논문은 컴퓨터 시스템 구조 분야 최우수 국제 학술지로 꼽히는 IEEE International Symposium on High-Performance Computer Architecture(HPCA)에서 내년 2월경에 발표될 예정입니다. 논문제목명은 ‘Tensor Casting: Co-Designing Algorithm-Architecture for Personalized Recommendation Training’입니다. 한편 이번 연구는 삼성미래기술육성재단이 지원하였습니다.
연구에 대한 더욱 자세한 내용은 아래의 각 언론사별 보도자료에서 확인하실 수 있습니다.
[Link]
https://arxiv.org/abs/2010.13100 [게재 논문]
https://www.sedaily.com/NewsView/1ZAFIQ1KCJ [서울경제]
https://www.itbiznews.com/news/articleView.html?idxno=23834 [IT비즈]
http://www.aitimes.kr/news/articleView.html?idxno=18388 [AI타임즈]
전기및전자공학부 황의종 교수님과 서창호 교수님 연구팀에서 신뢰할 수 있는 인공지능을 위한 새로운 학습 기법을 개발했습니다. 본 연구는 노유지 박사과정(지도교수: 황의종)이 주저자로 참여했고, 위스콘신 매디슨 전기컴퓨터공학부 이강욱 교수님과의 공동 연구로 진행되었습니다.
현대 사회에서 머신러닝 기술은 인간에게 더욱 편리하고 정확한 시스템을 제공하지만, 그 이면에 다양한 신뢰성 문제가 존재함이 최근 드러나고 있습니다. 이에 따라 단순히 높은 정확도를 가지는 것을 넘어서, 공정성(fairness), 견고성(robustness), 투명성(transparency), 설명가능성(explainability) 등의 요소를 갖춘 인공지능의 필요성이 대두되고 있습니다.
본 연구팀은 신뢰성의 여러 요소 중 학습 데이터와 직접적인 관련이 있는 공정성(fairness)과 견고성(robustness)을 하나의 프레임워크 내에서 함께 높일 수 있는 학습 기법인 FR-Train을 제안합니다. FR-Train은 공정하고 견고한 학습을 동시에 달성하는 첫번째 프레임워크로, 이에 대한 상호정보이론 기반의 해석을 제공하고 실제 어플리케이션에서의 다양한 활용 방안을 논의합니다.
연구팀은 해당 기술을 활용하여 공정하고 견고한 인공지능 시스템 구축의 발판을 마련할 수 있을 것이라고 설명했습니다. 또한 인공지능의 신뢰성 문제에 대한 중요도가 더욱 높아짐에 따라, 해당 학습 기법에 대한 활발한 후속 연구가 진행될 것으로 예상됩니다. 본 연구 성과는 머신러닝 최고 권위 학회인 ICML (International Conference for Machine Learning) 2020에서 발표되었습니다.
자세한 연구 내용은 하단의 링크에서 확인하실 수 있습니다.
Figure 1. FR-Train architecture with loan example
[Paper information and Links]
Title: FR-Train: A Mutual Information-Based Approach to Fair and Robust Training
Authors: Yuji Roh (KAIST EE), Kangwook Lee (Wisconsin-Madison Electrical & Computer Engineering), Steven Euijong Whang (KAIST EE), and Changho Suh (KAIST EE)
논문 링크: https://proceedings.icml.cc/paper/2020/hash/52c5189391854c93e8a0e1326e56c14f-Abstract.html
학회 발표 영상: https://icml.cc/virtual/2020/poster/6025
우리 학부 한동수 교수님 연구실 김재홍 박사과정생이 주도하여 온라인 학습 기반 고품질 라이브 비디오 스트리밍 시스템을 개발했습니다.
본 연구팀은 미디어 서버의 컴퓨팅 자원을 활용하여 딥러닝 기반 초해상화 기술을 통해 스트리머로부터 실시간 수집되는 라이브 비디오의 품질을 향상시켰습니다. 또한 종래의 기 학습된 신경망 모델을 새로운 라이브 비디오에 적용 시 발생하는 성능한계를 온라인 학습을 통해 개선하였습니다. 본 시스템에서는 스트리머가 고화질 라이브 비디오 프레임의 일부인 패치(patch)를 라이브 비디오와 전송 대역폭을 나누어 미디어 서버로 각각 전송하고, 서버는 수집한 패치를 이용하여 신경망 모델의 성능을 실시간 수집되는 라이브 비디오에 최적화합니다.
연구팀은 해당 기술을 이용하면 라이브 스트리밍 서비스 제공에 있어 스트리머의 전송 환경 및 단말의 성능적 제약에 대한 의존성을 낮추고, 다양한 해상도의 라이브 비디오를 분배 측의 시청자에게 제공할 수 있다고 밝혔습니다. 본 기술은 라이브 비디오 스트리밍 시스템의 사용자 QoE를 기존 대비 12-69% 향상시켰습니다.
한편, 이번 연구 성과는 Computer Networking 분야 최고학회인 ACM SIGCOMM 에 accept 되어 발표되었습니다.
자세한 연구 내용은 아래의 링크에서 확인하실 수 있습니다.
컴퓨터 디비젼 한동수 교수님의 성과에 박수를 보내드립니다.
[논문정보]
프로젝트 홈페이지: http://ina.kaist.ac.kr/~livenas/
논문 Title: Neural-Enhanced Live Streaming: Improving Live Video Ingest via Online Learning
저자: 김재홍(공동제1저자), 정영목(공동제1저자), 여현호, 예준철, 한동수(지도교수)
논문 링크: https://dl.acm.org/doi/abs/10.1145/3387514.3405856
학회 발표 영상: https://youtu.be/1giVlO6Rumg
_0.png "AI in Computer division 17")
우리 학부 한동수 교수님 연구실 여현호 박사과정생이 주도하여 모바일 기기에서의 딥러닝 기반 비디오 초해상화 기술을 개발했습니다.
본 연구팀은 비디오 종속성을 활용하여 처리속도를 대폭적으로 향상시키고 전력 소모량을 획기적으로 감소시켰습니다. 매 프레임마다 초해상화를 적용하던 종래의 기술과 다르게, 본 연구에서는 일부 프레임에만 초해상화를 적용하고 나머지 프레임에서는 이 결과를 재활용합니다. 또한 초해상화를 적용할 프레임을 신중히 선택하여 단위 컴퓨팅 자원 당 화질 향상을 극대화하였고, 압축된 비디오 내에 탑재되어 있는 비디오 종속성 정보를 활용함으로써 초해상화 결과를 재활용하는 과정을 실시간으로 구현했습니다.
연구팀은 해당 기술을 이용하면 모바일 유저의 비디오 스트리밍 만족도를 대폭적으로 향상시킬 수 있다고 밝혔습니다. 또한 해당 기술은 비디오 전송/저장과 관련한 다양한 분야에서 활용될 것으로 예측됩니다. 한편, 이번 연구 성과는 모바일 최고 권위 학회인 ACM 모비콤 (Annual International Conference on Mobile Computing and Networking)에서 발표되기도 했습니다.
자세한 연구 내용은 아래의 링크에서 확인하실 수 있습니다.
컴퓨터 디비젼 한동수 교수님의 성과에 박수를 보내드립니다.
[논문정보]
학회명: The 26th Annual International Conference on Mobile Computing and Networking
논문명: NEMO: enabling neural-enhanced video streaming on commodity mobile devices
저자: 여현호 박사과정생, 정찬주 학부과정생, 정영목 박사과정생, 예준철 석사과정생
논문 링크: http://ina.kaist.ac.kr/~nemo
우리 학부 김성민, 이융 교수님 연구팀이 초저전력으로 통신이 가능한 사물인터넷(IoT) 기술 개발에 성공하여, 국내 유수의 언론에 보도되었습니다. 류지훈 한국뉴욕주립대 컴퓨터과학과 교수팀과 협력하여 이번 연구는 진행되었습니다.
연구팀은 ‘후방산란 기술’을 이용하여 기존의 게이트웨이 전력 소모량이 커 유선 전원공급장치가 필요했던 문제점을 해결하였습니다. 후방산란 기술은 기기의 무선신호를 직접 만들어내지 않고, 공중에 존재하는 방사된 신호를 반사해 정보를 전달하여, 무선 신호를 생성하는데 전력을 소모하지 않습니다. 연구팀은 해당 기술을 이용하면 설치비용 및 유지보수 비용을 줄일 수 있다고 밝혔습니다. 사물인터넷에 대한 효율적 연결성을 확대하는 해당 기술이 다양한 분야로 활용될 것으로 예측됩니다. 한편, 이번 연구결과는 지난 6월 캐나다 토론토에서 열린 “ACM 모비시스 2020″에서 발표되기도 하였습니다.
자세한 언론보도 내용은 아래의 링크에서 확인하실 수 있습니다.
컴퓨터 디비젼 김성민, 이융 교수님의 성과에 박수를 보내드립니다.
[Link]
http://dongascience.donga.com/news/view/38140 (동아사이언스)
https://www.mk.co.kr/news/it/view/2020/07/716585/ (매일경제)
