[보관함:] 연구 > 연구성과

전기및전자공학부 한동수교수 연구팀, 일반 소비자용 GPU로 분산 환경에서 AI 모델 학습 가속화 기술 개발

<(좌측부터) 한동수 교수, 임휘준 박사, 예준철 박사과정 사진>

 

전기및전자공학부 한동수 교수 연구팀이 일반 소비자용 GPU를 활용해 네트워크 대역폭이 제한된 분산 환경에서 AI 모델 학습을 획기적으로 가속하는 기술을 개발했다.

 

최신의 AI 모델을 학습하기 위해서는 수천만 원대의 고성능 GPU와 고속 전용 네트워크 등 고비용 인프라가 필요하다.

이로 인해 학계 및 중소기업의 대다수 연구자는 저렴한 일반 소비자용 GPU에 의존해 모델을 학습하고 있지만, 네트워크 대역폭 제약으로 효율적인 모델 학습에 어려움을 겪고 있는 실정이다.

 

<그림 1. 기존 저비용 분산 딥러닝 환경에서의 문제>

 

한동수 교수 연구팀은 이러한 문제를 해결하기 위해 StellaTrain이라는 분산 학습 프레임워크를 개발하였다.

StellaTrain은 저비용 GPU에서 모델 학습을 가속하기 위해 CPU와 GPU를 함께 활용하는 파이프라인을 도입했고, 네트워크 환경에 따라 배치 크기 및 압축률을 동적으로 결정하는 알고리즘을 통합 적용해 고속 전용 네트워크 없이도 다중 클러스터 및 다중 노드 환경에서 빠른 모델 학습을 달성할 수 있게 했다.

 

StellaTrain은 학습 파이프라인을 최적화하여 GPU 활용률을 극대화하기 위해 그래디언트 압축과 최적화 과정을 CPU로 오프로딩하는 전략을 채택했다.

특히 CPU에서 효율적으로 동작하는 희소 최적화 기술과 캐시 인식 기반의 그래디언트 압축 기술을 새롭게 개발해 적용함으로써, CPU의 작업이 GPU의 연산과 중첩되는 끊임없는 학습 파이프라인을 구현했다.

또한 네트워크 상황에 따라 배치 크기와 압축률을 실시간으로 조절하는 동적 최적화 기술을 적용해 제한된 네트워크 환경에서도 높은 GPU 활용률을 달성했다.

 

<그림 2. StellaTrain 학습 파이프라인 개요도>

 

이를 통해 StellaTrain은 저비용 멀티 클라우드 환경에서 분산 모델 학습 속도를 크게 향상시켜, 기존 PyTorch DDP 대비 최대 104배의 성능 향상을 달성하였다.

한동수 교수 연구팀은 이번 연구를 통해 고가의 데이터센터급 GPU와 고속 네트워크 없이도 AI 모델을 효율적으로 학습시킬 수 있는 길을 열었으며, 이는 학계와 중소기업 등 자원이 제한된 환경에서 AI 연구 및 개발을 가속하는 데 큰 도움이 될 것으로 기대된다.

 

한동수 교수는 “KAIST가 AI 시스템 분야에서 우리나라의 리더십을 발휘하며 두각을 나타내고 있다”고 강조했다.

그는 “거대 IT 기업의 전유물로 여겨지던 대규모 언어 모델(LLM) 학습을 보다 저렴한 컴퓨팅 환경에서 구현할 수 있도록 적극적인 연구를 진행하겠다”며, “이번 연구가 그 목표를 향한 중요한 초석이 되기를 기대한다”고 덧붙였다.

 

이번 연구에는 KAIST 임휘준 박사와 예준철 박사과정, 그리고 UC Irvine의 Sangeetha Abdu Jyothi 교수가 참여했으며, 본 연구 결과는 8월 4일부터 8일까지 호주 시드니에서 열린 컴퓨터 네트워킹 분야 최고 권위의 국제 학회인 ACM SIGCOMM 2024에서 발표되었다 (논문명: Accelerating Model Training in Multi-cluster Environments with Consumer-grade GPUs).

 

한편, 한동수 교수 연구팀은 최근 오스트리아 빈에서 열린 ICML 2024에서 MoE (Mixture of Experts) 모델 학습을 가속할 수 있는 프레임워크인 ES-MoE를 발표하는 등 AI 시스템 분야에서 지속적인 연구 성과를 내고 있다.

 

한동수 교수 연구팀은 GPU 메모리 한계를 극복하고 대규모 MoE 모델 학습의 확장성과 효율성을 크게 향상시켜, 단 4개의 GPU로 150억 파라미터 규모의 언어 모델을 미세 조정할 수 있게 하는 성과를 거뒀다.

이는 한정된 컴퓨팅 자원으로도 대규모 AI 모델을 효과적으로 학습할 가능성을 열었다는 점에서 큰 의의가 있다.

 

 

<그림 3. ES-MoE 프레임워크 개요도>

 

 

 

 

 

전기및전자공학부 노용만 교수 연구팀, 인공지능 최우수 학술대회 ACL 2024에서 Outstanding Paper Award 수상

<(좌측부터) 박세진 박사과정, 김채원 박사과정 사진>

 

전기및전자공학부 노용만 교수 연구팀의 박세진 박사과정 학생과 김채원 박사과정 학생이 2024년 방콕에서 열린 ACL (Association for Computational Linguistics) 학회에서 Outstanding Paper Award를 수상했다.

ACL은 자연어 처리(NLP) 분야의 세계 최우수 학회이자, 인공지능(AI) 분야의 Top tier 국제 학술대회이다.

 

이번 수상 논문인 “Let’s Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation“은 인간과 인공지능 간의 대화를 보다 자연스럽고 인간적인 경험으로 만들기 위해 개발된 혁신적인 모델을 제안했다. 

 

기존의 텍스트나 음성 기반의 대화 모델을 넘어, 이 연구는 휴먼 멀티모달 LLM(Large Language Model)을 개발하여 인공지능이 인간의 시각적 신호와 음성 정보를 종합적으로 이해하고, 인간의 얼굴과 음성으로 대화할 수 있는 능력을 갖추도록 했다 (그림).

 

이 연구는 대화 중의 비주얼 신호와 음성 신호를 동시에 처리하여, 인간과 인공지능 간의 상호작용을 보다 직관적이고 효과적으로 개선할 수 있는 가능성을 열었다. 

 

 

노용만 교수는 “이번 연구는 인간과 인공지능의 상호작용을 한 단계 발전시키는 중요한 성과라며, 이 기술이 다양한 실생활 응용에 널리 활용될 수 있기를 기대한다.  이번 수상은 KAIST전기및전자공학부의 인공지능 연구의 우수성을 다시 한번 국제적으로 입증한 사례이다”고 말했다. 

 

 

 

2024 한국인공지능학회 유창동교수 연구실 윤희석(석박통합과정) 우수 논문상 수상

<(좌측부터) 유창동 교수,  윤희석 석박통합과정 사진>

한국인공지능학회는 매년 분기별로 개최하는 학회이며, 이번 하계 학술대회는 8월 15일부터 17일까지 부산 벡스코에서 개최될 예정이다.
윤희석 석박사통합과정생은 “BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation”라는 제목의 논문의 우수성을 인정받아 수상자로 선정되었다.

 

또한, 해당 연구 결과는 올해 9월 이탈리아 밀라노에서 열리는 컴퓨터 비전 분야 최우수 국제 학회 중 하나인 ‘European Conference on Computer Vision (ECCV) 2024‘에서 발표될 예정이다 (논문명: BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation).

자세한 내용은 다음과 같다.

0 학회명: 2024 한국인공지능학회 하계학술대회
0 개최기간: 2024년 08월 15일 ~ 17일
0 수상명: 우수 논문상
0 저자: 윤희석, 윤은섭, 유창동 (지도교수)
0 논문명: BI-MDRG: Bridging Image History in Multimodal Dialogue Response Generation

 

본 연구는 기존의 챗GPT와 같은 멀티모달 대화형 거대 모델의 한계를 극복하고, 멀티모달 다이얼로그에서 이미지 생성의 일관성을 유지하는 혁신적인 연구로 평가받고 있다.  

 

그림 1 : ChatGPT와 BI-MDRG의 이미지 응답 예시 

기존의 멀티모달 다이얼로그 모델들은 이미지를 생성할 때 이미지에 대한 텍스트 묘사를 우선적으로 생성하고, 이를 text-to-image 모델을 활용하여 이미지를 생성하였다.

이러한 경우, 이전 대화에 포함되어 있던 이미지의 시각적 정보를 충분히 반영하지 못해 일관성이 부족한 이미지 응답을 생성하는 경우가 많았으나, 유창동 교수 연구팀의 BI-MDRG는 이미지의 직접적 참조 기법을 통해 이미지 정보 손실을 최소화하여 일관된 이미지 응답 생성을 가능하게 하였다. 

 

그림 2 : 기존의 멀티모달 대화 시스템에서의 문제점 및 BI-MDRG 방법론 도식화

BI-MDRG는 기존 멀티모달 대화 모델이 가지는 이미지 정보 손실 문제를 해결하기 위해 설계된 새로운 시스템으로, Attention Mask Modulation과 Citation Module을 제안한다.

Attention Mask Modulation은 텍스트로 변환된 이미지 설명 대신 이미지 그 자체에 집중하여 대화를 수행할 수 있도록 하며, Citation Module은 대화 중 등장하는 동일한 물체에 Citation 태깅을 통해 이미지 응답 생성 시 유지되어야 할 물체를 직접 참조함으로써 일관된 응답을 가능하게 한다.

연구팀은 다양한 멀티모달 다이얼로그 벤치마크에서 BI-MDRG의 성능을 검증하였다. 그 결과, BI-MDRG는 높은 대화 수행능력과 일관성을 기록하였다.

 

그림 3: BI-MDRG 모델의 상세 구조

BI-MDRG는 다양한 멀티모달 응용 분야에서 실용적인 솔루션을 제공할 수 있다.

예를 들어, 고객 서비스에서는 사용자와의 대화 내용을 기반으로 정확한 이미지를 제공하여 만족도를 높일 수 있으며, 교육 분야에서는 학습자의 질문에 대해 관련된 이미지와 텍스트를 일관되게 제공하여 이해도를 향상시킬 수 있다. 또한, 엔터테인먼트 분야에서는 대화형 게임에서 자연스럽고 몰입감 있는 상호작용을 가능하게 할 수 있다.

 

 

전기및전자공학부 김준모 교수, 24년도 정보통신•방송 기술개발사업 ‘SW스타랩 과제’ 신규 선정

<김준모 교수 사진>

 

전기및전자공학부 김준모 교수 연구실이 과학기술정보통신부와 정보통신기획평가원(IITP)이 주관하는 정보통신•방송 기술개발사업(SW스타랩)의 2024년도 신규지원 대상으로 선정되었다.

SW스타랩 과제는 SW핵심기술 5대 분야(‘빅데이터’, ‘클라우드’, ‘알고리즘’, ‘응용SW’, ‘인공지능’)의 세계적 원천기술 확보 및 이를 주도할 석•박사급 SW인재 양성을 목표로 하며, 해당 과제에 선정된 연구실은 8년간 총 약 15억(연간 약 2억)의 연구비를 지원받게 된다.

 

김준모 교수 연구실에서는 ‘인공지능’ 분야에 “지속가능한 실시간 멀티모달 인터렉티브 생성 AI 개발”를 제안하였습니다. 해당 과제는 3D 기반의 이미지/비디오 생성 모델을 통해 기존 2D 기반 이미지/비디오 생성 모델의 문제점을 해결하는 것을 목표로 한다. 

객체를 특정 시점이 아니라 객체 그 자체로 이해하여 사실적인 객체 생성과 움직임 표현이 가능한 이미지/비디오 생성 모델을 연구한다. 또한, 멀티모달 입력 이해와 유해 컨텐츠 생성 제한과 같이 단순 생성 모델이 아닌 사회/경제적 효과가 고려된 기술 개발을  제안한다.

본 과제는 전기및전자공학부 권인소 교수가 책임교수를 맡아 KAIST 초세대협업연구실로 선정된 비전중심 범용인공지능 연구실과 연계해 시너지를 낼 것으로 기대된다.  

유민수 교수, 24년도 정보통신•방송 기술개발사업 ‘SW스타랩 과제’ 신규 선정

 

<유민수 교수 사진>

 

전기및전자공학부 유민수 교수 연구실에서 과학기술정보통신부/정보통신기획평가원(IITP)이 주관하는 정보통신•방송 기술개발사업(SW스타랩)의 2024년도 신규지원 대상과제로 선정되었다. SW분야 세계적 원천기술 확보 및 석•박사급 인재 양성을 목표로 하는 “SW스타랩” 과제에 선정된 연구실은 8년간 총 약 15억(연간 약 2억)의 연구비를 지원받게 된다.

 

유민수 교수 연구실에서는 ‘클라우드/컴퓨팅’ 분야에 “개인정보보호 인공지능의 고성능 학습을 위한 차세대 클라우드 시스템 소프트웨어(High-performance Privacy-preserving Machine Learning System Software for Cloud Computing)”를 제안하여 선정되었다.

제안한 연구는 개인정보를 보호할 수 있는 인공지능 학습 파이프라인을 개발하는 것을 목표로 한다. 개인정보를 보호할 수 있는 인공지능 학습은 데이터의 저장 및 분석 단계에서부터 학습 데이터를 생성하는 데이터 처리 및 생성, 그리고 인공지능 모델 학습까지 3단계로 이루어지는데, 이를 고성능으로 수행할 수 있는 차세대 클라우드 시스템을 개발하는 것을 목표로 하는 것이다.

 

빅테크 기업들은 다양한 인공지능 서비스들의 품질 향상을 위해, 사용자 데이터를 대량으로 수집하여 인공지능 모델을 학습하고 정확도를 개선하기 위해 큰 노력을 기울이고 있다.

하지만 이 과정에서 사용자의 민감한 개인정보가 데이터센터로 전송 및 저장, 그리고 분석되는 중에 유출되거나, 이를 기반으로 학습된 모델이 추론 서비스 시에 학습에 사용된 민감한 개인정보를 유출하는 등 사용자 개인정보보호가 국내외적으로 심각한 사회적 문제로 대두되고 있다. 본 연구는 이러한 인공지능 개인정보 침해 문제를 해결하고 안전한 신기술 정착에 기여하고자 제안되었다.

 

또한 본 연구를 성공적으로 수행할 경우, 강화된 개인정보보호 규제로 인해 인공지능 학습을 위한 연산 복잡도 및 컴퓨팅 자원 요구량이 크게 증가해, 경제성 있는 상용화 기술의 난이도가 더욱 증가할 것으로 전망되는 상황 속에서, 개인정보보호 인공지능 서비스를 위한 모델 학습 및 추론 비용을 크게 낮춤으로써 탄소 배출량 감소와 함께 해당 기술 상용화의 우위를 선점할 수 있을 것으로 기대된다.

전기및전자공학부 김창익 교수 연구팀, 비디오 인식의 새로운 패러다임을 여는 고효율 모델 ‘VideoMamba’ 개발

<(좌측부터) 김창익교수, 박진영 석박통합과정, 김희선 박사과정, 고강욱 박사과정, 김민범 박사과정 사진>

 

챗GPT와 같은 거대 언어 모델의 근간이 되는 트랜스포머로 구축된 기존 비디오 모델보다 8배 낮은 연산량과 4배 낮은 메모리 사용량으로도 높은 정확도를 기록했으며, 추론 속도 또한 기존 트랜스포머 기반 모델 대비 4배의 매우 빠른 속도를 달성한 동영상 인식기술이 우리 연구진에 의해 개발됐다. 

우리 대학 전기및전자공학부 김창익 교수 연구팀이 초고효율 동영상 인식 모델 ‘비디오맘바(VideoMamba)’를 개발했다고 23일 밝혔다. 

비디오맘바는 기존 트랜스포머 기반 모델들이 가지고 있는 높은 계산 복잡성을 해결하기 위해 설계된 새로운 동영상 인식 모델이다. 기존의 트랜스포머 기반 모델들은 셀프-어텐션(self-attention)이라는 메커니즘에 의존해 계산 복잡도가 제곱으로 증가하는 문제를 가지고 있었다.

 

 

< 그림 1. 비디오맘바의 트랜스포머 기반 비디오 인식 모델 대비 낮은 메모리 사용량과 빠른 추론속도 >

 

김창익 교수 연구팀의 비디오맘바는 선택적 상태 공간 모델(Selective State Space Model, Selective SSM)* 메커니즘을 활용해 선형 복잡도**로 효율적인 처리가 가능하다. 이를 통해 비디오맘바는 동영상의 시공간적 정보를 효과적으로 포착해 긴 종속성을 가진 동영상 데이터도 효율적으로 처리할 수 있다.

*선택적 상태 공간 모델(Selective SSM): 입력에 따라 동적으로 매개변수를 조정하여 시퀀스 데이터의 문맥을 더 잘 이해하는 상태 공간 모델

**선형 복잡도:입력 데이터의 크기에 비례하여 계산량이 증가하는 알고리즘 복잡도 

 

김창익 교수 연구팀은 동영상 인식 모델의 효율성을 극대화하기 위해 비디오맘바에 1차원 데이터 처리에 국한된 기존 선택적 상태 공간 메커니즘을 3차원 시공간 데이터 분석이 가능하도록 고도화한 시공간적 전방 및 후방 선택적 상태 공간 모델(spatio-temporal forward and backward SSM)을 도입했다. 

이 모델은 순서가 없는 공간 정보와 순차적인 시간 정보를 효과적으로 통합해 인식 성능을 향상한다. 연구팀은 다양한 동영상 인식 벤치마크에서 비디오맘바의 성능을 검증했다. 

 

연구팀이 개발한 비디오맘바는 영상 분석이 필요한 다양한 응용 분야에서 효율적이고 실용적인 솔루션을 제공할 수 있다. 예를 들어, 자율주행에서는 주행 영상을 분석해 도로 상황을 정확하게 파악하고, 보행자와 장애물을 실시간으로 인식해 사고를 예방할 수 있다. 

의료 분야에서는 수술 영상을 분석해 환자의 상태를 실시간으로 모니터링하고 긴급 상황 발생 시 신속히 대처할 수 있다. 스포츠 분야에서는 경기 중 선수들의 움직임과 전술을 분석해 전략을 개선하고, 훈련 중 피로도나 부상 가능성을 실시간으로 감지해 예방할 수 있다.

 

< 그림 2. 비디오맘바 내부의 시공간적 전방 및 후방 선택적 상태 공간 모델 상세 구조 >

 

연구를 주도한 김창익 교수는 “비디오맘바의 빠른 처리 속도와 낮은 메모리 사용량, 그리고 뛰어난 성능은 우리 생활에서의 다양한 동영상 활용 분야에 큰 장점을 제공할 것이다”고 연구의 의의를 설명했다. 

이번 연구에는 전기및전자공학부 박진영 석박사통합과정, 김희선 박사과정, 고강욱 박사과정이 공동 제1 저자, 김민범 박사과정이 공동 저자, 그리고 전기및전자공학부 김창익 교수가 교신 저자로 참여했다. 

 

연구 결과는 올해 9월 이탈리아 밀라노에서 열리는 컴퓨터 비전 분야 최우수 국제 학회 중 하나인 ‘European Conference on Computer Vision(ECCV) 2024’에서 발표될 예정이다. (논문명: VideoMamba: Spatio-Temporal Selective State Space Model) 

한편, 이번 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행됐다. (No. 2020-0-00153, 기계학습 모델 보안 역기능 취약점 자동 탐지 및 방어 기술 개발)