전기및전자공학부 김용훈 교수팀, 3차원 컴퓨터 비전 인공신경망 기반 계산 방법론 세계 최초 개발

images 000084 photo1.jpg 2

< (왼쪽부터) 전기및전자공학부 김용훈 교수, 이룡규 박사과정 >

인공지능과 고성능 과학계산 간의 밀접한 관련성은 최근 2024년도 노벨 물리학상과 화학상이 동시에 수상된 것을 보면 알 수 있다. 우리 연구진이 인공지능을 활용하여 3차원 공간에 분포하는 원자 수준의 화학결합 정보를 예측하여 양자역학적 고성능 컴퓨터 시뮬레이션의 계산 시간을 획기적으로 단축하는데 성공했다. 

 

우리 학부 김용훈 교수팀이 물질의 특성을 도출하기 위해 슈퍼컴퓨터를 활용해 수행되는 원자 수준 양자역학적 계산에 필요한 복잡한 알고리즘을 우회하는 3차원 컴퓨터 비전 인공신경망 기반 계산 방법론을 세계 최초로 개발했다. 

 

슈퍼컴퓨터를 활용한 양자역학적 밀도범함수론(density functional theory, DFT)* 계산은 빠르면서도 정확하게 양자 물성을 예측할 수 있게 해 첨단 소재 및 약물 설계를 포함한 광범위한 연구·개발 분야에서 표준적인 도구로 자리 잡아 필수 불가결한 역할을 하고 있다. *밀도범함수론(DFT): 원자 단위에서부터 양자역학적으로 물성을 계산하는 제1원리 계산의 대표적인 이론 

 

그러나 실제 밀도범함수론 계산에서는 3차원적인 전자밀도를 생성한 후 양자역학 방정식을 푸는 복잡한 자기일관장 과정(self-consistent field, SCF)*을 수십에서 수백 번씩 반복해야 해서 그 적용 범위가 수백~수천 개의 원자로 제한되는 한계가 있었다. *자기일관장(SCF): 상호 연결된 여러 개의 연립 미분 방정식으로 기술해야 하는 복잡한 다체 문제(many-body problem)를 해결하기 위해 널리 사용되는 과학계산법

images 000084 image1.jpg 2

< 그림 1. 물질·소재 시뮬레이션에는 공간-시간 수준(level) 또는 스케일(scale)에 따라 나노미터(nm) 수준에서의 양자역학적 계산, 수십~수백 나노미터 규모의 고전역학적 힘장(force fields) 계산, 거시적 규모에서의 연속체 역학 계산 및 서로 다른 스케일의 시뮬레이션들을 혼합하는 계산 등의 다양한 방법론들이 활용됨. 이러한 시뮬레이션들은 이미 정보학(informatics) 기법 등과 결합하여 광범위한 기초연구 및 응용개발 분야에서 핵심적인 역할을 하고 있음. 최근에는 기계학습 기법을 도입해 시뮬레이션을 급진적으로 가속하고자 하는 노력이 활발하게 이루어지고 있으나 상위 스케일 시뮬레이션들의 근간을 이루는 양자역학적 전자구조 계산에 기계학습 기법을 도입하는 연구는 아직 미진한 상황임. >

 

김용훈 교수 연구팀은 자기일관장 과정을 최근 급속한 발전을 이룬 인공지능 기법으로 회피하는 것이 가능한지 질문했다. 그 결과 3차원 공간에 분포된 화학 결합 정보를 컴퓨터 비전 분야의 신경망 알고리즘을 통해 학습해 계산을 가속화하는 딥SCF(DeepSCF) 모델을 개발했다. 

 

연구진은 밀도범함수론에 따라 전자밀도가 전자들의 양자역학적 정보를 모두 포함하고 있으며 이에 더해 전체 전자밀도와 구성 원자들의 전자밀도의 합 간의 차이인 잔여 전자밀도가 화학결합 정보를 담고 있는 점에 주목하고 기계학습의 목표물로 선정했다.

 

 

images 000084 image2.jpg 1

< 그림 2. 이번 연구에서 개발된 딥SCF 방법론은 전통적인 양자역학적 전자구조 계산에서 반복적으로 수행되어야 했던 자기일관장 과정을(주황색 박스) 인공신경망 기법을 통해 회피하여 DFT 계산을 급속히 가속화 하는 방안을 제공함(초록색 박스). 자기일관장 과정은 3차원 전자밀도를 예측하고 이에 해당하는 포텐셜을 구성한 후 양자역학적 콘-샴 방정식을 푸는 것을 수십-수백번 반복하는 과정임. 딥SCF 방법론의 핵심적인 아이디어는 전자밀도(ρ)와 구성 원자들의 전자밀도 합(ρ0) 차이인 잔여 전자밀도(δρ)가 화학결합 정보에 해당하므로 3차원 합성곱신경망 모델로 자기일관장 과정을 대체하는 것임. >

 

이후 다양한 화학결합 특성을 포함한 유기 분자들의 데이터 세트를 채택했고 그 안에 포함된 분자들의 원자구조들에 임의의 회전과 변형을 가해 모델의 정확도 및 일반화 성능을 더욱 높였다. 최종적으로 연구팀은 복잡하고 큰 시스템에 대해 딥SCF 방법론의 유효성 및 효율성을 입증했다. 

 

이번 연구를 지도한 김용훈 교수는“3차원 공간에 분포된 양자역학적 화학결합 정보를 인공 신경망에 대응시키는 방법을 찾았다”며 “양자역학적 전자구조 계산이 모든 스케일의 물성 시뮬레이션의 근간이 되므로 인공지능을 통한 물질 계산 가속화의 전반적인 기반 원리를 확립한 것”이라고 연구의 의의를 부여했다.

 

 

images 000084 image3.jpg

< 그림 3. 탄소나노튜브 기반의 DNA 염기서열 분석 소자 모델(상단 왼쪽)에 대한 딥SCF 방법론 적용 예시. 고전역학적 원자간 힘뿐만 아니라(하단 오른쪽) 화학 결합의 정보를 담고 있는 잔여 전자밀도(상단 오른쪽) 및 전자 상태밀도(density of states, DOS)와 같은 양자역학적 전자구조 특성들(하단 왼쪽)을 SCF 과정을 수행하는 표준 DFT 계산 결과에 대응되는 정확도로 빠르게 예측함. >

 

전기및전자공학부 이룡규 박사과정이 제 1저자로 수행한 이번 연구는 소재 계산 분야의 권위 있는 학술지 ‘네이쳐 파트너 저널 컴퓨테이셔널 머터리얼즈(Npj Computational Materials)’에 10월 24일 字 온라인판에 게재됐다. (논문명 : Convolutional network learning of self-consistent electron density via grid-projected atomic fingerprints) 

 

한편, 이번 연구는 KAIST 석박사 모험사업, 한국연구재단 중견연구자지원사업 등의 지원을 받아 수행되었다.

 

전기및전자공학부 제민규 교수 연구실 최종윤 · Vincent Lukito 박사과정, 제25회 대한민국 반도체 설계대전 기업특별상(Telechips) 수상

전기및전자공학부 제민규 교수 연구실 최종윤 · Vincent Lukito 박사과정,

제25회 대한민국 반도체 설계대전 기업특별상(Telechips) 수상

     <(왼쪽부터) 최종윤 박사과정, Vincent Lukito 박사과정>

 

우리 학부 제민규 교수 연구실의 최종윤 박사과정 학생과 Vincent Lukito 박사과정 학생이 10월 24일 서울 코엑스에서 열린 ‘제25회 대한민국 반도체 설계대전’에서 기업특별상(Telechips)을 수상하는 성과를 거두었습니다.

 

‘대한민국 반도체 설계대전’은 반도체 설계 분야 대학(원)생들의 설계 능력을 배양하고 창의적인 아이디어를 발굴하여 반도체 산업의 기초 경쟁력을 키우는 것을 목표로, 한국반도체산업협회와 산업통상자원부의 주최 하에 다양한 기업들의 후원을 받아 매년 개최되고 있습니다.

 

대전 수상 사진 1

     <시상식 사진>

 

수상한 연구 작품의 제목은 “Spike Sorting SoC with Delta-based Detection and Analog CIM-based Autoencoder Neural Network Feature Extraction Achieving 94.54% Accuracy”이며, 최종윤 박사과정, Vincent Lukito 박사과정이 참여하였습니다.

 

해당 연구는 창의성, 기술성, 사업성, 완성도를 기준으로 평가되어 창의적인 주제, 기술적인 높은 난이도 및 우수성, 상용화 가능성, 작업의 완성도 및 검증 수준에 있어 훌륭한 입지를 가지고 있음을 인정받아 기업특별상(Telechips)을 수여 받았습니다.

전기및전자공학부 유창동 교수 연구실 2024 분당서울대학교병원 급성신손상 데이터톤 대상 수상

유창동 교수님 연구실 2024 분당서울대학교병원 급성신손상 데이터톤 대상 수상

members

<(좌측부터) 유창동 교수, 홍지우 박사과정, 구관형 박사과정, 이영환 석사과정, 윤선재 박사과정>

 

우리 학부 유창동 교수님 연구실의 홍지우 박사과정생, 구관형 박사과정생, 이영환 석사과정생, 그리고 윤선재 박사과정생이 ‘2024 분당서울대학교병원 급성신손상 데이터톤’에 팀명 ‘유벤져스’로 참가하여 대상을 수상하였습니다.  

 

해당 대회는 분당서울대학교병원이 주최한 온라인 데이터톤으로, 급성신손상 환자 데이터셋을 활용해 아이디어를 제안하고 디지털 헬스케어 AI 모델을 개발하는 대회입니다.  특히, 성능 뿐만 아니라 성별, 종교 등과 무관하게 공정한 성능을 보이는 AI 모델을 개발하는 것이 주요 목표입니다.

 

유벤져스 팀원들은 개발한 모델의 성능, 공정성, 독창성, 활용성 등을 인정받아 수상자로 선정되었습니다.

award

   <2024 분당서울대학교병원 급성신손상 데이터톤에서 대상을 수상한 ‘유벤저스’ 팀>

자세한 내용은 다음과 같습니다.
 
대회명: 2024 분당서울대학교병원 급성신손상 데이터톤
 
대회 개요: 급성 신손상(AKI) 환자 데이터셋을 활용해 실제 진료 현장에서 활용할 수 있는 AKI 예측 AI 모델을 개발. 예선에서는 MIMIC-IV 데이터셋으로 AKI 예측 AI 모델을 개발하고, 본선에서는 분당서울대학교병원의 실제 데이터로 실전 모델을 개발.
 
대회 기간: 9월 12일 – 10월 20일
 
수상: 대상 (분당서울대학교병원 의생명연구원장상)
 
참가자: 홍지우(팀장), 구관형, 이영환, 윤선재

전기및전자공학부 권경하 · 이상국 교수팀, 전기화학 임피던스 분광법 기술 개발

images 000083 photo1.jpg 4

 < (왼쪽부터) 전기및전자공학부 이영남 박사과정, 이상국 교수, 권경하 교수 >

 

전기차 배터리를 효율적으로 관리하고 안전하게 사용하기 위해서는 정확한 배터리 상태 진단이 필수적이다. 우리 연구진이 소량의 전류만을 사용해 높은 정밀도로 배터리의 상태를 진단하고 모니터링할 수 있는 기술을 개발하여 배터리의 장기적 안정성과 효율성을 극대화할 것으로 기대된다. 

 

우리 학부 권경하 교수와 이상국 교수 연구팀이 전기차 대용량 배터리의 안정성과 성능 향상에 활용할 수 있는 전기화학 임피던스 분광법(이하 EIS) 기술을 개발했다고 17일 밝혔다. 

 

EIS 기술은 배터리의 임피던스* 크기와 변화를 측정해 배터리 효율과 손실을 평가할 수 있는 강력한 도구로, 배터리의 충전 상태(state-of-charge; SOC) 및 건강 상태(state-of-health; SOH)를 평가하는 중요한 도구로 여겨진다. 또한 배터리의 열적 특성과 화학적/물리적 변화, 수명 예측, 고장의 원인을 식별하는 데 활용 가능하다.  * 배터리 임피던스: 배터리 내부에서 전류 흐름에 저항하는 요소로, 이를 통해 배터리 의 성능과 상태를 평가할 수 있는 지표

 

그러나 기존 EIS 장비는 비용 및 복잡성이 높아 설치, 운영 및 유지 보수가 쉽지 않다. 또한, 감도 및 정밀도 제약으로 수 암페어(A)의 전류 교란을 배터리에 인가하는 과정에서 배터리에 큰 전기적 스트레스가 가해지기 때문에 배터리의 고장이나 화재 위험을 증가시킬 수 있어 활용이 어려웠다. 

 

이에 연구팀은 고용량 전기차 배터리의 상태 진단 및 건강 모니터링을 위한 소전류 EIS 시스템을 개발하고 입증했다. 이 EIS 시스템은 낮은 (10mA) 전류 교란으로, 배터리의 임피던스를 정밀하게 측정할 수 있으며 측정 시 발생하는 열적 영향 및 안전 문제를 최소화한다. 

 

추가로 부피가 크고 비용이 많이 드는 구성요소를 최소화해 차량 내 탑재가 용이한 설계다. 해당 시스템은 전기차 배터리의 여러 운영 조건(다양한 온도 및 배터리 잔존용량을 나타내는 SOC 레벨에서 배터리의 전기화학적 특성을 효과적으로 파악할 수 있음이 입증됐다.

 

images 000083 image1.jpg 2

< 그림 1. 전기차 배터리 임피던스 측정을 통한 상태 진단 및 사고 방지 흐름도 >

 

권경하 교수(교신저자)는 “이 시스템은 전기차용 배터리 관리 시스템 (BMS)에 쉽게 통합 가능하며, 기존의 고전류 EIS 방식 대비 비용과 복잡성을 현저히 낮추면서도 높은 측정 정밀도를 입증했다ˮ면서 “전기차 뿐만 아니라 에너지저장시스템(ESS)의 배터리 진단 및 성능 향상에도 기여할 수 있을 것ˮ이라고 말했다. 

 

이번 연구 결과는 국제 저명 학술지 ‘IEEE Transactions on Industrial Electronics (동 분야 상위 2%; IF 7.5)’에 지난 9월 5일 발표됐다.

 

(논문명 : Small-Perturbation Electrochemical Impedance Spectroscopy System With High Accuracy for High-Capacity Batteries in Electric Vehicles, 링크: https://ieeexplore.ieee.org/document/10666864

 

images 000083 image2.jpg 2

 그림 2. 전기차용 대용량 배터리의 임피던스 측정 결과 >

 

한편, 이번 연구는 과학기술정보통신부 한국연구재단의 기초연구사업, 산업통상자원부 한국산업기술기획평가원의 차세대지능형반도체기술개발사업 및 정보통신기획평가원의 인공지능반도체대학원사업의 지원을 받아 수행됐다.

 

관련 뉴스

KBS: KAIST “소량 전류로 전기차 배터리 정밀 진단 가능”

ChosunBiz: 전기차 화재 예측할 배터리 진단 기술 나왔다  등 다수

전기및전자공학부 최준일 교수 연구팀, 서울대와 공동으로 카이랄 나노입자를 이용한 새로운 가시광 통신 암호화 기술 개발

전기및전자공학부 최준일 교수 연구팀, 서울대와 공동으로 카이랄 나노입자를 이용한 새로운 가시광 통신 암호화 기술 개발

241008 main1

<(좌측부터) 최준일 교수, 한건호 석박통합과정, 서울대 한정현 박사과정, 지아웨이 류 박사, 남기태 교수>

 

최근 높은 주파수와 직진성을 가지며 많은 인프라에 구축된 조명 장치에 이용되는 가시광에 기반한 차세대 통신 기술이 주목받고 있다. 가시광 통신은 보안성과 데이터 전송 속도가 높다는 장점이 있으나, 여전히 신호 누설로 인한 도청 가능성이 존재하여 암호화 기술 개발은 필수적이다. 기존에 카이랄 나노입자의 카이랄 광학 특성을 가시광 통신에 접목하려는 시도가 없었으나, 공동 연구팀은 편광과 카이랄 광학 특성의 상호작용을 통해 암호화 성능이 증대할 수 있는 기술을 제시한 것이다.

 

전기및전자공학부 최준일 교수 연구팀은 서울대학교 재료공학부 남기태 교수 연구팀과의 공동 연구를 통해 카이랄 나노 입자의 카이랄 광학 특성을 이용하여 보안 성능을 향상시킨 가시광 통신 기술을 개발했다.

 

공동 연구팀은 가시광 통신 도청을 원천적으로 차단하기 위해 정당한 수신자만 보유하는 카이랄 나노입자의 카이랄 광학 특성에 최적화된 편광을 통해 보안성을 향상시킬 수 있다는 사실을 시뮬레이션을 통해 규명했다.

241008 main2

<그림 1. 본 연구에서 개발한 카이랄 나노입자를 이용한 신개념의 편광 기반 가시광 통신 암호화 시스템의 개념도>

 

공동 연구팀은 카이랄 나노입자를 통과하여 수신되는 신호에 카이랄 광학 특성 중 하나인 좌우원편광 흡수율 차이에 의해 새로운 차등 채널 (differential channel)이 발생함을 유도하였고, 차등 채널을 통과하여 수신되는 신호의 세기를 조절하여 암호화 성능을 향상시킬 수 있음을 보고했다.

 

또한 정당한 수신자와 도청자의 비트 에러 오류율을 비교하여 복제 및 탈취가 불가능한 가시광 통신의 암호화 성능이 증대함을 보고했고, 카이랄 광학 특성에 편광 상태를 최적화하여 가시광 통신의 보안성과 에너지 효율성을 선택적으로 활용할 수 있음을 밝혀냈다.

 

최준일 교수는 “재료공학과 전기공학 전공자의 공동 연구로 이런 훌륭한 연구 성과를 도출할 수 있었다”며 “앞으로 나노입자 기반의 가시광 통신 기술을 더욱 발전시켜 도청이 원천적으로 불가능한 통신 기술을 개발하고자 한다”고 밝혔다.

 

전기및전자공학부 한건호 석박통합과정, 서울대학교 한정현 박사과정, 서울대학교 지아웨이 류 박사후연구원이 공동 제1저자로 참여한 이번 연구는 최고 권위 다학제 학술지 ‘네이처 커뮤니케이션즈 (Nature Communications)’ 9월호에 출판됐다. (논문명: Spatiotemporally modulated full-polarized light emission for multiplexed optical encryption) 한편 이번 연구는 국방과학연구소 미래도전국방기술개발사업의 지원을 받아 수행됐다.

전기및전자공학부 배현민 교수 연구실 이지민 석사과정, 기능적 근적외선 분광법 학회(fNIRS 2024) Poster Excellence Award 수상

전기및전자공학부 배현민 교수 연구실 이지민 석사과정, 기능적 근적외선 분광법 학회(fNIRS 2024) Poster Excellence Award 수상

Inline image 2024 09 27 10.48.45.675

<(왼쪽부터) 이지민 석사과정, 유성권 박사과정, 고범준 박사과정, Liang Yuqing 석사졸업생 사진>

 

전기및전자공학부 배현민 교수 연구실의 이지민 석사과정 학생이 9월 11일부터 9월 15일, 영국 버밍엄 대학교에서 개최된 기능적 근적외선 분광법 학회(fNIRS 2024)에서 Poster Excellence Award를 수상하는 성과를 거두었습니다. 
 
올해로 7회를 맞이한 fNIRS는 2년마다 개최되는 국제학술대회이며, 뇌를 포함한 생체 조직의 기능적 특성을 이해하려는 기초 및 임상 과학자들이 참여하는 학회입니다. 
 
수상한 연구 포스터의 제목은 “Fiber-less speckle contrast optical spectroscopy system using a multi-hole aperture method”이며, 이지민 석사과정, 유성권 박사과정, 고범준 박사과정, Liang Yuqing 석사졸업생이 참여하였습니다.
 
해당 연구는 fNIRS 2024 Program Committee에 의해 우수성을 인정받았으며 Poster Excellence Award를 수여받았습니다.
 
이는 Scientific Excellence Awards중 하나로, 발표된 350개의 포스터 중 석/박사과정, 박사 후 펠로우를 대상으로 포스터나 프리젠테이션을 훌륭하게 수행한 참여자에게 수여하는 상입니다. 
 
 
Inline image 2024 09 27 10.45.16.005
      <상장 사진>

전기및전자공학부 원인수 석사, 지정민 박사과정, 이동균 박사, 2024 International Meeting on Information Display (IMID) 수상

[전기및전자공학부 원인수 석사, 지정민 박사과정, 이동균 박사, 2024 International Meeting on Information Display (IMID) 수상]

IMID

<(왼쪽부터) 원인수 석사, 지정민 박사과정 학생, 이동균 박사 사진>

 

전기및전자공학부 유승협 교수 연구실 원인수 석사 (‘24. 8 졸업), 박사과정 지정민 학생이 2024 International Meeting on Information Display (IMID)에서 현장 우수포스터상을 수상하였으며, 이동균 박사 (2024. 2 졸업)도 스트레쳐블 OLED 디스플레이에 관한 연구성과에 대해 김용배상 대상을 수상하였다.

 

International Meeting on Information Display (IMID)는 매년 여름, 개최하는 디스플레이 분야 세계 2대 국제학회이며, 이번 학술대회는 지난 8월 20일부터 23일까지 제주컨벤션센터 (ICC Jeju)에서 개최되었다.

 

지정민 박사과정생이 현장 발표를 한 포스터의 제목은 “Temperature-Dependent Dynamics of Triplet Excitons in MR-TADF OLEDs: Insights from Magneto-Electroluminescence Analysis” 로 산업통상자원부 혁신기술디스플레이혁신공정 사업 지원하에 삼성디스플레이와의 협력을 통해 수행되었다.

 

또한, 이동균 박사가 수상한 ‘김용배상 대상’은 당해년도 졸업한 디스플레이 분야 우수 졸업논문을 제출한 자 중 1명을 선발하여 IMID에서 시상하는 영예로운 상이다.

 

Best Paper Award

  <현장우수포스터상 사진>

 

<김용배상 대상 수상 사진>

권인소 교수 제38회 인촌상 수상자 선정

권인소 교수 제38회 인촌상 수상자 선정

<권인소 교수 사진>
 
권인소 교수가 9일 재단법인 인촌기념회와 동아일보사가 주최하는 제38회 인촌상에서 과학·기술 부문 수상자로 선정됐다. 
 
재단법인 인촌기념회와 동아일보사는 일제강점기 암울한 시대에 동아일보와 경성방직을 설립하고 중앙학교와 보성전문학교(현 고려대)를 통해 인재를 양성한 인촌 김성수 선생의 유지를 기리기 위해 1987년부터 인촌상을 제정해 시상하고 있다.
 
인촌기념회는 권인소 교수 선정과 관련, “1980년대 국내 불모지였던 로보틱스·컴퓨터비전 분야에 도전해 세계적인 연구 결과를 내놨다. 1세대 컴퓨터비전 연구자로 200여 명의 제자를 양성했고 인공지능(AI) 컴퓨터비전 분야의 기틀을 닦았다. 최근 인간의 주의 집중을 모사한 ‘어텐션’ 모델을 컴퓨터비전으로 확장했다. 영상 인식 성능을 획기적으로 높인 ‘CBAM’ 알고리즘을 개발했고, 관련 논문은 2만 회가 넘는 압도적인 인용 횟수를 기록했다.”고 밝혔다.
 
권인소 교수는 IEEE 회원으로 카이스트 자동화 및 설계공학과 학과장, 국제컴퓨터비전회지 편집위원, 카이스트 로보틱스 및 컴퓨터비전연구실 책임교수, 카이스트 P3디지카센터 센터장, IEEE 회원, 제11회 아시아컴퓨터비전총회 공동의장, 2016년 한국로봇학회장을 역임했다.

 
ㅇ수상자 발표: https://www.donga.com/news/People/article/all/20240909/130005987/2
ㅇ수상자 수상소감 및 공적: https://www.donga.com/news/Society/article/all/20240909/130005968/2

전기및전자공학부 한동수 교수 연구팀, 일반 소비자용 GPU로 분산 환경에서 AI 모델 학습 가속화 기술 개발

전기및전자공학부 한동수교수 연구팀, 일반 소비자용 GPU로 분산 환경에서 AI 모델 학습 가속화 기술 개발

2024 09 02 211619

<(좌측부터) 한동수 교수, 임휘준 박사, 예준철 박사과정 사진>

 

전기및전자공학부 한동수 교수 연구팀이 일반 소비자용 GPU를 활용해 네트워크 대역폭이 제한된 분산 환경에서 AI 모델 학습을 획기적으로 가속하는 기술을 개발했다.

 

최신의 AI 모델을 학습하기 위해서는 수천만 원대의 고성능 GPU와 고속 전용 네트워크 등 고비용 인프라가 필요하다.

이로 인해 학계 및 중소기업의 대다수 연구자는 저렴한 일반 소비자용 GPU에 의존해 모델을 학습하고 있지만, 네트워크 대역폭 제약으로 효율적인 모델 학습에 어려움을 겪고 있는 실정이다.

 

Inline image 2024 09 02 14.59.01.205

<그림 1. 기존 저비용 분산 딥러닝 환경에서의 문제>

 

한동수 교수 연구팀은 이러한 문제를 해결하기 위해 StellaTrain이라는 분산 학습 프레임워크를 개발하였다.

StellaTrain은 저비용 GPU에서 모델 학습을 가속하기 위해 CPU와 GPU를 함께 활용하는 파이프라인을 도입했고, 네트워크 환경에 따라 배치 크기 및 압축률을 동적으로 결정하는 알고리즘을 통합 적용해 고속 전용 네트워크 없이도 다중 클러스터 및 다중 노드 환경에서 빠른 모델 학습을 달성할 수 있게 했다.

 

StellaTrain은 학습 파이프라인을 최적화하여 GPU 활용률을 극대화하기 위해 그래디언트 압축과 최적화 과정을 CPU로 오프로딩하는 전략을 채택했다.

특히 CPU에서 효율적으로 동작하는 희소 최적화 기술과 캐시 인식 기반의 그래디언트 압축 기술을 새롭게 개발해 적용함으로써, CPU의 작업이 GPU의 연산과 중첩되는 끊임없는 학습 파이프라인을 구현했다.

또한 네트워크 상황에 따라 배치 크기와 압축률을 실시간으로 조절하는 동적 최적화 기술을 적용해 제한된 네트워크 환경에서도 높은 GPU 활용률을 달성했다.

 

Inline image 2024 09 02 14.59.01.206

<그림 2. StellaTrain 학습 파이프라인 개요도>

 

이를 통해 StellaTrain은 저비용 멀티 클라우드 환경에서 분산 모델 학습 속도를 크게 향상시켜, 기존 PyTorch DDP 대비 최대 104배의 성능 향상을 달성하였다.

한동수 교수 연구팀은 이번 연구를 통해 고가의 데이터센터급 GPU와 고속 네트워크 없이도 AI 모델을 효율적으로 학습시킬 수 있는 길을 열었으며, 이는 학계와 중소기업 등 자원이 제한된 환경에서 AI 연구 및 개발을 가속하는 데 큰 도움이 될 것으로 기대된다.

 

한동수 교수는 “KAIST가 AI 시스템 분야에서 우리나라의 리더십을 발휘하며 두각을 나타내고 있다”고 강조했다.

그는 “거대 IT 기업의 전유물로 여겨지던 대규모 언어 모델(LLM) 학습을 보다 저렴한 컴퓨팅 환경에서 구현할 수 있도록 적극적인 연구를 진행하겠다”며, “이번 연구가 그 목표를 향한 중요한 초석이 되기를 기대한다”고 덧붙였다.

 

이번 연구에는 KAIST 임휘준 박사와 예준철 박사과정, 그리고 UC Irvine의 Sangeetha Abdu Jyothi 교수가 참여했으며, 본 연구 결과는 8월 4일부터 8일까지 호주 시드니에서 열린 컴퓨터 네트워킹 분야 최고 권위의 국제 학회인 ACM SIGCOMM 2024에서 발표되었다 (논문명: Accelerating Model Training in Multi-cluster Environments with Consumer-grade GPUs).

 

한편, 한동수 교수 연구팀은 최근 오스트리아 빈에서 열린 ICML 2024에서 MoE (Mixture of Experts) 모델 학습을 가속할 수 있는 프레임워크인 ES-MoE를 발표하는 등 AI 시스템 분야에서 지속적인 연구 성과를 내고 있다.

 

한동수 교수 연구팀은 GPU 메모리 한계를 극복하고 대규모 MoE 모델 학습의 확장성과 효율성을 크게 향상시켜, 단 4개의 GPU로 150억 파라미터 규모의 언어 모델을 미세 조정할 수 있게 하는 성과를 거뒀다.

이는 한정된 컴퓨팅 자원으로도 대규모 AI 모델을 효과적으로 학습할 가능성을 열었다는 점에서 큰 의의가 있다.

 

 

Inline image 2024 09 02 14.59.01.207 1

<그림 3. ES-MoE 프레임워크 개요도>

 

Inline image 2024 09 02 14.59.01.207

<그림 4. 한동수 교수 연구팀은 StellaTrain과 ES-MoE 연구를 통해 GPU 수가 제한적이거나 고성능 GPU가 없는 상황에서도 저렴한 컴퓨팅 환경으로 AI 모델 학습을 가능하게 했다.>

 

 

 

 

 

전기및전자공학부 노용만 교수 연구팀, 인공지능 최우수 학술대회 ACL 2024에서 Outstanding Paper Award 수상

전기및전자공학부 노용만 교수 연구팀, 인공지능 최우수 학술대회 ACL 2024에서 Outstanding Paper Award 수상

1

<(좌측부터) 박세진 박사과정, 김채원 박사과정 사진>

 

전기및전자공학부 노용만 교수 연구팀의 박세진 박사과정 학생과 김채원 박사과정 학생이 2024년 방콕에서 열린 ACL (Association for Computational Linguistics) 학회에서 Outstanding Paper Award를 수상했다.

ACL은 자연어 처리(NLP) 분야의 세계 최우수 학회이자, 인공지능(AI) 분야의 Top tier 국제 학술대회이다.

 

이번 수상 논문인 “Let’s Go Real Talk: Spoken Dialogue Model for Face-to-Face Conversation“은 인간과 인공지능 간의 대화를 보다 자연스럽고 인간적인 경험으로 만들기 위해 개발된 혁신적인 모델을 제안했다. 

 

기존의 텍스트나 음성 기반의 대화 모델을 넘어, 이 연구는 휴먼 멀티모달 LLM(Large Language Model)을 개발하여 인공지능이 인간의 시각적 신호와 음성 정보를 종합적으로 이해하고, 인간의 얼굴과 음성으로 대화할 수 있는 능력을 갖추도록 했다 (그림).

 

이 연구는 대화 중의 비주얼 신호와 음성 신호를 동시에 처리하여, 인간과 인공지능 간의 상호작용을 보다 직관적이고 효과적으로 개선할 수 있는 가능성을 열었다. 

 

Inline image 2024 08 19 07.30.20.729

 

또한, 논문은 방콕에서 열린 ACL 2024에서 구두발표(oral presentation)로 소개되어 큰 주목을 받았다.

노용만 교수는 “이번 연구는 인간과 인공지능의 상호작용을 한 단계 발전시키는 중요한 성과라며, 이 기술이 다양한 실생활 응용에 널리 활용될 수 있기를 기대한다.  이번 수상은 KAIST전기및전자공학부의 인공지능 연구의 우수성을 다시 한번 국제적으로 입증한 사례이다”고 말했다.