우리 학부 강준혁 교수 연구실 이영준 박사과정이 IEEE BigData 2025와 함께 열린 D2ET Workshop에서 Best Paper Award를 수상했습니다.

D2ET 워크숍은 빅데이터 시대에 다양한 위치에 분산된 ‘데이터 아일랜드’ 문제를 해소하고, 데이터 통합과 활용성을 높이기 위한 새로운 데이터베이스 연구 방향을 모색하기 위해 개최되었습니다. 또한 본 워크숍은 일본 JSPS, 한국 NRF, 중국 NSFC가 공동 지원하는 A3 Foresight Program의 일환으로 운영되었습니다.

수상 논문은 이질적인 IoT 환경에서 안정적인 학습 성능을 확보하기 위한 생성형 AI 기반 연합학습 플러그인을 제안한 연구로, 데이터 활용성 향상이라는 워크숍의 취지와 부합해 높은 평가를 받았습니다.

우리 학부 최정우 교수 연구팀이 다양한 음향 단서를 활용하여 인간과 같은 종합적인 음향 장면 분석이 가능한  통합 음향 인공지능 모델 DeepASA를 개발하였으며, 해당 연구를 세계 최고 인공지능학회인 NeurIPS 2025에 발표하였다 (논문명: DeepASA: An Object-Oriented Multi-Purpose Network for Auditory Scene Analysis).  인간은 양 귀로 수집한 소리를 분석하여 소리가 발생한 방향이나 그 종류, 발생 시간, 그리고 소리가 반사된 공간에 대한 정보를 수집하는 지능을 가지고 있다. 또한, 여러 종류의 소리가 함께 들려올 때, 각 소리에 집중하여 개별적인 소리를 분리하여 이해하는 능력도 갖추고 있다. 

이처럼 고도화 된 청각 인공지능은 이전에는 없던 수준의 소리 기반 위험 물체 식별과 탐지를 가능케 한다. 예를 들면, 소리를 기반으로 장거리의 드론을 탐지하거나, 국경 감시 체계에서 이상 활동의 소리를 조기에 탐지할 수 있으며, 잡음에 묻혀 들리지 않는 소리를 복원하는 등 국방/보안 분야에서 위험 요소를 탐지하고 정보를 추출하기 위한 필수 인공지능 기술로 활용될 수 있다. 또한, 가상현실이나 증강 현실과 같이 다른 현장에서 취득된 공간 음향을 사용자에게 입체감 있게 제공하고자 할 때, 녹음된 공간 음향을 음원 별로 분리하고 소리의 방향이나 방의 특징 등을 추출하여, 재편집을 가능하게 한다. 즉, 공간음향의 완벽한 재편집과 재창조를 가능하게 해주는 차세대 AR/VR 오디오 렌더링의 핵심 기술이라 할 수 있다.

DeepASA 연구에는 KAIST 이동헌 박사와 권영후 석박통합과정이 참여했으며, 한국연구재단 (중견연구자지원사업) 과학기술정보통신부 (STEAM 연구사업) 및 국방과학연구소 (미래국방연구센터 사업)의 지원으로 수행되었다. 

연구진은 종합적인 태스크 수행으로 각각 태스크에 대한 성능이 한층 개선됨을 보였을 뿐만 아니라, 분리된 음원과 음원 종류, 방향이 발생하는 시간 패턴의 정합성 분석 (Temporal coherence matching)을 통해 재추론을 진행하는 ‘단계적 추론 방식 (Chain of Inference)’ 방식이 청각인공지능 모델의 성능을 한층 강화할 수 있음을 보였다.

NeurIPS 발표 이전에도, 연구진은 해당 기술의 일부를 사용하여 세계 최고 권위 음향 탐지 및 분석 대회인 DCASE 챌린지 2025의 Task 4에서 1위를 차지한 바 있다. 해당 태스크는 ‘공간 의미 기반 음향 장면 분할 (Spatial Semantic Segmentation of Sound Scenes)’을 다루며, 2025년 10월에 개최된 DCASE 2025 Workshop에서 단 한 팀에게 주어지는 Best Student Paper Award를 수상하였고, 분야별 우수 논문에게 주어지는 Best Judge’s Award도 동시 수상하였다.

이처럼 고도화 된 청각 인공지능은 이전에는 없던 수준의 소리 기반 위험 물체 식별과 탐지를 가능케 한다. 예를 들면, 소리를 기반으로 장거리의 드론을 탐지하거나, 국경 감시 체계에서 이상 활동의 소리를 조기에 탐지할 수 있으며, 잡음에 묻혀 들리지 않는 소리를 복원하는 등 국방/보안 분야에서 위험 요소를 탐지하고 정보를 추출하기 위한 필수 인공지능 기술로 활용될 수 있다. 또한, 가상현실이나 증강 현실과 같이 다른 현장에서 취득된 공간 음향을 사용자에게 입체감 있게 제공하고자 할 때, 녹음된 공간 음향을 음원 별로 분리하고 소리의 방향이나 방의 특징 등을 추출하여, 재편집을 가능하게 한다. 즉, 공간음향의 완벽한 재편집과 재창조를 가능하게 해주는 차세대 AR/VR 오디오 렌더링의 핵심 기술이라 할 수 있다.

DeepASA 연구에는 KAIST 이동헌 박사와 권영후 석박통합과정이 참여했으며, 한국연구재단 (중견연구자지원사업) 과학기술정보통신부 (STEAM 연구사업) 및 국방과학연구소 (미래국방연구센터 사업)의 지원으로 수행되었다. 

우리 학부 노용만 교수가 “인간 중심 멀티모달 신호 처리(Human-Centered Multimodal Signal Processing)에 대한 기여”를 인정받아 2026년 IEEE Fellow(석학회원)로 선정되었다.

노용만 교수는 인간의 인지 능력과 기계 지능 사이의 간극을 좁히는 연구를 통해, 멀티모달 휴먼 신호 분석을 위한 기반 프레임워크를 주도했고 가상현실(VR) 품질을 정량화에서 최초의 인간 중심 개인화 모델을 개발해 왔다. 특히 글로벌 학계에서 광범위하게 인용되고 있는 연구 성과와 학술적 영향력은 글로벌 신호 처리 커뮤니티에서 그의 권위를 입증하고 있다.

이러한 인간 중심 분석 연구를 바탕으로, 노 교수는 현재 멀티모달 거대언어모델(MLLM)과 멀티모달 AI(Multimodal AI) 분야를 선도하고 있다. 그의 연구실은 “포용적 인간 멀티모달 AI(Inclusive Human Multimodal AI)”를 구현하는 AI 에이전트 개발에 주력하고 있으며, 이러한 비전은 최근 AI 분야 탑티어 학회인 ACL 2024에서 ‘Outstanding Paper Award’를 수상한 연구성과를 통해 입증되었다. 이 연구는 인간의 신호를 인지하고 공감할 수 있는 인공일반지능(AGI)을 향한 도약을 의미한다.

연구와 병행하여 노 교수는 IEEE 신호처리학회(Signal Processing Society)의 IVMSP 기술위원회(Technical Committee) 선출 위원 및 IEEE Transactions on Image Processing(TIP)의 편집 위원으로 활동하며 분야를 이끌고 있으며, 학계와 글로벌 최고 수준의 기술 연구기관에서 연구 개발을 주도하고 있는 100명 이상의 석·박사 제자들을 양성해 왔다.

우리 학부 한동수 교수 연구팀이 저렴한 소비자급 GPU를 활용하여 대규모 언어모델(LLM) 서비스 비용을 획기적으로 절감하는 엣지 지원 추론 프레임워크를 개발했다.

현재 LLM 추론 서비스는 데이터센터의 전용 가속기 및 GPU에 전적으로 의존하고 있어, 대규모 언어 모델 서비스에 막대한 재정 및 인프라가 필요하다. 데이터센터 GPU보다 저렴한 고성능 소비자급 GPU가 데이터센터 밖 엣지에 널리 보급되었지만, 통신 인프라가 제한적인 인터넷 환경에서는 기존 LLM 추론 아키텍처의 구조적 한계로 인해 이를 효율적으로 활용하지 못하고 있다.

한동수 교수 연구팀은 이러한 문제를 해결하기 위해 엣지 지원 추론 프레임워크 SpecEdge를 개발하였다. SpecEdge는 소비자급 엣지 GPU와 데이터센터 GPU 간 연산을 효과적으로 분담하여 LLM 추론 비용을 절감한다. 또한 추측적 디코딩(Speculative Decoding) 기법을 채택하여 인터넷 환경에서 엣지 GPU와 데이터센터 GPU 간 통신을 원활하게 구현하였다. 추측적 디코딩은 비교적 작은 언어모델로 확률이 높은 여러 토큰을 빠르게 생성한 뒤, 대규모 언어모델이 이를 검증하는 기법이다. SpecEdge는 엣지 GPU에 작은 모델을 배치해 확률 높은 토큰 시퀀스를 한 번에 생성하고, 이를 데이터센터 GPU로 전송하여 일괄 검증한다.

SpecEdge는 엣지 GPU가 서버의 검증 결과를 기다리는 동안에도 지속적으로 토큰을 생성하는 전략을 채택했다. 초기 토큰 생성 후 엣지는 가장 높은 확률의 경로를 따라 추가 토큰을 미리 생성하며, 검증 결과가 모두 일치하면 미리 생성한 토큰을 즉시 활용할 수 있다. 또한 서버측 파이프라인 최적화를 통해 여러 엣지의 검증 요청을 지능적으로 배치하여 서버 GPU 활용도를 극대화한다. 한 엣지 GPU가 초안을 생성하는 동안 서버는 다른 요청을 검증함으로써 유휴 시간을 제거하고 더 많은 요청을 처리할 수 있다.

이번 연구는 엣지에 널리 보급된 GPU를 활용하여 데이터센터 내 GPU 의존도를 낮출 수 있는 가능성을 제시하였다. 엣지 상 NPU까지 확장 가능한 SpecEdge 프레임워크는 비용과 데이터센터의 한정적 GPU 수량 문제를 해결하여 고품질 LLM 서비스 배포 기회를 제공한다. 이는 AI 서비스 시장의 진입장벽을 낮추고 경쟁을 활성화하여 국내 AI 산업 생태계 발전에 토대를 마련할 수 있다.

한동수 교수는 “엣지 클라우드의 GPU를 넘어 사용자의 엣지 디바이스를 LLM 인프라로 활용할 수 있게 하는 연구를 지속하겠다”며, “사용자의 엣지 자원 활용은 서비스 제공자의 비용 부담을 줄여 고품질 LLM 접근 장벽을 낮추고 모두를 위한 AI의 기반이 될 것”이라고 덧붙였다.

이번 연구에는 KAIST 박진우 박사와 조승근 석사과정이 참여했으며, 연구 결과는 12월 2일부터 7일까지 미국 샌디에이고에서 열린 인공지능 분야 최고 권위 국제 학회인 Annual Conference on Neural Information Processing Systems (NeurIPS)에서 Spotlight로 (상위 3.2% 논문) 발표될 예정이다(논문명: SpecEdge: Scalable Edge-Assisted Serving Framework for Interactive LLMs).