보통 그림과 글자가 함께 있을 때 사람의 시선이 그림에 먼저 가는 것처럼, 여러 감각을 동시에 활용하는 ‘멀티모달 인공지능’도 특정 데이터에 더 크게 의존하는 경향이 있다.  이러한 상황에서도 그림과 글자를 모두 고르게 인식하여 훨씬 더 정확한 예측을 가능케 하는 멀티모달 인공지능 학습 기술이 개발됐다. 

우리 학부 황의종 교수 연구팀은 다양한 데이터 유형을 한 번에 처리해야 하는 멀티모달 인공지능이 모든 데이터를 고르게 활용할 수 있도록 돕는 새로운 학습 데이터 증강 기술을 개발했다.

멀티모달 인공지능은 텍스트, 영상 등 여러 데이터를 동시에 활용해 판단하고 있다. 하지만 인공지능은 여러 정보를 받아들일 때, 한쪽 데이터에 치우쳐 판단하는 경향을 보여 예측 성능이 떨어지는 문제가 있었다.

연구팀은 이 문제를 해결하기 위해, 일부러 서로 어울리지 않는 데이터를 섞어서 학습에 사용했다. 그러면 인공지능은 어떤 경우에도 한쪽 데이터에만 의존하지 않고, 글과 그림, 소리 등 모든 데이터를 균형 있게 활용하는 방법을 배우게 된다.

또, 품질이 낮은 데이터는 보완하고, 어려운 데이터는 더 강조해서 훈련하는 방식까지 더해 다양한 상황에서도 안정적으로 성능을 높일 수 있음을 보여줬다. 이 방법은 특별한 모델 구조에 묶이지 않고, 어떤 종류의 데이터에도 쉽게 적용할 수 있어 확장성과 실용성이 크다는 점에서 의미가 있다.

황의종 교수는 “AI 성능을 높이려면 모델 구조(알고리즘)만 바꾸는 것보다, 어떤 데이터를 어떻게 학습에 쓰느냐가 훨씬 중요하다”며 “이번 연구는 멀티모달 인공지능이 특정 데이터(예: 영상, 텍스트)에 치우치지 않고 균형 있게 정보를 활용할 수 있도록 데이터 자체를 설계하고 가공하는 접근법이 효과적일 수 있음을 보여줬다”고 말했다.

이번 연구에는 전기및전자공학부 황성현 박사과정, 최소영 석사과정이 공동 제1저자로 참여했으며, 황의종 교수가 교신저자로 참여했다. 연구 결과는 오는 12월 미국 샌디에이고와 멕시코 멕시코시티에서 열리는 AI 분야 최고 권위 국제학술대회 NeurIPS(Conference on Neural Information Processing Systems)에서 발표될 예정이다.

※ 논문명: MIDAS: Misalignment-based Data Augmentation Strategy for Imbalanced Multimodal Learning, 

   논문 원본: https://arxiv.org/pdf/2509.25831

한편, 이번 연구는 정보통신기획평가원(IITP)의 지원을 받은 ‘강건하고 공정하며 확장 가능한 데이터 중심의 연속 학습’ 과제 (RS-2022-II220157)와 ‘뇌질환 진단 및 치료용 비침습 근적외선 기반 AI 기술’ 과제 (RS-2024-00444862)의 지원을 받아 수행됐다. 

우리 학부 조성환 교수 연구실의 ‘초거대 AI 모델을 위한 초광대역 메모리 IC 기술’이 삼성 미래기술 육성사업의 2025 하반기 과제로 선정됐다. 폭발적으로 증가하는 AI 모델의 요구를 감당할 수 있는 차세대 AI 메모리 시스템의 근본적 혁신을 목표로 하는 연구다.

최근 AI 프로세서의 연산 성능은 비약적으로 향상되고 있으나, 메모리 대역폭의 발전 속도는 여전히 이에 미치지 못하고 있다. High Bandwidth Memory(HBM)의 등장에도 불구하고 이러한 격차는 오히려 확대되어 전체 AI 시스템의 성능 병목으로 작용하고 있다. 

연구팀은 이러한 한계를 극복하기 위해 초고밀도 칩 간 연결 기술과 초고속 통신 회로 기술을 핵심 축으로 연구를 추진한다. 또한 제안된 초광대역 메모리 인터페이스를 기반으로 새로운 AI 메모리 계층을 제안하고 그 운영 방식과 세부 구조를 고안하여 전체 AI 반도체시스템의 성능을 검증할 계획이다.

이 연구를 통해 개발되는 초광대역 메모리 기술은 초거대 AI 모델을 위한 차세대 메모리 시스템의 핵심 기술이 될 것으로 기대하고 있으며, 또한 DRAM의 응용 시장을 확장할 수 있을 것으로 기대된다.