아무리 많은 데이터를 학습해도, 인공지능(AI)은 왜 사람의 의도를 자주 빗나갈까? 사람의 선호를 이해시키기 위한 비교 학습은 오히려 AI를 혼란스럽게 만드는 경우도 적지 않았다. KAIST 연구진은 AI에게‘가정교사’를 붙이는 방식으로, 적은 데이터에서도 사람의 선호를 정확히 배우는 새로운 학습 해법을 제시했다.

우리 학부 김준모 교수 연구팀이 인간의 선호를 효과적으로 반영하면서도 데이터 효율성과 학습 안정성을 크게 향상시킨 강화학습 프레임워크 ‘TVKD(Teacher Value-based Knowledge Distillation)’를 개발했다.

기존 인공지능 학습 방식은 “A가 B보다 낫다”는 식의 단순 비교(preference comparison) 데이터를 대량으로 수집해 학습하는 구조였다. 이 방식은 많은 데이터가 필요하고, 판단이 애매한 상황에서는 AI가 혼란에 빠지기 쉽다는 한계가 있었다.

연구팀은 이러한 문제를 해결하기 위해, 사람의 선호를 먼저 깊이 이해한 ‘교사(Teacher) 모델’이 그 핵심 정보만을 ‘학생(Student) 모델’에게 전달하는 방식을 제안했다. 이는 복잡한 내용을 정리해 가르치는 가정교사에 비유할 수 있으며, 연구팀은 이를 ‘선호 증류(Preference Distillation)’라고 명명했다.

이번 기술의 가장 큰 특징은 단순히 ‘좋다·나쁘다’를 흉내 내는 것이 아니라, 각 상황이 얼마나 가치 있는지를 수치적으로 판단하는 ‘가치 함수(Value Function)’를 교사 모델이 학습한 뒤 이를 학생 모델에 전달하도록 설계했다는 점이다.

이를 통해 AI는 애매한 상황에서도 단편적인 비교가 아닌, ‘이 선택이 왜 더 나은지’를 종합적으로 판단하며 학습할 수 있다.

이번 기술의 핵심은 크게 두 가지다. 첫째, 문맥 전체를 고려한 가치 판단을 학생 모델에 반영함으로써, 단편적인 답변이 아닌 전체 흐름을 이해하는 학습이 가능해졌다. 둘째, 선호 데이터의 신뢰도에 따라 학습 중요도를 조절하는 기법을 도입했다. 명확한 데이터는 학습에 크게 반영하고, 모호하거나 잡음이 섞인 데이터는 영향력을 줄여 현실적인 환경에서도 AI가 안정적으로 학습할 수 있도록 했다.

연구팀이 이 기술을 여러 AI 모델에 적용해 실험한 결과, 기존에 가장 성능이 좋다고 알려진 방법들보다 더 정확하고 안정적인 성능을 보였다. 특히 엠티-벤치(MT-Bench), 알파카-이밸(AlpacaEval) 등 주요 평가 지표에서 기존 최고 기술을 안정적으로 앞서는 성과를 기록했다.

김준모 교수는 “현실에서는 사람의 선호 데이터가 항상 충분하거나 완벽하지 않다”며 “이번 기술은 그런 제약 속에서도 AI가 일관되게 학습할 수 있게 해, 다양한 분야에서 실용성이 매우 높을 것”이라고 말했다.

우리 학부 권민찬 박사과정이 제1 저자로 참여한 연구 성과는 국제 인공지능 분야 최고 권위 학회인‘신경정보처리시스템학회(NeurIPS) 2025’에 채택됐다. 해당 연구는 2025년 12월 3일(미국 태평양시간) 포스터 세션에서 발표됐다.

※논문명: Preference Distillation via Value based Reinforcement Learning), DOI: https://doi.org/10.48550/arXiv.2509.16965

한편 이번 연구는 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구 성과물(No.RS-2024-00439020, 지속가능한 실시간 멀티모달 인터렉티브 생성 AI 개발, SW스타랩)을 지원을 받아 수행했다.

관련 대표 기사

– 연합뉴스 : 1월 과기인상에 정명수 대표…AI 인프라 비용 절감 기여

– 조선비즈 : 1월 대한민국 과학기술인상에 정명수 파네시아 대표

– 동아사이언스 : 1월 대한민국 과학기술인상에 정명수 파네시아 대표…모듈형 AI 데이터센터 설계

– 서울경제 1: “엔비디아 GPU만으론 한계…나노초급 반도체 연결로 K-AI 뒷받침” [정명수 파네시아 대표]

– 서울경제 2: 대한민국 과학기술인상에 정명수 파네시아 대표

– 디지털타임스 : 정명수 파네시아 대표 ‘1월 대한민국 과기인상’…AI 인프라 혁신 기여

– 디지털투데이 : 1월 과기인상에 정명수 파네시아 대표…모듈형 AI DC 아키텍처 설계

– 머니투데이 : 새해 첫 ‘대한민국 과학기술인상’에 AI 데이터센터 전문가 정명수 대표

– 이투데이 : 정명수 파네시아 대표, 1월 대한민국 과학기술인상 수상

– 이데일리 : ‘대한민국 과학기술인상’ 1월 수상자에 정명수 대표

– 기계신문 : 정명수 파네시아 대표, ‘대한민국 과학기술인상’ 1월 수상 

– 아시아경제 : 대한민국 과학기술인상 1월 수상자에 정명수 파네시아 대표

구글 Gemini 등 대부분의 주요 상용 거대언어모델(LLM)은 효율성을 높이기 위해 여러 개의 ‘작은 AI 모델(전문가 AI)’를 상황에 따라 선택해 사용하는 전문가 혼합(Mixture-of-Experts, MoE) 구조를 활용하고 있다. 그러나 이 구조가 오히려 새로운보안 위협이 될 수 있다는 사실이 우리 학부 연구진에 의해 세계 최초로 밝혀졌다.

우리 학부 신승원 교수와 전산학부 손수엘 교수 공동연구팀이 전문가 혼합 구조를 악용해 거대언어모델의 안전성을 심각하게 훼손할 수 있는 공격 기법을 세계 최초로 규명했다. 해당 연구는 정보보안 분야 최고 권위 국제 학회인 ACSAC 2025에서 최우수논문상(Distinguished Paper Award)을 수상했다.

ACSAC(Annual Computer Security Applications Conference)는 정보보안 분야에서 가장 영향력 있는 국제 학술대회 중 하나로, 올해 전체 논문 가운데 단 2편만이 최우수논문으로 선정됐다. 국내 연구진이 인공지능 보안 분야에서 이 같은 성과를 거둔 것은 매우 이례적이다.

연구팀은 이번 연구에서 전문가 혼합 구조의 근본적인 보안 취약성을 체계적으로 분석했다. 특히 공격자가 상용 거대언어모델의 내부 구조에 직접 접근하지 않더라도, 악의적으로 조작된 ‘전문가 모델’ 하나만 오픈소스로 유통될 경우, 이를 활용한 전체 거대언어모델이 위험한 응답을 생성하도록 유도될 수 있음을 입증했다.

쉽게 말해, 정상적인 AI 전문가들 사이에 단 하나의 ‘악성 전문가’만 섞여 있어도, 특정 상황에서 그 전문가가 반복적으로 선택되며 전체 AI의 안전성이 무너질 수 있다는 것이다. 이 과정에서도 모델의 성능 저하는 거의 나타나지 않아, 문제를 사전에 발견하기 어렵다는 점이 특히 위험한 요소로 지적됐다.

실험 결과, 연구팀이 제안한 공격 기법은 유해 응답 발생률을 기존 0%에서 최대 80%까지 증가시킬 수 있었으며, 다수의 전문가 중 단 하나만 감염돼도 전체 모델의 안전성이 크게 저하됨을 확인했다.

이번 연구는 전 세계적으로 확산되고 있는 오픈소스 기반 거대언어모델 개발 환경에서 발생할 수 있는 새로운 보안 위협을 최초로 제시했다는 점에서 큰 의미를 갖는다. 동시에, 앞으로 AI 모델 개발 과정에서 성능뿐 아니라 ‘전문가 모델의 출처와 안전성 검증’이 필수적임을 시사한다.

신승원·손수엘 교수는 “효율성을 위해 빠르게 확산 중인 전문가 혼합 구조가 새로운 보안 위협이 될 수 있음을 이번 연구를 통해 실증적으로 확인했다”며, “이번 수상은 인공지능 보안의 중요성을 국제적으로 인정받은 의미 있는 성과”라고 말했다.

이번 연구에는 우리 학부 김재한·송민규 박사과정, 나승호 박사(현 삼성전자), 신승원 교수와 전산학부 손수엘 교수가 참여했으며, 연구 결과는 2025년 12월 12일 미국 하와이에서 열린 ACSAC에서 발표됐다.

※ 논문명: MoEvil: Poisoning Experts to Compromise the Safety of Mixture-of-Experts LLMs

※ GitHub(기술 오픈소스): https://github.com/jaehanwork/MoEvil

한편 이 연구는 과학기술정보통신부의 한국인터넷진흥원(KISA) 및 정보통신기획평가원 (IITP)의 지원을 받았다.