<(좌측부터) 윤찬현 교수, 장진혁 박사과정, 이창하 박사과정, 전민수 박사 사진>

우리 학부 윤찬현 교수 연구팀은 확산 모델 기반의 생성형 AI가 빈번하게 비정상 데이터를 생성하는 문제를 개선할 수 있는 Momentum기반 생성 기술을 개발하였다.

최근 큰 관심을 받고 있는 확산 모델 기반의 생성형 AI은 전체적으로 사실적인 영상을 생성하지만, 기이하게 꺾인 관절, 세 개뿐인 말의 다리 등 세부적인 부분에서 비현실적인 영상이 빈번하게 생성된다는 문제가 있다. 

그림 1 : 제안된 기법이 적용된 Stable Diffusion 생성 결과

연구팀은 문제해결을 위해 확산 모델의 생성 과정을 경사하강법과 같은 최적화 문제로 재해석하였다. 확산 모델의 생성 과정과 경사하강법은 모두 Generalized Expectation-Maximization 문제로 표현될 수 있으며, 시각화를 통해 생성과정에 실제로 수많은 Local Minima 및 Saddle Point들이 존재함을 확인할 수 있었다. 이를 통해, 부적절한 결과물들이 일종의 Local Minima 혹은 Saddle Point와 같음을 보였다.

이런 관찰에 기반해, 연구팀은 최적화에서 널리 사용되는 Momentum 기법을 생성 과정에 도입했다. 

다양한 실험을 통해 추가 학습이 없이도 부적절한 영상의 생성이 현저히 줄어들고, 연산량 대비 생성 영상의 품질이 올라감을 확인할 수 있었다. 본 결과는 확산모델의 생성 과정이 모두 점진적 최적화 문제라는 재해석을 제시하고, Momentum 기법을 생성 과정에 도입해 부적절한 결과물을 줄이는 결과를 보였다.

새로운 연구 성과를 통해 생성 결과의 개선뿐 아니라 생성형 AI에 대한 새로운 해석 및 다양한 후속연구를 가져올 것으로 기대된다. 해당 연구 결과는 올해 2월 캐나다 벤쿠버에서 열린 AI 분야 최우수 국제 학회 중 하나인 38th Annual AAAI Conference on Artificial Intelligence (AAAI 2024)에서 ‘Rethinking Peculiar Images by Diffusion Models: Revealing Local Minima’s Role’라는 제목으로 발표되었다.

<(좌측부터) 윤찬현 교수, 장진혁 박사과정 사진>

전기및전자공학부 윤찬현 교수 연구팀은 AI에서 가장 중요한 요소들 중 하나인 데이터셋의 저작권을 보호할 수 있는 데이터셋 워터마킹 기술 ‘Undercover Bias’를 개발하였다.

Undercover Bias는 모든 데이터셋에는 편향이 존재하며, 편향 자체만으로도 변별력을 가지고 있다는 점에 착안해 인공적으로 생성된 가상의 편향을 삽입하는 기술이다. 본 연구는 기존의 기법들과 비교했을 때 빠르고, 눈에 보이지 않으며, 비인가 사용을 안정적으로 판별해낼 수 있다는 장점을 가지고 있다.

그림 1 : 제안된 기법 Undercover Bias 의 구동 방식

해당 기술은 최근 AI와 관련해 사회적으로 문제가 되고 있는 데이터의 저작권 및 개인 정보의 보호 문제를 해결하기 위한 방법으로, 목적이 되는 데이터셋에 아주 미미한 워터마크를 숨긴다. 이 때, 워터마크는 사람 눈으로 구별하기가 거의 불가능하며, 또한 기존 방법들과 달리 정답 Label에 아무런 변화도 주지 않는다는 특징이 있다.

그러나, 워터마크가 숨겨진 데이터셋으로 학습된 AI 모델들은 워터마크를 판별할 수 있다는 특징을 갖게 되며, 이 특징의 유무를 기반으로 해당 모델이 데이터셋을 비인가사용을 했는지 여부를 증명할 수 있다. 

연구팀은 제안된 방법을 통해 다양한 벤치마크에 대해 비인가 사용을 통해 학습된 모델을 100% 판별할 수 있음을 보였으며, 또한 인가 사용을 통해 학습된 모델을 3e-5%의 확률 이하로 오판별됨을 보여 매우 신뢰할 수 있음을 증명했다.

최근 대규모 AI 서비스 제공 최전선에 있는 빅테크들은 더 좋은 성능을 사용자들에게 제공하기 위해 경쟁적으로 모델 및 데이터의 크기를 증가시키는 추세이며, 최신 대규모 언어모델은 학습을 위해 수에서 수십 테라바이트(TB, 10^12 바이트)의 메모리를 요구한다. 국내 연구진이 현재 AI 가속기 시장을 독점하고 있는 엔비디아(NVIDIA)에 맞설 수 있는 차세대 인터페이스 기술이 활성화된 고용량·고성능 AI 가속기를 개발했다.

전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 차세대 인터페이스 기술인 CXL(Compute Express Link)이 활성화된 고용량 GPU 장치의 메모리 읽기/쓰기 성능을 최적화하는 기술을 개발했다고 8일 밝혔다. 

최신 GPU의 내부 메모리 용량은 수십 기가바이트(GB, 10^9 바이트)에 불과해 단일 GPU만으로는 모델을 추론·학습하는 것이 불가능하다. 대규모 AI 모델이 요구하는 메모리 용량을 제공하기 위해 업계에서는 일반적으로 GPU 여러 대를 연결하는 방식을 채택하지만, 이 방법은 최신 GPU의 높은 가격으로 인해 총소유비용(TCO·Total Cost of Ownership)을 과도하게 높이는 문제를 일으킨다.

< CXL-GPU 대표 그림 >

이에 차세대 연결 기술인 CXL(Compute Express Link)을 활용해 대용량 메모리를 GPU 장치에 직접 연결하는‘CXL-GPU*’구조 기술이 다양한 산업계에서 활발히 검토되고 있다. 하지만 CXL-GPU의 고용량 특징만으로는 실제 AI 서비스에 활용되기 어렵다. 대규모 AI 서비스는 빠른 추론·학습 성능을 요구하기 때문에, GPU에 직접적으로 연결된 메모리 확장 장치로의 메모리 읽기/성능이 기존 GPU의 로컬 메모리에 준하는 성능이 보장될 때 비로소 실제 서비스에 활용될 수 있다.

*CXL-GPU: CXL을 통해 연결된 메모리 확장 장치들의 메모리 공간을 GPU 메모리 공간에 통합시킴으로써 고용량을 지원한다. 통합된 메모리 공간 관리에 필요한 동작들은 CXL 컨트롤러가 자동으로 처리해주므로, GPU는 기존에 로컬 메모리에 접근하던 방식과 동일한 방식으로 확장된 메모리 공간에 접근할 수 있다. 기존 메모리 용량을 늘리기 위해 고가의 GPU를 추가 구매하던 방식과 달리, CXL-GPU는 GPU에 메모리 자원만 선택적으로 추가할 수 있어 시스템 구축 비용을 획기적으로 절감할 수 있다. 

우리 연구진은 CXL-GPU 장치의 메모리 읽기/쓰기 성능이 저하되는 원인을 분석해 이를 개선하는 기술을 개발했다. 메모리 확장 장치가 메모리 쓰기 타이밍을 스스로 결정할 수 있는 기술을 개발하여 GPU 장치가 메모리 확장 장치에 메모리 쓰기를 요청하면서 동시에 GPU 로컬 메모리에도 쓰기를 수행하도록 설계했다. 즉, 메모리 확장 장치가 내부 작업을 수행 상태에 따라 작업을 하도록 하여, GPU는 메모리 쓰기 작업의 완료 여부가 확인될 때까지 기다릴 필요가 없어 쓰기 성능 저하 문제를 해결할 수 있도록 했다.

< 제안하는 CXL-GPU의 구조 >

또한 연구진은 메모리 확장 장치가 사전에 메모리 읽기를 수행할 수 있도록 GPU 장치 측에서 미리 힌트를 주는 기술을 개발했다. 이 기술을 활용하면 메모리 확장 장치가 메모리 읽기를 더 빨리 시작하게 되어, GPU 장치가 실제 데이터를 필요로 할 때는 캐시(작지만 빠른 임시 데이터 저장공간)에서 데이터를 읽어 더욱 빠른 메모리 읽기 성능을 달성할 수 있다.

< CXL-GPU의 하드웨어 프로토타입 >

이번 연구는 반도체 팹리스 스타트업인 파네시아(Panmnesia)*의 초고속 CXL 컨트롤러와 CXL-GPU 프로토타입을 활용해 진행됐다. 연구팀은 파네시아의 CXL-GPU 프로토타입을 활용한 기술 실효성 검증을 통해 기존 GPU 메모리 확장 기술보다 2.36배 빠르게 AI 서비스를 실행할 수 있음을 확인했다. 해당 연구는 오는 7월 산타클라라 USENIX 연합 학회와 핫스토리지의 연구 발표장에서 결과를 선보인다.

*파네시아는 업계 최초로 CXL 메모리 관리 동작에 소요되는 왕복 지연시간을 두 자리 나노초(nanosecond, 10^9분의 1초) 이하로 줄인 순수 국내기술의 자체 CXL 컨트롤러를 보유하고 있다. 이는 전세계 최신 CXL 컨트롤러등 대비 3배 이상 빠른 속도다. 파네시아는 고속 CXL 컨트롤러를 활용해 여러 개의 메모리 확장 장치를 GPU에 바로 연결함으로써 단일 GPU가 테라바이트 수준의 대규모 메모리 공간을 형성할 수 있도록 했다. 

< CXL-GPU 실행 시간 평가 결과 >