Abstract: Large language models (LLMs) have demonstrated exceptional abilities across various domains. However, utilizing LLMs for ubiquitous sensing applications remains challenging as existing text-prompt methods show significant performance degradation when handling long sensor data sequences. We propose a visual prompting approach for sensor data using multimodal LLMs (MLLMs). We design a visual prompt that directs MLLMs to utilize visualized sensor data alongside the target sensory task descriptions. Additionally, we introduce a visualization generator that automates the creation of optimal visualizations tailored to a given sensory task, eliminating the need for prior task-specific knowledge. We evaluated our approach on nine sensory tasks involving four sensing modalities, achieving an average of 10% higher accuracy than text-based prompts and reducing token costs by 15.8x. Our findings highlight the effectiveness and cost-efficiency of visual prompts with MLLMs for various sensory tasks. The source code is available at https://github.com/diamond264/ByMyEyes.

 

Main Figure:

 

 

Abstract: Public datasets play a crucial role in advancing data-centric AI, yet they remain vulnerable to illicit uses. This paper presents ‘undercover bias,’ a novel dataset watermarking method that can reliably identify and verify unauthorized data usage. Our approach is inspired by an observation that trained models often inadvertently learn biased knowledge and can function on bias-only data, even without any information directly related to a target task. Leveraging this, we deliberately embed class-wise hidden bias via unnoticeable watermarks, which are unrelated to the target dataset but share the same labels. Consequently, a model trained on this watermarked data covertly learns to classify these watermarks. The model’s performance in classifying the watermarks serves as irrefutable evidence of unauthorized usage, which cannot be achieved by chance. Our approach presents multiple benefits: 1) stealthy and model-agnostic watermarks; 2) minimal impact on the target task; 3) irrefutable evidence of misuse; and 4) improved applicability in practical scenarios. We validate these benefits through extensive experiments and extend our method to fine-grained classification and image segmentation tasks.

 

Main Figure:

 

Abstract: After the revelation that neural networks tend to produce overconfident predictions, the problem of calibration, which aims to align confidence with accuracy to enhance the reliability of predictions, has gained significant importance. Several solutions based on calibration maps have been proposed to address the problem of recalibrating a trained classifier using additional datasets. In this paper, we offer an algorithm that transforms the weights of the last layer of the classifier, distinct from the calibration-map-based approach. We concentrate on the geometry of the final linear layer, specifically its angular aspect, and adjust the weights of the corresponding layer. We name the method Tilt and Average(TNA), and validate the calibration effect empirically and theoretically. Through this, we demonstrate that our approach, in addition to the existing calibration-map-based techniques, can yield improved calibration performance.

Main Figure:

Abstract

Training is an important aspect of deep learning to enable network models to be deployed. To scale training, multiple GPUs are commonly used with data parallelism to exploit the additional GPU compute and memory capacity. However, one challenge in scalability is the collective communication between GPUs. In this work, we propose to accelerate the AllReduce collective. AllReduce communication is often based on a logical topology (e.g., ring or tree algorithms) that is mapped to a physical topology or the physical connectivity between the nodes. In this work, we propose a logical/physical topology-aware collective communication that we refer to as C-Cube architecture – Chaining Collective Communication with Computation. C-Cube exploits the opportunity to overlap or chain different phases of collective communication as well as forward computation in a tree algorithm AllReduce. We exploit the communication pattern in a logical tree topology to overlap the different phases of communication. Since ordering is maintained in the tree collective algorithm, we propose gradient queuing to enable chaining of communication with forward computation to accelerate overall performance while having no impact on training accuracy. We also exploit the physical topology characteristics to further improve the performance, including proposing detour connections for collective communication while leveraging the additional connectivity to enable a double-tree C-Cube implementation. We implement a C-Cube proof-of-concept on a real system (8- GPU NVIDIA DGX-1) and show C-Cube results in performance improvement in communication performance compared to nonoverlapped tree algorithms as well as overall performance.

전기및전자공학부 한동수교수 연구팀, 일반 소비자용 GPU로 분산 환경에서 AI 모델 학습 가속화 기술 개발

<(좌측부터) 한동수 교수, 임휘준 박사, 예준철 박사과정 사진>

 

전기및전자공학부 한동수 교수 연구팀이 일반 소비자용 GPU를 활용해 네트워크 대역폭이 제한된 분산 환경에서 AI 모델 학습을 획기적으로 가속하는 기술을 개발했다.

 

최신의 AI 모델을 학습하기 위해서는 수천만 원대의 고성능 GPU와 고속 전용 네트워크 등 고비용 인프라가 필요하다.

이로 인해 학계 및 중소기업의 대다수 연구자는 저렴한 일반 소비자용 GPU에 의존해 모델을 학습하고 있지만, 네트워크 대역폭 제약으로 효율적인 모델 학습에 어려움을 겪고 있는 실정이다.

 

<그림 1. 기존 저비용 분산 딥러닝 환경에서의 문제>

 

한동수 교수 연구팀은 이러한 문제를 해결하기 위해 StellaTrain이라는 분산 학습 프레임워크를 개발하였다.

StellaTrain은 저비용 GPU에서 모델 학습을 가속하기 위해 CPU와 GPU를 함께 활용하는 파이프라인을 도입했고, 네트워크 환경에 따라 배치 크기 및 압축률을 동적으로 결정하는 알고리즘을 통합 적용해 고속 전용 네트워크 없이도 다중 클러스터 및 다중 노드 환경에서 빠른 모델 학습을 달성할 수 있게 했다.

 

StellaTrain은 학습 파이프라인을 최적화하여 GPU 활용률을 극대화하기 위해 그래디언트 압축과 최적화 과정을 CPU로 오프로딩하는 전략을 채택했다.

특히 CPU에서 효율적으로 동작하는 희소 최적화 기술과 캐시 인식 기반의 그래디언트 압축 기술을 새롭게 개발해 적용함으로써, CPU의 작업이 GPU의 연산과 중첩되는 끊임없는 학습 파이프라인을 구현했다.

또한 네트워크 상황에 따라 배치 크기와 압축률을 실시간으로 조절하는 동적 최적화 기술을 적용해 제한된 네트워크 환경에서도 높은 GPU 활용률을 달성했다.

 

<그림 2. StellaTrain 학습 파이프라인 개요도>

 

이를 통해 StellaTrain은 저비용 멀티 클라우드 환경에서 분산 모델 학습 속도를 크게 향상시켜, 기존 PyTorch DDP 대비 최대 104배의 성능 향상을 달성하였다.

한동수 교수 연구팀은 이번 연구를 통해 고가의 데이터센터급 GPU와 고속 네트워크 없이도 AI 모델을 효율적으로 학습시킬 수 있는 길을 열었으며, 이는 학계와 중소기업 등 자원이 제한된 환경에서 AI 연구 및 개발을 가속하는 데 큰 도움이 될 것으로 기대된다.

 

한동수 교수는 “KAIST가 AI 시스템 분야에서 우리나라의 리더십을 발휘하며 두각을 나타내고 있다”고 강조했다.

그는 “거대 IT 기업의 전유물로 여겨지던 대규모 언어 모델(LLM) 학습을 보다 저렴한 컴퓨팅 환경에서 구현할 수 있도록 적극적인 연구를 진행하겠다”며, “이번 연구가 그 목표를 향한 중요한 초석이 되기를 기대한다”고 덧붙였다.

 

이번 연구에는 KAIST 임휘준 박사와 예준철 박사과정, 그리고 UC Irvine의 Sangeetha Abdu Jyothi 교수가 참여했으며, 본 연구 결과는 8월 4일부터 8일까지 호주 시드니에서 열린 컴퓨터 네트워킹 분야 최고 권위의 국제 학회인 ACM SIGCOMM 2024에서 발표되었다 (논문명: Accelerating Model Training in Multi-cluster Environments with Consumer-grade GPUs).

 

한편, 한동수 교수 연구팀은 최근 오스트리아 빈에서 열린 ICML 2024에서 MoE (Mixture of Experts) 모델 학습을 가속할 수 있는 프레임워크인 ES-MoE를 발표하는 등 AI 시스템 분야에서 지속적인 연구 성과를 내고 있다.

 

한동수 교수 연구팀은 GPU 메모리 한계를 극복하고 대규모 MoE 모델 학습의 확장성과 효율성을 크게 향상시켜, 단 4개의 GPU로 150억 파라미터 규모의 언어 모델을 미세 조정할 수 있게 하는 성과를 거뒀다.

이는 한정된 컴퓨팅 자원으로도 대규모 AI 모델을 효과적으로 학습할 가능성을 열었다는 점에서 큰 의의가 있다.

 

 

<그림 3. ES-MoE 프레임워크 개요도>

 

 

 

 

 

황의종 교수 연구팀, 공정한 엑티브 러닝 기법 개발

 

전기및전자공학부 황의종 교수님 연구팀에서 MAB(Multi-armed Bandit)을 이용한 공정한 엑티브 러닝 기법을 개발했다. 본 연구는 태기현 박사과정(주저자), 박재영 박사과정, 조지아텍 컴퓨터과학과 Kexin Rong 교수님과 Hantian Zhang 박사과정의 공동연구로 이뤄졌다. 

 

인공지능이 널리 보급되고 고용 및 의료 시스템에도 적용됨에 따라, 인공지능 모델의 높은 정확도 뿐만 아니라 인공지능 공정성(AI fairness)의 개념이 중요해지고 있다. 연구팀은 이러한 불공정성의 주된 원인은 인공지능 모델 학습에 사용된 편향된 데이터에 있다는 점에 착안해 레이블이 없는 데이터가 충분한 환경에서 데이터 라벨링(data labeling)을 통해 학습 모델의 불공정성을 완화하고자 하였다.

 

일반적으로 데이터 라벨링은 비용이 많이 들기 때문에, 유용한 데이터를 우선적으로 선별할 수 있는 다양한 액티브 러닝(active learning) 기법들이 제안되어 왔는데 기존 액티브 러닝 기법들은 모델 정확도를 최대화하는 것에만 초점을 맞추고 있기에 공정성도 함께 고려한 기술에 대한 연구가 부족한 반면 연구팀에서 제시한 기법(FALCON)의 경우 정확도 뿐만 아니라 공정성 지표 또한 개선할 수 있도록 하였다.

 

FALCON에서는 크게 두가지 기법을 활용하여 공정성을 개선시키는데, 먼저 모델의 공정성을 악화시킬 수 있는 데이터의 경우 모델 훈련에 사용하지 않고 지연시키는 시행착오 전략을 사용하였다. 또한 적대적 MAB를 통해 모델의 공정성을 개선시킬 수 있는 최적의 데이터를 선택하도록 하였다. 본 연구 성과는 데이터베이스 분야 최고 권위 학회중 하나인 VLDB 2024에서 발표될 예정이다.

 

해당 연구에 대한 자세한 내용은 연구실 홈페이지(https://sites.google.com/view/whanglab/di-lab)에서 확인할 수 있다.

 

전기및전자공학부 황의종 교수님 연구팀에서 MAB(Multi-armed Bandit)을 이용한 공정한 엑티브 러닝 기법을 개발했다. 본 연구는 태기현 박사과정(주저자), 박재영 박사과정, 조지아텍 컴퓨터과학과 Kexin Rong 교수님과 Hantian Zhang 박사과정의 공동연구로 이뤄졌다. 

 

인공지능이 널리 보급되고 고용 및 의료 시스템에도 적용됨에 따라, 인공지능 모델의 높은 정확도 뿐만 아니라 인공지능 공정성(AI fairness)의 개념이 중요해지고 있다. 연구팀은 이러한 불공정성의 주된 원인은 인공지능 모델 학습에 사용된 편향된 데이터에 있다는 점에 착안해 레이블이 없는 데이터가 충분한 환경에서 데이터 라벨링(data labeling)을 통해 학습 모델의 불공정성을 완화하고자 하였다.

 

일반적으로 데이터 라벨링은 비용이 많이 들기 때문에, 유용한 데이터를 우선적으로 선별할 수 있는 다양한 액티브 러닝(active learning) 기법들이 제안되어 왔는데 기존 액티브 러닝 기법들은 모델 정확도를 최대화하는 것에만 초점을 맞추고 있기에 공정성도 함께 고려한 기술에 대한 연구가 부족한 반면 연구팀에서 제시한 기법(FALCON)의 경우 정확도 뿐만 아니라 공정성 지표 또한 개선할 수 있도록 하였다.

 

FALCON에서는 크게 두가지 기법을 활용하여 공정성을 개선시키는데, 먼저 모델의 공정성을 악화시킬 수 있는 데이터의 경우 모델 훈련에 사용하지 않고 지연시키는 시행착오 전략을 사용하였다. 또한 적대적 MAB를 통해 모델의 공정성을 개선시킬 수 있는 최적의 데이터를 선택하도록 하였다. 본 연구 성과는 데이터베이스 분야 최고 권위 학회중 하나인 VLDB 2024에서 발표될 예정이다.

 

해당 연구에 대한 자세한 내용은 연구실 홈페이지(https://sites.google.com/view/whanglab/di-lab)에서 확인할 수 있다.

 

[그림 1. 공정한 엑티브 러닝]

 

 

[그림 2. FALCON 워크플로우]

이성주 교수 연구팀, 사용자 음성 및 테스트 기반 정신 건강 진단 스마트폰 인공지능 시스템 개발

 

 

 

정명수 교수 연구팀(CAMEL)의 하이퍼스케일 AI를 위한 소프트웨어/하드웨어 설계 연구, 삼성미래기술육성사업 지원 선정

 

 

전기및전자공학부 CAMEL 연구팀(정명수 교수 연구실)이 “하이퍼스케일 AI를 위한 알고리즘 및 소프트웨어-하드웨어 프레임워크 공동 설계”라는 주제로 삼성미래기술육성사업에 선정되었다.

 

본 연구팀은 최근 크게 주목받고 있는 멀티모달(Multi-modal), 자동화 인코더(Auto-encorder), 다중전문가(Mixture of Expert)등을 사용하는 하이퍼스케일 AI 모델들의 연산 특징이 학습 과정 중 계속해서 변화함을 새롭게 발견하였으며, 이러한 발견을 기반으로 하이퍼스케일 AI 모델용 특화 알고리즘과 가속 소프트웨어 기술과 하드웨어 설계 등을 이번 과제를 통하여 새롭게 제시한다.

 

특히 기존 초거대 AI 가속 하드웨어/소프트웨어 기술이 초거대 파라미터와 입력 모델들을 처리하는 데 있어서 모델 레이어들 간, 다수 레이어들 내에서 수시로 계속 변화하는 데이터의 밀도와 연산의 특징들 추출하고 적절히 대응하지 못하여 생기는 문제들을 처음 발견하여 이를 정형화하였다.

정형화된 문제를 해결하기 위해서 CAMEL 연구팀은 실시간으로 하이퍼스케일 AI의 연산 특징들을 감지하고 변화한 연산 특징에 적합한 연산을 지원하는 동적 가속 기술을 제안한다.

이외에도 동적 가속을 위한 AI 반도체 하드웨어 설계, 관련 오픈소스 프레임워크등의 연구를 통해, 하이퍼스케일 AI 모델의 어려움을 해결하는 것을 넘어 현재 빠르게 성장 중인 딥러닝 서비스 분야 전반에 이득을 가져올 것으로 예상하고 있다. 

 

삼성전자는 미래를 책임지는 과학기술 육성을 목표로 지난 2013년부터 1조 5천억원을 출연해 ‘미래기술육성사업’을 시행하고 있다.

이번에 선정된 자유공모 지원과제는 삼성미래기술육성사업의 10주년을 중심으로 기초과학, 소재, ICT 분야에서 새롭고 혁신적인 미래 기술 분야를 중점 지원의 기조에 맞춰 선정되었다. 

 

CAMEL 연구팀은 이번 단독 과제 선정 전, 지난 2021년에도 그래프 신경망 기계학습 (GNN)을 위한 메모리 및 가속시스템을 주제로 삼성미래기술육성사업의 책임 연구팀으로 소프트웨어와 하드웨어스택 전체를 아우르는 다년간 과제를 수행한 경험이 있다.

전기및전자공학부 황의종 교수님 연구실 황현승 박사과정생이 주도하여 설명 가능성을 개선한  클러스터링 기법을 개발했습니다. 

 

본 논문은 설명 가능성을 우선으로 하는 클러스터링 기법을 소개합니다. 기존의 클러스터링 기법은 클러스터링을 진행한 후 결정 트리를 이용하여 데이터를 설명합니다. 본 논문은 클러스터링과 결정 트리 학습을 동시에 진행하여 결정 트리의 성능과 크기도 클러스터링에 영향을 주도록 합니다. 필수적이지는 않지만, 클러스터링에 사용하는 변수와 클러스터를 설명할 때 사용하는 변수가 다르다고 가정하여 문제를 해결합니다. 또한 목적 함수가 단조 함수의 차이인 단조 최적화라는 점을 이용합니다. 분기 한정 알고리즘을 이용하여 클러스터링의 왜곡과 결정 트리의 크기의 균형을 이루는 최적의 매개 변수를 찾습니다. 실데이터 실험을 통해 XClusters로 클러스터링의 설명 가능성을 향상시킬 수 있음을 보입니다.

 

연구팀은 해당 기술이 설명가능성 우선 머신러닝을 위한 초석이라고 설명했습니다. 본 연구 성과는 인공지능 최고 권위 학회인 AAAI 2023 에서 발표되었습니다. 

 

자세한 연구 내용은 하단의 링크에서 확인하실 수 있습니다.

 

 

[논문 정보]

 

논문명: XClusters: Explainability-first Clustering

 

저자 황현승, 황의종(지도교수)

 

논문 링크: https://arxiv.org/abs/2209.10956

 

논문 슬라이드: https://docs.google.com/presentation/d/1nC9wGSJp7_on_OI90_JvKL08moVJsXSAhtB29jR_7uo/edit?usp=sharing

 

학회 발표 영상: https://youtu.be/E3F8oXXMxPc

전기및전자공학부 황의종 교수님 연구실 허건 박사과정생이 주도하여 추론 공격에 대한 데이터 중심의 방어 기법을 개발했습니다. 

 

머신러닝이 실생활에 적용되기 시작하면서 이로 인해 발생할 수 있는 정보 유출과 같은 사생활 보호에 대한 중요성이 대두되고 있습니다. 그렇기 때문에 이를 방지하고 프라이버시를 강화하는 방법에 대한 연구가 활발히 진행되고 있습니다. 본 연구에서는 웹상에 업로드한 데이터가 불특정 다수의 기계 학습 모델들에 학습되었을 경우 발생할 수 있는 정보 유출 위협을 대처할 수 있는 방법을 제안합니다. 데이터가 이미 웹상으로 퍼지고 모델들이 이미 학습된 경우, 데이터 소유자의 입장에서는 자신의 데이터로 학습한 모든 모델들에 직접적으로 접근하거나 변경, 제거할 수 없습니다. 이 때 가장 최선의 방어 기법은 자신의 데이터 (표적 데이터) 와 비슷한 가짜 데이터들을 생성하여 표적 데이터에 대한 모델들의 성능을 국소적으로 떨어뜨리는 것입니다. 이러한 가짜 데이터를 디스인포메이션 (Disinformation)이라고 명명하였으며, 이 데이터를 생성하는 문제를 표적형 디스인포메이션 생성 (Targeted Disinformaiton Generation) 문제라고 정의했습니다. 

 

본 연구팀은 데이터 프로그래밍을 활용한 확률적 결정 경계 (Probabilistic Decision Boundary)를 만들고, 워터마킹 기법과 GAN을 활용하여 후보들을 생성하여 최종 디스인포메이션을 고르는 기법을 제시했습니다. 제시 기법을 활용하여 점을 생성할 경우, 모델에서 표적 데이터에 대한 성능을 국소적으로 약 30~40퍼센트 정도 떨어뜨릴 뿐만 아니라, 추론 공격에 대한 성공률 또한 크게 낮출 수 있습니다.  

 

연구팀은 해당 기술이 다양한 정보 유출로부터 안전한 기계학습 기술을 만들기 위한 기반이 될 것이라고 설명했습니다. 또한, 본 연구 성과는 인공지능 최고 권위 학회 중 하나인 AAAI 2023 에서 발표되었습니다.