[보관함:] AI in Computer division

정명수 교수 연구팀(CAMEL)의 하이퍼스케일 AI를 위한 소프트웨어/하드웨어 설계 연구, 삼성미래기술육성사업 지원 선정

 

 

전기및전자공학부 CAMEL 연구팀(정명수 교수 연구실)이 “하이퍼스케일 AI를 위한 알고리즘 및 소프트웨어-하드웨어 프레임워크 공동 설계”라는 주제로 삼성미래기술육성사업에 선정되었다.

 

본 연구팀은 최근 크게 주목받고 있는 멀티모달(Multi-modal), 자동화 인코더(Auto-encorder), 다중전문가(Mixture of Expert)등을 사용하는 하이퍼스케일 AI 모델들의 연산 특징이 학습 과정 중 계속해서 변화함을 새롭게 발견하였으며, 이러한 발견을 기반으로 하이퍼스케일 AI 모델용 특화 알고리즘과 가속 소프트웨어 기술과 하드웨어 설계 등을 이번 과제를 통하여 새롭게 제시한다.

 

특히 기존 초거대 AI 가속 하드웨어/소프트웨어 기술이 초거대 파라미터와 입력 모델들을 처리하는 데 있어서 모델 레이어들 간, 다수 레이어들 내에서 수시로 계속 변화하는 데이터의 밀도와 연산의 특징들 추출하고 적절히 대응하지 못하여 생기는 문제들을 처음 발견하여 이를 정형화하였다.

정형화된 문제를 해결하기 위해서 CAMEL 연구팀은 실시간으로 하이퍼스케일 AI의 연산 특징들을 감지하고 변화한 연산 특징에 적합한 연산을 지원하는 동적 가속 기술을 제안한다.

이외에도 동적 가속을 위한 AI 반도체 하드웨어 설계, 관련 오픈소스 프레임워크등의 연구를 통해, 하이퍼스케일 AI 모델의 어려움을 해결하는 것을 넘어 현재 빠르게 성장 중인 딥러닝 서비스 분야 전반에 이득을 가져올 것으로 예상하고 있다. 

 

삼성전자는 미래를 책임지는 과학기술 육성을 목표로 지난 2013년부터 1조 5천억원을 출연해 ‘미래기술육성사업’을 시행하고 있다.

이번에 선정된 자유공모 지원과제는 삼성미래기술육성사업의 10주년을 중심으로 기초과학, 소재, ICT 분야에서 새롭고 혁신적인 미래 기술 분야를 중점 지원의 기조에 맞춰 선정되었다. 

 

CAMEL 연구팀은 이번 단독 과제 선정 전, 지난 2021년에도 그래프 신경망 기계학습 (GNN)을 위한 메모리 및 가속시스템을 주제로 삼성미래기술육성사업의 책임 연구팀으로 소프트웨어와 하드웨어스택 전체를 아우르는 다년간 과제를 수행한 경험이 있다.

전기및전자공학부 황의종 교수님 연구실 황현승 박사과정생이 주도하여 설명 가능성을 개선한  클러스터링 기법을 개발했습니다. 

 

본 논문은 설명 가능성을 우선으로 하는 클러스터링 기법을 소개합니다. 기존의 클러스터링 기법은 클러스터링을 진행한 후 결정 트리를 이용하여 데이터를 설명합니다. 본 논문은 클러스터링과 결정 트리 학습을 동시에 진행하여 결정 트리의 성능과 크기도 클러스터링에 영향을 주도록 합니다. 필수적이지는 않지만, 클러스터링에 사용하는 변수와 클러스터를 설명할 때 사용하는 변수가 다르다고 가정하여 문제를 해결합니다. 또한 목적 함수가 단조 함수의 차이인 단조 최적화라는 점을 이용합니다. 분기 한정 알고리즘을 이용하여 클러스터링의 왜곡과 결정 트리의 크기의 균형을 이루는 최적의 매개 변수를 찾습니다. 실데이터 실험을 통해 XClusters로 클러스터링의 설명 가능성을 향상시킬 수 있음을 보입니다.

 

연구팀은 해당 기술이 설명가능성 우선 머신러닝을 위한 초석이라고 설명했습니다. 본 연구 성과는 인공지능 최고 권위 학회인 AAAI 2023 에서 발표되었습니다. 

 

자세한 연구 내용은 하단의 링크에서 확인하실 수 있습니다.

 

 

[논문 정보]

 

논문명: XClusters: Explainability-first Clustering

 

저자 황현승, 황의종(지도교수)

 

논문 링크: https://arxiv.org/abs/2209.10956

 

논문 슬라이드: https://docs.google.com/presentation/d/1nC9wGSJp7_on_OI90_JvKL08moVJsXSAhtB29jR_7uo/edit?usp=sharing

 

학회 발표 영상: https://youtu.be/E3F8oXXMxPc

전기및전자공학부 황의종 교수님 연구실 허건 박사과정생이 주도하여 추론 공격에 대한 데이터 중심의 방어 기법을 개발했습니다. 

 

머신러닝이 실생활에 적용되기 시작하면서 이로 인해 발생할 수 있는 정보 유출과 같은 사생활 보호에 대한 중요성이 대두되고 있습니다. 그렇기 때문에 이를 방지하고 프라이버시를 강화하는 방법에 대한 연구가 활발히 진행되고 있습니다. 본 연구에서는 웹상에 업로드한 데이터가 불특정 다수의 기계 학습 모델들에 학습되었을 경우 발생할 수 있는 정보 유출 위협을 대처할 수 있는 방법을 제안합니다. 데이터가 이미 웹상으로 퍼지고 모델들이 이미 학습된 경우, 데이터 소유자의 입장에서는 자신의 데이터로 학습한 모든 모델들에 직접적으로 접근하거나 변경, 제거할 수 없습니다. 이 때 가장 최선의 방어 기법은 자신의 데이터 (표적 데이터) 와 비슷한 가짜 데이터들을 생성하여 표적 데이터에 대한 모델들의 성능을 국소적으로 떨어뜨리는 것입니다. 이러한 가짜 데이터를 디스인포메이션 (Disinformation)이라고 명명하였으며, 이 데이터를 생성하는 문제를 표적형 디스인포메이션 생성 (Targeted Disinformaiton Generation) 문제라고 정의했습니다. 

 

본 연구팀은 데이터 프로그래밍을 활용한 확률적 결정 경계 (Probabilistic Decision Boundary)를 만들고, 워터마킹 기법과 GAN을 활용하여 후보들을 생성하여 최종 디스인포메이션을 고르는 기법을 제시했습니다. 제시 기법을 활용하여 점을 생성할 경우, 모델에서 표적 데이터에 대한 성능을 국소적으로 약 30~40퍼센트 정도 떨어뜨릴 뿐만 아니라, 추론 공격에 대한 성공률 또한 크게 낮출 수 있습니다.  

 

연구팀은 해당 기술이 다양한 정보 유출로부터 안전한 기계학습 기술을 만들기 위한 기반이 될 것이라고 설명했습니다. 또한, 본 연구 성과는 인공지능 최고 권위 학회 중 하나인 AAAI 2023 에서 발표되었습니다. 

 

Abstract:

Recently, deep neural networks have been successfully applied for image restoration (IR) (e.g., super-resolution, de-noising, de-blurring). Despite their promising performance, running IR networks requires heavy computation. A large body of work has been devoted to addressing this issue by designing novel neural networks or pruning their parameters. However, the common limitation is that while images are saved in a compressed format before being enhanced by IR, prior work does not consider the impact of compression on the IR quality.

In this paper, we present AccelIR, a framework that optimizes image compression considering the end-to-end pipeline of IR tasks. AccelIR encodes an image through IR-aware compression that optimizes compression levels across image blocks within an image according to the impact on the IR quality. Then, it runs a lightweight IR network on the compressed image, effectively reducing IR computation, while maintaining the same IR quality and image size. Our extensive evaluation using nine IR networks shows that AccelIR can reduce the computing overhead of super-resolution, de-nosing, and de-blurring by 49%, 29%, and 32% on average, respectively.

 

Conference: IPSN 2023: The 22nd ACM/IEEE Conference on Information Processing in Sensor Networks.

Abstract:

Despite the potential of vision-based personal monitoring (e.g., healthcare), private data leakage concerns hinder its wide deployment in personal spaces (e.g., bedrooms). A body of data anonymization designs was proposed throughout image processing and federated learning. They commonly store high-quality images and videos locally, which are anonymized via post-processing before cloud upload. However, the recent IoT camera hacking and local data leakage call for anonymized data at the sensing stage. Also, continuous and pervasive monitoring without blind spots in complicated indoor spaces requires a scalable and economic system. This paper present Mosaic, a vision-based end-to-end action recognition framework that (i) intrinsically achieves data anonymity from the sensing stage and (ii) battery-free operation for blind spot-free continuous monitoring. Mosaic leverages an extremely low resolution (eLR) Near-Infrared (NIR) image sensor with 6×10 pixels for video anonymity and RFID-compliant fully-passive tag with four solar cells for real-time eLR video streaming under as low as 50 lux (e.g., deep in the shelf without direct light). This is accompanied by light-weight action recognition neural network for real-time inference (18.4ms on Intel(R) Core i7-8700). Mosaic achieves an average of 98% accuracy on 10 action classes, hitting the balance between data anonymity and high-precision action recognition. By taking advantage of NIR (non-visible) frequency, Mosaic also works in dark without disturbing sleep. Lastly, wildfire detection reaching 20m was demonstrated, showcasing the potential for outdoor monitoring.

 

전기및전자공학부 정명수 교수 연구팀이 세계 최초로 CXL 3.0 기반 검색 엔진을 위한 AI 반도체를 개발하였다.

 

최근 각광 받고 있는 이미지 검색, 데이터베이스, 추천 시스템, 광고 등의 서비스들은 근사 근접 이웃 탐색(Approximate Nearest Neighbor Search, ANNS) 알고리즘을 사용한다.

근사 근접 이웃 탐색 알고리즘을 실제 서비스에서 사용할 때 필요한 데이터 셋이 매우 커 많은 양의 메모리를 요구하는 어려움이 있다.

이를 해결하기 위해 기존에는 압축 방식과 스토리지 방식을 사용하였지만, 각각 낮은 정확도와 성능을 가지는 문제가 있다.

 

연구팀은 메모리 확장의 제한이라는 근본적인 문제를 해결하기 위해 CXL이라는 기술을 사용하였다. CXL은 PCI 익스프레스(PCIe) 인터페이스 기반의 CPU-장치 간 연결을 위한 프로토콜로, 가속기 및 메모리 확장기의 고속 연결을 제공한다.

또한 CXL 스위치를 통하여 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있는 확장성을 제공한다. 하지만 CXL을 통한 메모리 확장은 로컬 메모리와 비교하여 메모리 접근 시간이 증가하는 단점을 가지고 있다.

 

연구팀이 개발한 AI 반도체(CXL-ANNS)는 CXL 스위치와 CXL 메모리 확장기를 사용해 근사 근접 이웃 탐색에서 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도와 성능 감소를 없앴다.

또한 근사 근접 이웃 탐색의 특징을 활용해 데이터 근처 처리 기법과 지역성을 활용한 데이터 배치 기법으로 CXL-ANNS의 성능을 한 단계 향상시켰다.

연구팀은CXL-ANNS의 프로토타입을 자체 제작하여 기존 연구들과 성능을 비교하였다.

CXL-ANNS는 기존 연구들 대비 평균 111배 성능 향상이 있었다. 특히, 마이크로소프트에서 실제 서비스에서 사용되는 방식과 비교하였을 때 92배의 성능 향상을 보여줬다.

 

이번 연구는 미국 보스턴에서 오는 7월에 열릴 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 `USENIX Annual Technical Conference, 2023’에 ‘CXL-ANNS’이라는 논문명(CXL-ANNS: Software-Hardware Collaborative Memory Disaggregation and Computation for Billion-Scale Approximate Nearest Neighbor Search)으로 발표될 예정이다.

 

해당 연구에 대한 자세한 내용은 연구실 웹사이트(http://camelab.org)에서 확인할 수 있다.

 

[그림1. 하드웨어 프로토타입]

 

[그림2. CXL-ANNS의 로고]

 

[그림3. CXL-ANNS 연구진 (왼쪽부터) 전기및전자공학부 박사과정 장준혁, 이승준, 석사과정 최한진, 박사과정 권미령, 배한여름, 교수 정명수]

 

자세한 정보는 아래 링크 참조

[Link]

한국경제: https://www.hankyung.com/it/article/202305259204i

헤럴드경제: http://news.heraldcorp.com/view.php?ud=20230525000225

조선비즈: https://biz.chosun.com/science-chosun/technology/2023/05/25/4UW5LPX3WVARVIS3QBBICPINFM/

전자신문: https://www.etnews.com/20230525000092

Abstract:

 High-definition live streaming has experienced tremendous growth. However, the video quality of live video is often limited by the streamer’s uplink bandwidth. Recently, neural-enhanced live streaming has shown great promise in enhancing the video quality by running neural super-resolution at the ingest server. Despite its benefit, it is too expensive to be deployed at scale. To overcome the limitation, we present NeuroScaler, a framework that delivers efficient and scalable neural enhancement for live streams. First, to accelerate end-to-end neural enhancement, we propose novel algorithms that significantly reduce the overhead of video super-resolution, encoding, and GPU context switching. Second, to maximize the overall quality gain, we devise a resource scheduler that considers the unique characteristics of the neural-enhancing workload. Our evaluation on a public cloud shows NeuroScaler reduces the overall cost by 22.3× and 3.0-11.1× compared to the latest per-frame and selective neural-enhancing systems, respectively.

Abstract

 The teacher-student (TS) framework, training a (student) network by utilizing an auxiliary superior (teacher) network, has been adopted as a popular training paradigm in many machine learning schemes, since the seminal work—Knowledge distillation (KD) for model compression and transfer learning. Many recent self-supervised learning (SSL) schemes also adopt the TS framework, where teacher networks are maintained as the moving average of student networks, called the momentum networks. This paper presents TSPipe, a pipelined approach to accelerate the training process of any TS frameworks including KD and SSL. Under the observation that the teacher network does not need a backward pass, our main idea is to schedule the computation of the teacher and student network separately, and fully utilize the GPU during training by interleaving the computations of the two networks and relaxing their dependencies. In case the teacher network requires a momentum update, we use delayed parameter updates only on the teacher network to attain high model accuracy. Compared to existing pipeline parallelism schemes, which sacrifice either training throughput or model accuracy, TSPipe provides better performance trade-offs, achieving up to 12.15x higher throughput.

With the proliferation of Internet of Things technologies, health care services that target a household equipped with IoT devices are widely emerging. In the meantime, the number of global single households is expected to rapidly grow. Contactless radar-based sensors are recently investigated as a convenient and practical means to collect biometric data of subjects in single households. In this paper, biometric data collected by contactless radar-based sensors installed in single households of the elderly under uncontrolled environments are analyzed, and a deep learning-based classification model is proposed that estimates a user’s status in one of the predefined classes. In particular, the issue of the imbalance class sizes in the generated dataset is managed by reorganizing the classes into a hierarchical structure and designing the architecture for a deep learning-based status classification model. The experimental results verify that the proposed classification model has a noticeable impact in mitigating the issue of imbalanced class sizes as it enhances the classification accuracy of the individual class by up to 65% while improving the overall status classification accuracy by 6%.

With Internet of Things technologies, healthcare services for smart homes are emerging. In the meantime, the number of households of single-living elderly who are distant from using smart devices is increasing, and contactless radar-based sensors are recently introduced to monitor the users in single households. In this paper, contactless radar-based sensors were installed in over 100 households of single-living elderly to collect their biometric data under uncontrolled environments. In addition, a deep learning-based classification model is proposed that estimates the user status in predefined classes. In particular, the classification model is designed with a multi-head convolutional neural network with long-short-term memory and an attention mechanism. The proposed model aims to extract features in diverse resolutions from the biometric data while capturing the temporal causalities and relative importance of the features. The experimental results verify that the proposed classification model improves the status classification accuracy by 2.8% to 31.7% in terms of F 1 score for the real-world dataset.