대규모 언어모델(LLM)과 Agentic AI 시스템의 확산으로 인해 데이터 처리량과 메모리 대역폭에 대한 요구가 급격히 증가하고 있습니다. 기존의 High Bandwidth Memory(HBM)는 높은 대역폭을 제공하지만, 용량 측면에서 차세대 AI 워크로드를 모두 수용하기에는 한계가 존재합니다.
본 세미나에서는 NAND 플래시를 수직 적층한 차세대 메모리 구조인 HBF(High Bandwidth Flash)를 소개하고, GPU–HBM–HBF 기반 시스템에서의 AI 학습 및 추론 워크로드 분석 결과를 공유합니다. 또한 멀티모달 AI를 위한 HBM–HBF 하이브리드 메모리 아키텍처와 메모리 중심 컴퓨팅(Memory-Centric Computing), 근접 메모리 연산(Near-Memory Computing) 구조에 대해 논의합니다.
아울러 신호 무결성(Signal Integrity), 전력 무결성(Power Integrity), 열 문제 및 TSV, 인터포저 등 첨단 패키징 기술을 포함한 설계 고려 사항을 다루고, KAIST TERA Lab의 최신 연구 결과를 바탕으로 차세대 AI 메모리 계층 구조와 HBF 기술 로드맵을 제시합니다.
ZOOM 접속 정보
| 시간 | 발표 주제 | 발표자 |
|---|---|---|
| 09:00 – 10:20 | HBF 기술 개요, 워크로드 분석 및 로드맵 | 김정호 교수 |
| 10:20 – 11:00 | 멀티모달 대규모 언어모델 추론을 위한 GPU–HBM–HBF 아키텍처 워크로드 분석 | 서해석 |
| 11:00 – 11:10 | 휴식 | – |
| 11:10 – 11:40 | 효율적인 분산 LLM 추론을 위한 멀티 GPU 기반 GDDR–HBF 하이브리드 메모리 아키텍처의 신호 무결성 및 워크로드 분석 | 윤영수 |
| 11:40 – 12:10 | RAG 기반 MoE 모델을 위한 멀티모달 AI 추론용 HBM–HBF 하이브리드 메모리 아키텍처 | 최인영 |
| 12:10 – 13:10 | 점심 | – |
| 13:10 – 13:40 | 트랜스포머 기반 LLM 추론을 위한 커스텀 베이스 다이를 활용한 HBM–HBF 중심 메모리 풀링 아키텍처 | 박준호 |
| 13:40 – 14:10 | 초대규모 AI 추론 시스템을 위한 GPU–HBM–HBF 온글라스(On-Glass) 하이브리드 아키텍처: Mem-Village | 이현이 |
| 14:10 – 14:40 | 신호 무결성 및 워크로드 분석을 고려한 LLM 추론용 HBM–HBF 기반 근접 메모리 컴퓨팅 아키텍처 | 양채민 |
| 14:40 – 14:50 | 휴식 | – |
| 14:50 – 15:20 | HBF IR Drop을 고려한 P/G TSV 배치 최적화를 위한 Conditional MaskGIT 기반 모방학습 AI 에이전트 | 서은지 |
| 15:20 – 15:50 | 열 및 신호 무결성을 고려한 차세대 3D GPU–HBM 아키텍처용 Thermal TSV 배열 최적화 에이전트 | 이관택 |
| 15:50 – 16:20 | 차세대 GPU–HBM–HBF 아키텍처를 위한 멀티 전력 도메인 인터포저 PDN 임피던스 추정기 | 이승재 |
Copyright ⓒ 2015 KAIST Electrical Engineering. All rights reserved. Made by PRESSCAT
Copyright ⓒ 2015 KAIST Electrical Engineering. All rights reserved. Made by PRESSCAT
Copyright ⓒ 2015 KAIST Electrical Engineering. All rights reserved. Made by PRESSCAT
Copyright ⓒ 2015 KAIST Electrical
Engineering. All rights reserved.
Made by PRESSCAT