AI in EE

AI IN DIVISIONS

AI in Computer Division

AI in EE

AI IN DIVISIONS

AI in Computer Division ​

AI in Computer Division

TensorPRAM: Designing a Scalable Heterogeneous Deep Learning Accelerator with Byte-addressable PRAMs

이상원, 박규영, 정명수 (지도교수)

12th USENIX Workshop on Hot Topics in Storage and File Systems (HotStorage), 2020, Poster

https://www.usenix.org/conference/hotstorage20/presentation/lee

본 연구진은 확장 가능한 심층학습 가속기인 TensorPRAM을 제안한다. 이 가속기는 심층학습 연산을 수행하기 위한 연산 배열 형태로 구성할 수 있다. TensorPRAM은 행렬 곱셈 및 합성곱 연산을 수행할 수 있는 시스톨릭 배열 가속기를 포함하고 있다. 또한, 호스트와 가속기간 불필요한 데이터 이동을 줄이기 위해 TensorPRAM의 메모리를 바이트 단위 입출력이 가능한 비휘발성 메모리인 PRAM으로 대체하였다. 단일 FPGA 보드에 범용 프로세서, PCIe, PRAM 컨트롤러 및 시스톨릭 배열을 넣어 TensorPRAM prototype을 구현하였으며, PCIe 버스에 여러 개의 TensorPRAM을 연결하여 확장 가능하도록 구성하였다. 실제 시스템에서 평가한 결과, 다양한 DNN 워크로드에서 범용 프로세서 기반 가속기 및 시스톨릭 배열 기반 가속기 대비 평균 99%, 48% 빠른 연산 성능을 보였다.

3 0

그림1. 시스템 개요