AI in EE

AI IN DIVISIONS

AI in Communication Division

AI in EE

AI IN DIVISIONS

AI in Communication Division ​

AI in Communication Division

Robust training with ensemble consensus, ICLR 2020

Jisoo Lee and Sae-Young Chung

잘못 라벨링이 샘플이 포함된 데이터셋을 가지고 경사하강법으로 학습된 심층 신경망은 학습 초기에는 데이터를 일반화하고 학습 후기에는 데이터를 암기하는 양상을 보인다. 논문에서는 이러한 심층 신경망의 학습 양상을 앙상블 신경망 패턴 유사도를 통해 분석하였다. 결과 올바르게 라벨링이 샘플 일부는 학습 초기의 앙상블 모든 신경망에서 일관되게 작은 손실값을 발생시키고, 잘못 라벨링이 샘플은 그렇지 않다는 것을 발견하였다. 잘못 라벨링이 샘플은 주어진 데이터를 일반화하는 악영향을 미치므로, 동시에 학습되는 앙상블 모든 신경망에서 일관되게 작은 손실값을 일으키는 샘플로 신경망을 훈련하는 학습법을 제안하였다. 제안한 학습법은 잘못 라벨링이 데이터가 학습되는 것을 방지함으로써 강인한 학습을 가능하게 하였다.