Jisoo Lee and Sae-Young Chung
잘못 라벨링이 된 샘플이 포함된 데이터셋을 가지고 경사하강법으로 학습된 심층 신경망은 학습 초기에는 데이터를 일반화하고 학습 후기에는 데이터를 암기하는 양상을 보인다. 본 논문에서는 이러한 심층 신경망의 학습 양상을 앙상블 내 신경망 간 패턴 유사도를 통해 분석하였다. 그 결과 올바르게 라벨링이 된 샘플 중 일부는 학습 초기의 앙상블 내 모든 신경망에서 일관되게 작은 손실값을 발생시키고, 잘못 라벨링이 된 샘플은 그렇지 않다는 것을 발견하였다. 잘못 라벨링이 된 샘플은 주어진 데이터를 일반화하는 데 악영향을 미치므로, 동시에 학습되는 앙상블 내 모든 신경망에서 일관되게 작은 손실값을 일으키는 샘플로 신경망을 훈련하는 학습법을 제안하였다. 제안한 학습법은 잘못 라벨링이 된 데이터가 학습되는 것을 방지함으로써 강인한 학습을 가능하게 하였다.
