분류 전체보기18 [논문리뷰] Local Context Normalization: Revisiting Local Normaliztion (CVPR 2020, Oral Paper) 이번에는 CVPR2020에 oral paper로 accept 된 Local Context Normalization: Revisiting Local Normaliztion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Batch Normalization은 빼고 나누는 feature normalization을 통해서 deep learning architecture에서 많이 사용되어왔습니다. 특히, Batch Norm이 처음에는 covariate shift로 인해서 좋을 것이라고 예측했으나, 최근에는 Batch Norm(BN)이 optimization land scape를 평탄화함으로 써 학습의 수렴에 기여를 했음이 밝혀졌습니다. 하지만 본 논문에서 제시한 단점으로 1) sm.. 2022. 4. 17. [논문리뷰] Deep Auto Augment (ICLR 2022) 이번에는 ICLR 2022에 게재된 Deep Auto Augment를 리뷰하려고 합니다. 자세한 내용은 논문을 참조해주세요. Introduction 최근 automated data augmentation는 state-of-the-art 한 성능을 보이고 있다. 하지만, design space와 augmentation strategy는 여전히 사람의 prior knowledge가 필요로 했고, 이에 본 논문은 fully automated approach를 제안한다. 기존에는 한 번에 여러개의 augmentation layer를 결정해야 했는데, 본 방법은 학습이 진행되면서 augmentation을 순차적으로 convergence에 이를때까지 더한다. 아래 그림처럼 기존 method는 hand picked .. 2022. 3. 4. [논문리뷰] Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing (AAAI 2022) 이번에는 AAAI2022에 accept 된 Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing 을 리뷰하려고 합니다. KAIST에서 게재한 내용이네요. 자세한 내용은 원문을 참고해주세요. Introduction 주어진 task에 충분한 데이터를 얻기 위해서 굉장히 오래걸렸다. 그래서 이러한 데이터 부족을 극복하기 위해서 주로 data augmentation을 사용해왔습니다. Data augmentation은 generalization(일반적인 classification 성능) 과 robustness를 모두 달성하는 경우도 있었다고 합니다. 기존 augmentation method는 flip, rotate등을 .. 2022. 2. 20. [논문 리뷰] Fast is better than free: Revisiting adversarial training (ICLR 2020, poster) 이번에는 ICLR 2020에 poster session에 accept 된 Fast is better than free: Revisiting adversarial training 을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Deep neural network는 많은 application 분야에서 성공을 거두고 있지만, robust deep neural network는 아직 research 분야로 남아있을 정도로 발전이 더뎠다고 합니다. Robust of neural network란 adversarial example에 의해 model이 제대로 본연의 task의 문제를 해결하지 못한다는 것입니다. 이를 adversarially perturbed example이라고도 부르.. 2021. 12. 14. 이전 1 2 3 4 5 다음
