본문 바로가기

Classification3

[논문리뷰] Co-MixUp: Saliency Guided Joint Mixup with Supermodular Diversity(ICLR 2021 oral) 이번에는 ICLR 2021에 oral session에 accept 된 Co-MixUp: Saliency Guided Joint Mixup with Supermodular Diversity을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 딥러닝 분야가 발전함에 따라 놀라운 성능을 보여주고 있지만, 가장 큰 문제는 excessive representation capability로 인한 overfitting이었다. 관찰하지 못한 데이터에 대해서 large generalization gap을 보여온 것이 문제였습니다. Generalization을 향상시키기 위해서 research는 regularizer위주로 진행되어 왔습니다. (Ex batchnorm, dropout) 또한 pr.. 2021. 11. 9.
[논문 리뷰] SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data (AAAI 2021) 이번에는 AAAI 2021에 accept 된 SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Data mixing augmentation은 딥러닝 모델을 학습시키는데에 어서 효과적인 면모를 보여왔습니다. 그 중에서 MixUp, CutOut, CutMix와 같은 논문들은 효과적인 발전을 이끌어왔습니다. 이러한 data mixing augmentation은 training distribution을 확장시키고, data를 deep learning model에 기억시키는 현상(overfitting)을 줄임으로서 model generalization.. 2021. 9. 20.
[논문 리뷰](IE-KD)Revisiting Knowledge Distillation: An Inheritance and Exploration Framework (CVPR 2021) 이번에는 CVPR 2021에 poster paper로 accept 된 Revisiting Knowledge Distillation: An Inheritance and Exploration Framework을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 코드의 경우, 비공식 코드로 구현해두었습니다. Introduction Class distribution사이에서 similarity와 consistency의 정보를 전달함으로써 knowledge distillation 분야가 성공할 수 있었다고 저자는 말하고 있습니다.(Hinton의 KD, Tf-KD etc.) 또한, layer 중간의 output에서 feature representation을 transfer하는 방법도 성공을 이끌었다고 말하고 있.. 2021. 8. 26.