augmentation3 [논문리뷰] Learning Debiased Representation via Disentangled Feature Augmentation (NeurIPS 2021) 이번에는 NeurIPS 2021에 accept 된 Kaist와 Kakao의 Learning Debiased Representation via Disentangled Feature Augmentation 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 최근의 Deep Neural Network는 주변 속성들을 기반으로 decision을 진행하고, 이러한 것은 target variable과 correlation이 강하게 존재한다. 이런 모델은 dataset bias로 부터 학습된 biased model이라고 한다. Biased dataset은 target variable에 맞는 것이 주로 나타나는 속성을 포함한다. (이를 bias attributes라고 부른다.) 논문에서는 새와 그 주변의 하늘 정도.. 2022. 7. 26. [논문리뷰] ISDA: Implicit Semantic Data Augmentation for Deep Networks (NeurIPS 2019) 이번에는 NeurIPS 2019에 accept 된 Baidu의 Implicit Semantic Data Augmentation for Deep Networks 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Data augmentation은 효과적으로 deep neural network를 학습시킬 수 있다는 점이 있었고, 특히 image recognition 분야에서 content는 preserving하면서 transform하는 방식이 발전해왔습니다. 하지만, semantic transform에 대해서는 제대로 바꾼적이 없었습니다. (crop, flip, rotation, color jitter, etc.) 이를 잘 해낸 방식이 Generative Adversarial Network라고 할 수 있.. 2022. 7. 5. [논문리뷰] Co-MixUp: Saliency Guided Joint Mixup with Supermodular Diversity(ICLR 2021 oral) 이번에는 ICLR 2021에 oral session에 accept 된 Co-MixUp: Saliency Guided Joint Mixup with Supermodular Diversity을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 딥러닝 분야가 발전함에 따라 놀라운 성능을 보여주고 있지만, 가장 큰 문제는 excessive representation capability로 인한 overfitting이었다. 관찰하지 못한 데이터에 대해서 large generalization gap을 보여온 것이 문제였습니다. Generalization을 향상시키기 위해서 research는 regularizer위주로 진행되어 왔습니다. (Ex batchnorm, dropout) 또한 pr.. 2021. 11. 9. 이전 1 다음
