전체 글18 [논문리뷰] BiaSwap: Removing Dataset Bias with Bias-Tailored Swapping Augmentation (ICCV 2021) 이번에는 ICCV 2021에 accept 된 Kaist의 BiaSwap: Removing Dataset Bias with Bias-Tailored Swapping Augmentation 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Deep neural network는 보통 dataset에 존재하는 spurious correlation에 기반해서 prediction을 하는 경우가 많다고 합니다. 쉽게 말하면 ground truth라고 알고있는 대상을 보지 않고 correlated된 다른 feature를 기반으로 하는 경우가 많다는 것이죠. 이러한 것은 unbiased data distribution환경에서 generalization에 실패하는 경우도 많았기에 이러한 문제를 다뤘던 기존의 appr.. 2022. 9. 13. [논문리뷰] Learning Debiased Representation via Disentangled Feature Augmentation (NeurIPS 2021) 이번에는 NeurIPS 2021에 accept 된 Kaist와 Kakao의 Learning Debiased Representation via Disentangled Feature Augmentation 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 최근의 Deep Neural Network는 주변 속성들을 기반으로 decision을 진행하고, 이러한 것은 target variable과 correlation이 강하게 존재한다. 이런 모델은 dataset bias로 부터 학습된 biased model이라고 한다. Biased dataset은 target variable에 맞는 것이 주로 나타나는 속성을 포함한다. (이를 bias attributes라고 부른다.) 논문에서는 새와 그 주변의 하늘 정도.. 2022. 7. 26. [논문리뷰] ISDA: Implicit Semantic Data Augmentation for Deep Networks (NeurIPS 2019) 이번에는 NeurIPS 2019에 accept 된 Baidu의 Implicit Semantic Data Augmentation for Deep Networks 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Data augmentation은 효과적으로 deep neural network를 학습시킬 수 있다는 점이 있었고, 특히 image recognition 분야에서 content는 preserving하면서 transform하는 방식이 발전해왔습니다. 하지만, semantic transform에 대해서는 제대로 바꾼적이 없었습니다. (crop, flip, rotation, color jitter, etc.) 이를 잘 해낸 방식이 Generative Adversarial Network라고 할 수 있.. 2022. 7. 5. [논문리뷰] (Deep Inversion) Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion (CVPR 2020) 이번에는 CVPR2020에 accept 된 Nvidia lab의 Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 이미지를 학습된 모델에서 새로운 것으로 이동하는 능력은 되게 많은 영역에서 진행되어져 왔습니다. 예를 들어 Pruning이나, Quantization이라던지 를 통해서 efficient하게 옮기는 방법이 있을 것이 있어왔고, 하드웨어를 바꿔서도 되는 방식이라던지 또는 continual learning 같은게 있어왔습니다. 보통은 이러한 작업을 위해서 knowledge distillation과 같은 방법들을 많이 사용해왔는데 데이터셋을 무조건 .. 2022. 6. 27. [논문리뷰] Local Context Normalization: Revisiting Local Normaliztion (CVPR 2020, Oral Paper) 이번에는 CVPR2020에 oral paper로 accept 된 Local Context Normalization: Revisiting Local Normaliztion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Batch Normalization은 빼고 나누는 feature normalization을 통해서 deep learning architecture에서 많이 사용되어왔습니다. 특히, Batch Norm이 처음에는 covariate shift로 인해서 좋을 것이라고 예측했으나, 최근에는 Batch Norm(BN)이 optimization land scape를 평탄화함으로 써 학습의 수렴에 기여를 했음이 밝혀졌습니다. 하지만 본 논문에서 제시한 단점으로 1) sm.. 2022. 4. 17. [논문리뷰] Deep Auto Augment (ICLR 2022) 이번에는 ICLR 2022에 게재된 Deep Auto Augment를 리뷰하려고 합니다. 자세한 내용은 논문을 참조해주세요. Introduction 최근 automated data augmentation는 state-of-the-art 한 성능을 보이고 있다. 하지만, design space와 augmentation strategy는 여전히 사람의 prior knowledge가 필요로 했고, 이에 본 논문은 fully automated approach를 제안한다. 기존에는 한 번에 여러개의 augmentation layer를 결정해야 했는데, 본 방법은 학습이 진행되면서 augmentation을 순차적으로 convergence에 이를때까지 더한다. 아래 그림처럼 기존 method는 hand picked .. 2022. 3. 4. [논문리뷰] Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing (AAAI 2022) 이번에는 AAAI2022에 accept 된 Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing 을 리뷰하려고 합니다. KAIST에서 게재한 내용이네요. 자세한 내용은 원문을 참고해주세요. Introduction 주어진 task에 충분한 데이터를 얻기 위해서 굉장히 오래걸렸다. 그래서 이러한 데이터 부족을 극복하기 위해서 주로 data augmentation을 사용해왔습니다. Data augmentation은 generalization(일반적인 classification 성능) 과 robustness를 모두 달성하는 경우도 있었다고 합니다. 기존 augmentation method는 flip, rotate등을 .. 2022. 2. 20. [논문 리뷰] Fast is better than free: Revisiting adversarial training (ICLR 2020, poster) 이번에는 ICLR 2020에 poster session에 accept 된 Fast is better than free: Revisiting adversarial training 을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Deep neural network는 많은 application 분야에서 성공을 거두고 있지만, robust deep neural network는 아직 research 분야로 남아있을 정도로 발전이 더뎠다고 합니다. Robust of neural network란 adversarial example에 의해 model이 제대로 본연의 task의 문제를 해결하지 못한다는 것입니다. 이를 adversarially perturbed example이라고도 부르.. 2021. 12. 14. [논문리뷰] Saliency Detection: A Spectral Residual Approach (CVPR 2007) 이번에는 CVPR 2007년에 accept 된 Saliency Detection: A Spectral Residual Approach 을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Object recognition을 진행하는 과정 중에 있어서 첫 번째로 해야할 일은 object detection입니다. Object detection은 object를 background와 분리하여 recognition을 정확하게 하는데에 도움을 주는 역할을 한다고 할 수 있습니다. 하지만, 모르는 background에서 정확하게 salient region을 분리하는 방법이 있다면 좋지 않을까요? 기존 모델에서는 target을 바탕으로 특정 feature를 연관시킴으로서 추출하는 방법이 있.. 2021. 11. 15. [논문리뷰] Co-MixUp: Saliency Guided Joint Mixup with Supermodular Diversity(ICLR 2021 oral) 이번에는 ICLR 2021에 oral session에 accept 된 Co-MixUp: Saliency Guided Joint Mixup with Supermodular Diversity을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 딥러닝 분야가 발전함에 따라 놀라운 성능을 보여주고 있지만, 가장 큰 문제는 excessive representation capability로 인한 overfitting이었다. 관찰하지 못한 데이터에 대해서 large generalization gap을 보여온 것이 문제였습니다. Generalization을 향상시키기 위해서 research는 regularizer위주로 진행되어 왔습니다. (Ex batchnorm, dropout) 또한 pr.. 2021. 11. 9. [논문 리뷰] SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data (AAAI 2021) 이번에는 AAAI 2021에 accept 된 SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Data mixing augmentation은 딥러닝 모델을 학습시키는데에 어서 효과적인 면모를 보여왔습니다. 그 중에서 MixUp, CutOut, CutMix와 같은 논문들은 효과적인 발전을 이끌어왔습니다. 이러한 data mixing augmentation은 training distribution을 확장시키고, data를 deep learning model에 기억시키는 현상(overfitting)을 줄임으로서 model generalization.. 2021. 9. 20. [논문 리뷰](IE-KD)Revisiting Knowledge Distillation: An Inheritance and Exploration Framework (CVPR 2021) 이번에는 CVPR 2021에 poster paper로 accept 된 Revisiting Knowledge Distillation: An Inheritance and Exploration Framework을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 코드의 경우, 비공식 코드로 구현해두었습니다. Introduction Class distribution사이에서 similarity와 consistency의 정보를 전달함으로써 knowledge distillation 분야가 성공할 수 있었다고 저자는 말하고 있습니다.(Hinton의 KD, Tf-KD etc.) 또한, layer 중간의 output에서 feature representation을 transfer하는 방법도 성공을 이끌었다고 말하고 있.. 2021. 8. 26. 이전 1 2 다음
