논문리뷰8 [논문리뷰] BiaSwap: Removing Dataset Bias with Bias-Tailored Swapping Augmentation (ICCV 2021) 이번에는 ICCV 2021에 accept 된 Kaist의 BiaSwap: Removing Dataset Bias with Bias-Tailored Swapping Augmentation 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Deep neural network는 보통 dataset에 존재하는 spurious correlation에 기반해서 prediction을 하는 경우가 많다고 합니다. 쉽게 말하면 ground truth라고 알고있는 대상을 보지 않고 correlated된 다른 feature를 기반으로 하는 경우가 많다는 것이죠. 이러한 것은 unbiased data distribution환경에서 generalization에 실패하는 경우도 많았기에 이러한 문제를 다뤘던 기존의 appr.. 2022. 9. 13. [논문리뷰] Learning Debiased Representation via Disentangled Feature Augmentation (NeurIPS 2021) 이번에는 NeurIPS 2021에 accept 된 Kaist와 Kakao의 Learning Debiased Representation via Disentangled Feature Augmentation 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 최근의 Deep Neural Network는 주변 속성들을 기반으로 decision을 진행하고, 이러한 것은 target variable과 correlation이 강하게 존재한다. 이런 모델은 dataset bias로 부터 학습된 biased model이라고 한다. Biased dataset은 target variable에 맞는 것이 주로 나타나는 속성을 포함한다. (이를 bias attributes라고 부른다.) 논문에서는 새와 그 주변의 하늘 정도.. 2022. 7. 26. [논문리뷰] ISDA: Implicit Semantic Data Augmentation for Deep Networks (NeurIPS 2019) 이번에는 NeurIPS 2019에 accept 된 Baidu의 Implicit Semantic Data Augmentation for Deep Networks 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Data augmentation은 효과적으로 deep neural network를 학습시킬 수 있다는 점이 있었고, 특히 image recognition 분야에서 content는 preserving하면서 transform하는 방식이 발전해왔습니다. 하지만, semantic transform에 대해서는 제대로 바꾼적이 없었습니다. (crop, flip, rotation, color jitter, etc.) 이를 잘 해낸 방식이 Generative Adversarial Network라고 할 수 있.. 2022. 7. 5. [논문리뷰] (Deep Inversion) Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion (CVPR 2020) 이번에는 CVPR2020에 accept 된 Nvidia lab의 Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 이미지를 학습된 모델에서 새로운 것으로 이동하는 능력은 되게 많은 영역에서 진행되어져 왔습니다. 예를 들어 Pruning이나, Quantization이라던지 를 통해서 efficient하게 옮기는 방법이 있을 것이 있어왔고, 하드웨어를 바꿔서도 되는 방식이라던지 또는 continual learning 같은게 있어왔습니다. 보통은 이러한 작업을 위해서 knowledge distillation과 같은 방법들을 많이 사용해왔는데 데이터셋을 무조건 .. 2022. 6. 27. 이전 1 2 다음
