논문리뷰8 [논문리뷰] Deep Auto Augment (ICLR 2022) 이번에는 ICLR 2022에 게재된 Deep Auto Augment를 리뷰하려고 합니다. 자세한 내용은 논문을 참조해주세요. Introduction 최근 automated data augmentation는 state-of-the-art 한 성능을 보이고 있다. 하지만, design space와 augmentation strategy는 여전히 사람의 prior knowledge가 필요로 했고, 이에 본 논문은 fully automated approach를 제안한다. 기존에는 한 번에 여러개의 augmentation layer를 결정해야 했는데, 본 방법은 학습이 진행되면서 augmentation을 순차적으로 convergence에 이를때까지 더한다. 아래 그림처럼 기존 method는 hand picked .. 2022. 3. 4. [논문 리뷰](IE-KD)Revisiting Knowledge Distillation: An Inheritance and Exploration Framework (CVPR 2021) 이번에는 CVPR 2021에 poster paper로 accept 된 Revisiting Knowledge Distillation: An Inheritance and Exploration Framework을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 코드의 경우, 비공식 코드로 구현해두었습니다. Introduction Class distribution사이에서 similarity와 consistency의 정보를 전달함으로써 knowledge distillation 분야가 성공할 수 있었다고 저자는 말하고 있습니다.(Hinton의 KD, Tf-KD etc.) 또한, layer 중간의 output에서 feature representation을 transfer하는 방법도 성공을 이끌었다고 말하고 있.. 2021. 8. 26. [논문 리뷰] Regularizing Class-wise Predictions via Self-knowledge Distillation (CVPR 2020) 이번에는 CVPR 2020 poster session에 게재된 Regularizing Class-wise Predictions via Self-knowledge Distillation 논문을 리뷰하려고 합니다. 논문은 링크를 참조해주세요. Introduction Deep Neural Network(DNN)이 발전함에 따라서 scale이 커지고 깊어진 network들이 등장하였습니다. (DenseNet, ResNet, etc.) 이러한 parameter들의 증가는 overfitting이나 poor generalization 문제가 발생하기 쉽게 만들었습니다. 이러한 문제점들을 극복하기 위해서 사람들은 regularization method를 사용해왔습니다. 이를테면, early stopping, dropo.. 2021. 6. 22. [논문 리뷰] AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning (NeurIPS 2020) 이하 글들은 (https://kdst.re.kr)에 게재한 글과 동일 저자가 작성한 글임을 밝힙니다. 이번에는 NIPS 2020 Poster session에 발표된 논문인 AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning 을 리뷰하려고 합니다. 논문은 링크를 참조해주세요 Background and Introduction 우선 Mutli-task learning이라는 게 어떤 것일까요? Multi-task learning은 task가 여러 개라는 것인데 큰 dataset $D$ 아래에 다른 dataset $D_{i}$로 구분된 $D=\{D_1, ... , D_i \}$ 를 사용하는 learning method를 말합니다. Mul.. 2021. 6. 22. 이전 1 2 다음
