본문 바로가기

cvpr20204

[논문리뷰] (Deep Inversion) Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion (CVPR 2020) 이번에는 CVPR2020에 accept 된 Nvidia lab의 Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 이미지를 학습된 모델에서 새로운 것으로 이동하는 능력은 되게 많은 영역에서 진행되어져 왔습니다. 예를 들어 Pruning이나, Quantization이라던지 를 통해서 efficient하게 옮기는 방법이 있을 것이 있어왔고, 하드웨어를 바꿔서도 되는 방식이라던지 또는 continual learning 같은게 있어왔습니다. 보통은 이러한 작업을 위해서 knowledge distillation과 같은 방법들을 많이 사용해왔는데 데이터셋을 무조건 .. 2022. 6. 27.
[논문리뷰] Local Context Normalization: Revisiting Local Normaliztion (CVPR 2020, Oral Paper) 이번에는 CVPR2020에 oral paper로 accept 된 Local Context Normalization: Revisiting Local Normaliztion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Batch Normalization은 빼고 나누는 feature normalization을 통해서 deep learning architecture에서 많이 사용되어왔습니다. 특히, Batch Norm이 처음에는 covariate shift로 인해서 좋을 것이라고 예측했으나, 최근에는 Batch Norm(BN)이 optimization land scape를 평탄화함으로 써 학습의 수렴에 기여를 했음이 밝혀졌습니다. 하지만 본 논문에서 제시한 단점으로 1) sm.. 2022. 4. 17.
[논문 리뷰] Regularizing Class-wise Predictions via Self-knowledge Distillation (CVPR 2020) 이번에는 CVPR 2020 poster session에 게재된 Regularizing Class-wise Predictions via Self-knowledge Distillation 논문을 리뷰하려고 합니다. 논문은 링크를 참조해주세요. Introduction Deep Neural Network(DNN)이 발전함에 따라서 scale이 커지고 깊어진 network들이 등장하였습니다. (DenseNet, ResNet, etc.) 이러한 parameter들의 증가는 overfitting이나 poor generalization 문제가 발생하기 쉽게 만들었습니다. 이러한 문제점들을 극복하기 위해서 사람들은 regularization method를 사용해왔습니다. 이를테면, early stopping, dropo.. 2021. 6. 22.
[논문 리뷰] Revisiting Knowledge Distillation via Label Smoothing Regularization (CVPR, 2020) 이하 글들은 (https://kdst.re.kr)에 게재한 글과 동일 저자가 작성한 글임을 밝힙니다. 이번에는 CVPR 2020에 Oral session에 발표된 논문인 Revisiting Knowledge Distillation via Label Smoothing Regularization을 리뷰하려고 합니다. 논문은 링크를 참조해주세요 Background Geoffrey Hinton 이 2014년 NeurIPS에 발표한 Distilling the Knowledge in a Neural Network 이후로 분야가 개척되어왔습니다. Knowledge Distillation에서 Hinton이 발표한 방식은 pretrained teacher model의 logits과 student모델의 logits의 so.. 2021. 6. 22.