CVPR5 [논문리뷰] Local Context Normalization: Revisiting Local Normaliztion (CVPR 2020, Oral Paper) 이번에는 CVPR2020에 oral paper로 accept 된 Local Context Normalization: Revisiting Local Normaliztion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Batch Normalization은 빼고 나누는 feature normalization을 통해서 deep learning architecture에서 많이 사용되어왔습니다. 특히, Batch Norm이 처음에는 covariate shift로 인해서 좋을 것이라고 예측했으나, 최근에는 Batch Norm(BN)이 optimization land scape를 평탄화함으로 써 학습의 수렴에 기여를 했음이 밝혀졌습니다. 하지만 본 논문에서 제시한 단점으로 1) sm.. 2022. 4. 17. [논문리뷰] Saliency Detection: A Spectral Residual Approach (CVPR 2007) 이번에는 CVPR 2007년에 accept 된 Saliency Detection: A Spectral Residual Approach 을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Object recognition을 진행하는 과정 중에 있어서 첫 번째로 해야할 일은 object detection입니다. Object detection은 object를 background와 분리하여 recognition을 정확하게 하는데에 도움을 주는 역할을 한다고 할 수 있습니다. 하지만, 모르는 background에서 정확하게 salient region을 분리하는 방법이 있다면 좋지 않을까요? 기존 모델에서는 target을 바탕으로 특정 feature를 연관시킴으로서 추출하는 방법이 있.. 2021. 11. 15. [논문 리뷰](IE-KD)Revisiting Knowledge Distillation: An Inheritance and Exploration Framework (CVPR 2021) 이번에는 CVPR 2021에 poster paper로 accept 된 Revisiting Knowledge Distillation: An Inheritance and Exploration Framework을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 코드의 경우, 비공식 코드로 구현해두었습니다. Introduction Class distribution사이에서 similarity와 consistency의 정보를 전달함으로써 knowledge distillation 분야가 성공할 수 있었다고 저자는 말하고 있습니다.(Hinton의 KD, Tf-KD etc.) 또한, layer 중간의 output에서 feature representation을 transfer하는 방법도 성공을 이끌었다고 말하고 있.. 2021. 8. 26. [논문 리뷰] Regularizing Class-wise Predictions via Self-knowledge Distillation (CVPR 2020) 이번에는 CVPR 2020 poster session에 게재된 Regularizing Class-wise Predictions via Self-knowledge Distillation 논문을 리뷰하려고 합니다. 논문은 링크를 참조해주세요. Introduction Deep Neural Network(DNN)이 발전함에 따라서 scale이 커지고 깊어진 network들이 등장하였습니다. (DenseNet, ResNet, etc.) 이러한 parameter들의 증가는 overfitting이나 poor generalization 문제가 발생하기 쉽게 만들었습니다. 이러한 문제점들을 극복하기 위해서 사람들은 regularization method를 사용해왔습니다. 이를테면, early stopping, dropo.. 2021. 6. 22. 이전 1 2 다음
