본문 바로가기

전체 글8

[논문 리뷰] SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data (AAAI 2021) 이번에는 AAAI 2021에 accept 된 SnapMix: Semantically Proportional Mixing for Augmenting Fine-grained Data을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction Data mixing augmentation은 딥러닝 모델을 학습시키는데에 어서 효과적인 면모를 보여왔습니다. 그 중에서 MixUp, CutOut, CutMix와 같은 논문들은 효과적인 발전을 이끌어왔습니다. 이러한 data mixing augmentation은 training distribution을 확장시키고, data를 deep learning model에 기억시키는 현상(overfitting)을 줄임으로서 model generalization.. 2021. 9. 20.
[논문 리뷰](IE-KD)Revisiting Knowledge Distillation: An Inheritance and Exploration Framework (CVPR 2021) 이번에는 CVPR 2021에 poster paper로 accept 된 Revisiting Knowledge Distillation: An Inheritance and Exploration Framework을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. 코드의 경우, 비공식 코드로 구현해두었습니다. Introduction Class distribution사이에서 similarity와 consistency의 정보를 전달함으로써 knowledge distillation 분야가 성공할 수 있었다고 저자는 말하고 있습니다.(Hinton의 KD, Tf-KD etc.) 또한, layer 중간의 output에서 feature representation을 transfer하는 방법도 성공을 이끌었다고 말하고 있.. 2021. 8. 26.
[논문리뷰] (MPLight) Toward a thousand lights:Decentralized deep reinforcement learning for large-scale traffic signal control 이번에 리뷰할 논문은 교통공학 논문으로 AAAI 2020에 게재된 Toward a thousand lights:Decentralized deep reinforcement learning for large-scale traffic signal control 입니다. 자세한 내용은 원본 paper인 링크를 참조해주세요. Motivation Traffic congestion은 급격한 도시화로 인한 사회적 문제로 대두되고 있고, 이로 인해서 발생하는 이산화탄소와 같은 가스 발생량은 23%를 차지하고 있으며, 그 중 교통신호 시스템으로 인해 발생하는 배기가스는 40%에 달한다고 합니다. 이에 최근에는 효율적으로 제어하기 위해 Reinforcement Learning method를 적용하려는 시도들이 계속되고 있습.. 2021. 7. 17.
[논문 리뷰](MADDPG)Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments(NIPS 2017), 이번에는 NIPS 2017 Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments을 리뷰하려고 합니다. 자세한 내용은 논문을 참조해주세요 Introduction & Background 강화학습, RL이 발전함에 따라서 더 복잡한 task를 다루어야 했고, 단순한 작업이라고 착각했던 로봇의 관절 움직임 같은 것들을 제어하는 데에 있어서 Multi-agent RL을 통해서 진행하는데에 어려움이 있어왔습니다. Multi-agent reinforcement learning을 다루는데에 있어서 기존의 전통적인 방법들에는 다음과 같은 문제들이 있습니다. 1. Q-learning 기본적으로 Q-learning은 어떤 state $S$에서 act.. 2021. 6. 30.
[논문 리뷰] Regularizing Class-wise Predictions via Self-knowledge Distillation (CVPR 2020) 이번에는 CVPR 2020 poster session에 게재된 Regularizing Class-wise Predictions via Self-knowledge Distillation 논문을 리뷰하려고 합니다. 논문은 링크를 참조해주세요. Introduction Deep Neural Network(DNN)이 발전함에 따라서 scale이 커지고 깊어진 network들이 등장하였습니다. (DenseNet, ResNet, etc.) 이러한 parameter들의 증가는 overfitting이나 poor generalization 문제가 발생하기 쉽게 만들었습니다. 이러한 문제점들을 극복하기 위해서 사람들은 regularization method를 사용해왔습니다. 이를테면, early stopping, dropo.. 2021. 6. 22.
[논문 리뷰] Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks(NIPS 2020) 이하 글들은 (https://kdst.re.kr)에 게재한 글과 동일 저자가 작성한 글임을 밝힙니다. 이번 글에서는 NeurIPS 2020에 Spotlight로 선정된 “Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks” 논문을 소개해드리려고 합니다. 해당 논문의 자세한 내용은 링크와 github를 참고해주세요 Introduction - Spiking Neural Network(SNN)은 뇌의 행동을 모방하여 동작할 수 있는 모델로 기존 DNN(Deep Neural Network)와 달리 Time data 또한 영향을 끼치는 모델입니다. 최근 DNN의 많은 에너지 사용 대신 효율적으로 사용하는 뇌를 모.. 2021. 6. 22.
[논문 리뷰] AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning (NIPS 2020) 이하 글들은 (https://kdst.re.kr)에 게재한 글과 동일 저자가 작성한 글임을 밝힙니다. 이번에는 NIPS 2020 Poster session에 발표된 논문인 AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning 을 리뷰하려고 합니다. 논문은 링크를 참조해주세요 Background and Introduction 우선 Mutli-task learning이라는 게 어떤 것일까요? Multi-task learning은 task가 여러 개라는 것인데 큰 dataset $D$ 아래에 다른 dataset $D_{i}$로 구분된 $D=\{D_1, ... , D_i \}$ 를 사용하는 learning method를 말합니다. Mul.. 2021. 6. 22.
[논문 리뷰] Revisiting Knowledge Distillation via Label Smoothing Regularization (CVPR, 2020) 이하 글들은 (https://kdst.re.kr)에 게재한 글과 동일 저자가 작성한 글임을 밝힙니다. 이번에는 CVPR 2020에 Oral session에 발표된 논문인 Revisiting Knowledge Distillation via Label Smoothing Regularization을 리뷰하려고 합니다. 논문은 링크를 참조해주세요 Background Geoffrey Hinton 이 2014년 NeurIPS에 발표한 Distilling the Knowledge in a Neural Network 이후로 분야가 개척되어왔습니다. Knowledge Distillation에서 Hinton이 발표한 방식은 pretrained teacher model의 logits과 student모델의 logits의 so.. 2021. 6. 22.