Inversion1 [논문리뷰] (Deep Inversion) Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion (CVPR 2020) 이번에는 CVPR2020에 accept 된 Nvidia lab의 Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion을 리뷰하려고 합니다. 자세한 내용은 원문을 참고해주세요. Introduction 이미지를 학습된 모델에서 새로운 것으로 이동하는 능력은 되게 많은 영역에서 진행되어져 왔습니다. 예를 들어 Pruning이나, Quantization이라던지 를 통해서 efficient하게 옮기는 방법이 있을 것이 있어왔고, 하드웨어를 바꿔서도 되는 방식이라던지 또는 continual learning 같은게 있어왔습니다. 보통은 이러한 작업을 위해서 knowledge distillation과 같은 방법들을 많이 사용해왔는데 데이터셋을 무조건 .. 2022. 6. 27. 이전 1 다음