Distilling Image Dehazing with Heterogeneous Task Imitation

CVPR 2020

Ming Hong, Yuan Xie, Cuihua Li, Yanyun Qu

简介

文章使用知识蒸馏方法设计了去雾网络。教师网络为自编码器对无雾图像进行恢复，学生网络为端到端的去雾网络对有雾图像进行去雾。其中教师网络的编码特征为指导信息指导学生网络的中间结果与自编码器网络相似。

文章提出了三个问题：

对于去雾任务，什么样的网络可以提供有效的知识来辅助去雾网络进行训练？现有的大部分知识蒸馏方法是让老师网络和学生网络处理相同的任务，很少有人研究不同任务之间的知识迁移。异构任务是否有助于深度去雾模型的训练？
教师网络如何帮助学生网络训练？大多数知识蒸馏方法侧重于结果导向的学习，而忽略了过程导向的学习。所以，该如何利用中间层特征培养学生？
如何衡量老师和学生之间的相似性？在图像分类中，利用类的分布来衡量师生之间的相似性。而对图像增强，没有相应的类信息可以使用。