关于CNN的一些相关论文

2018年10月8日20:48:12关于CNN的一些相关论文已关闭评论 579

1980年日本学者福岛邦彦(Kunihiko Fukushima)提出的神经认知机模型(Neocognitron)
Fukushima K, Miyake S. Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition[M]//Competition and cooperation in neural nets. Springer, Berlin, Heidelberg, 1982: 267-285.
1989年Yann LeCun提出第一个真正意义上的CNN:LeNet 1989
LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural computation, 1989, 1(4): 541-551.
1998年Yann LeCun在其博士论文中详细介绍了LeNet(又称LeNet-5),影响力巨大
LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
2012年ILSVRC冠军:AlexNet,掀起深度学习计算机视觉狂潮
Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
2013年ILSVRC冠军:ZFNet
Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Springer, Cham, 2014: 818-833.
2014年ILSVRC冠军:GoogLeNet,提出Inception结构
Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]. Cvpr, 2015.
2014年ILSVRC亚军:VGGNet,亮点是对网络深度的研究
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
2015年ILSVRC冠军:ResNet,提出Residual结构
He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

此后直到目前为止,非常有影响力的CNN就没有出现了,合理结合Inception结构与Residual结构已经可以使CNN效果很好。有一定影响力的还有:

2016年Google团队结合了Inception结构与Residual 结构,提出Inception-Residual Net
Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4, inception-resnet and the impact of residual connections on learning[C]//AAAI. 2017, 4: 12.
2016年何凯明提出新的ResNet的想法:Identity Mapping
He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[C]//European Conference on Computer Vision. Springer, Cham, 2016: 630-645.
2017年DenseNet
Huang G, Liu Z, Weinberger K Q, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017, 1(2): 3.

2016年以来,卷积神经网络开始往轻量化发展,为视觉深度学习模型在移动设备上的应用提供条件。

2016年MobileNet
Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.
2016年ShuffleNet
Zhang X, Zhou X, Lin M, et al. Shufflenet: An extremely efficient convolutional neural network for mobile devices[J]. arXiv preprint arXiv:1707.01083, 2017.
2016年Xception【注:Xception目标并不是使卷积神经网络轻量化,而是在不增加网络复杂度的情况下提升性能,但其中使用的depthwise convolution思想是MobileNet等轻量级卷积神经网络的关键,故也列在这里】
Chollet F. Xception: Deep learning with depthwise separable convolutions[J]. arXiv preprint, 2017: 1610.02357.
2016年ResNeXt【注:ResNeXt也是为了在不增加网络复杂度的情况下提升性能,列在此处的原因与Xception相同】
Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on. IEEE, 2017: 5987-5995.

 

文件下载
下载地址

历史上的今天: