CS231n 深度学习与计算机视觉

• Lesson 1：计算机视觉历史回顾与介绍 Date: 18th July
• Lesson 2：KNN与线性分类器 Date: 21th July
• Lesson 3：线性分类器损失函数与最优化 Date: 21th July
• Lesson 4：反向传播与神经网络初步 Date: 25th July
• Lesson 5：神经网络训练细节 part1 Date: 2th Aug
• Lesson 6：神经网络训练细节 part2 Date: 11th Aug

7.15 - 7.21

• 学习CS231n
• 泛读了两篇CVPR医学影像论文SCAN，ChestX-ray8
• 根据论文又学习了GANs, FCN

7.24 - 7.28

• 学习CS231n，了解反向传播原理
• 阅读了图像分割相关论文 FCN, deeplab
• 学习了caffe基础知识，参考21天实战caffe

7.31 - 8.4

• 精度ChestX-ray8, 整理ChestX-ray8笔记

8.7 - 8.11

• 学习CS231n
• 精度SCAN, 整理SCAN笔记
• 制作报告ppt

8.14 - 8.19

• 学习CS231n
• 8.16实验室报告

参考资料

• 简单理解与实验生成对抗网络GAN
• 生成式模型 & 生成对抗网络——资料梳理（专访资料 + 论文分类）(关注DCGAN内容 deep convolution GAN)

Deeplab 图像分割方法

参考博客：

• 图像分割方法deeplab以及Hole算法解析
• FCN:Fully Convolutional Networks for Semantic Segmentation

神经网络优化

Dropout

• 作用：减少过拟合

BN( Batch Normalization) 批量归一化

• 作用：加快训练速度
• 地位：与激活函数层、卷积层、全连接层、池化层一样，BN(Batch Normalization)也属于网络的一层
• 区别于Normalizaiton: 它是一个可学习、有参数（γ、β）的网络层
• 参考论文： Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Global average pooling layer 全局均值池化

• 作用：使用全局均值池化层代替全连接层，减少参数量，减少过拟合
• 本文提出采用全局均值池化的方法，替代传统CNN中的全连接层。与传统的全连接层不同，我们对每个特征图一整张图片进行全局均值池化，这样每张特征图都可以得到一个输出。这样采用均值池化，连参数都省了，可以大大减小网络，避免过拟合，另一方面它有一个特点，每张特征图相当于一个输出特征，然后这个特征就表示了我们输出类的特征。
• 参考论文：Network in Network

共享参数

CNN通过共享卷积核的参数，减少参数量，减少过拟合，即把一整张特征图当做一个神经元进行处理。

参考

• cs231n学习笔记-激活函数-BN-参数优化
• 深度学习（二十六）Network In Network学习笔记
• 深度学习（二十九）Batch Normalization 学习笔记

深度学习框架选择

• Caffe
• Caffe2
• Tensorflow( wrapper : Keras)
• torch( in lua)
• pytorch

之前接触过Tensorflow和caffe，参考了大家的一点看法，目前2017年pytorch可能是比较好的一个框架。
之前学习keras觉得很简洁很好写，但是存在不足的是包装过度不适合做research，存在效率问题。而Tensorflow虽然有着强大的社区支持，但是对图的定义、debug自己在写的过程中也感觉到了复杂。

在接下来做research的过程中，要继续深入学习一下caffe，以及过度到caffe2（拥有更好的效率和速度）。以及接触学习facebook在2017年年初刚发布的pytorch，使用的是python，更加像是过程式编程，可以自动完成图的构建。