TensorFlow卷积神经网络AlexNet实现示例详解

2012年，Hinton的学生Alex Krizhevsky提出了深度卷积神经网络模型AlexNet，它可以算是LeNet的一种更深更宽的版本。AlexNet以显著的优势赢得了竞争激烈的ILSVRC 2012比赛，top-5的错误率降低至了16.4%，远远领先第二名的26.2%的成绩。AlexNet的出现意义非常重大，它证明了CNN在复杂模型下的有效性，而且使用GPU使得训练在可接受的时间范围内得到结果，让CNN和GPU都大火了一把。AlexNet可以说是神经网络在低谷期后的第一次发声，确立了深度学习（深度卷积网络）在计算机视觉的统治地位，同时也推动了深度学习在语音识别、自然语言处理、强化学习等领域的拓展。

模型结构

整个AlexNet前5层为卷积层，后3个为全连接层，其中最后一层是1000类输出的Softmax分类输出层。LRN层在第1个及第2个卷积层之后，Max pooling层在两个LRN层之后和最后一个卷积层之后。ReLU激活函数跟在5个卷积层和2个全连接层后面（最后输出层没有）。

因为AlexNet训练时使用了两块GPU，因此这个结构图中不少组件都被拆为了两部分。现在我们GPU的显存足够大可以放下全部模型参数，因此只考虑一块GPU的情况。

AlexNet中包含的新技术点

成功使用ReLU作为CNN的激活函数，并验证了在较深的网络中其效果超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度消失问题。虽然ReLU在很久之前就被提出来了，但AlexNet的出现才将其发扬光大。

网络中加入了Dropout层，训练时使用Dropout随机杀死（忽略）一部分神经元，以避免模型过拟合。（AlexNet通过实践证实了Dropout的效果，关于Dropout有单独的论文论述。）

池化层使用Max pooling，此前CNN普遍使用平均池化，最大池化避免了平均池化的模糊化效果。且提出让步长小于池化核的尺寸，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

提出了LRN层（Local Response Normalization），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变的相对更大，并抑制其它反馈较小的神经元，增强了模型的泛化能力。

使用CUDA加速深度神经网络的训练，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算。（当时Alex使用的是两块GTX 580，单个GPU只有3GB显存，限制了可训练的网络的最大规模。因此他将AlexNet分布在两个GPU上，每个GPU的显存中储存一半的神经元的参数。现在GTX 1080Ti都出来了，硬件发展的还是比较快的，这也是深度学习能飞速发展的重要原因之一吧）

数据增强。随机地从256*256的原始图像中截取224*224大小的区域（以及水平翻转的镜像），相当于增加了(（256-224）^2)*2=2048倍的数据量。如果没有数据增强，仅靠原始数据的数据量，参数众多的CNN会陷入过拟合中，进行数据增强后可以大大减轻过拟合，提升模型的泛化能力。进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10个图片，对它们进行预测并对求10次结果求均值。同时，AlexNet论文中提到了会对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动，增加了一些噪声，这个Trick可以让错误率再下降1%。

AlexNet每层的超参数

其中，

Input：图片尺寸224*224

Conv1：卷积核11*11，步长4，96个filter（卷积核尺寸较大）

ReLU

LRN1

Max pooling1：3*3，步长2

Conv2：卷积核5*5，步长1，256个filter

ReLU

LRN2

Max pooling2：3*3，步长2

Conv3：卷积核3*3，步长1，384个filter

ReLU

Conv4：卷积核3*3，步长1，384个filter

ReLU

Conv5：卷积核3*3，步长1，256个filter

ReLU

Max pooling3：3*3，步长2

FC1：4096

ReLU

FC2：4096

ReLU

FC3（Output）：1000

对AlexNet使用MNIST数据集

代码如下：

from datetime import datetimeimport timeimport tensorflow as tfimport input_datamnist = input_data.read_data_sets(\'data/\', one_hot=True)print(\"MNIST READY\")# 定义网络参数n_input = 784 # 输入的维度n_output = 10 # 标签的维度learning_rate = 0.001dropout = 0.75# 定义函数print_activations来显示网络每一层结构，展示每一个卷积层或池化层输出tensor的尺寸def print_activations(t):print(t.op.name, \'\', t.get_shape().as_list())# 定义卷积操作def conv2d(input, w, b):return tf.nn.relu(tf.nn.bias_add(tf.nn.conv2d(input, w, strides=[1, 1, 1, 1], padding=\'SAME\'), b)) # 参数分别指定了卷积核的尺寸、多少个channel、filter的个数即产生特征图的个数                                                                                       # 步长为1，即扫描全图像素,[1, 1, 1, 1]分别代表batch_size、h、w、c的stride# 定义池化操作def max_pool(input):return tf.nn.max_pool(input, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding=\'SAME\') # padding有两种选择：\'SAME\'（窗口滑动时，像素不够会自动补0）或\'VALID\'（不够就跳过）两种选择# 定义全连接操作def fc(input, w, b):return tf.nn.relu(tf.add(tf.matmul(input, w), b)) # w*x+b，再通过非线性激活函数relu# 定义网络结构def alex_net(_input, _weights, _biases, _keep_prob):_input_r = tf.reshape(_input, [-1, 28, 28, 1])  # 对图像做一个预处理，转换为tf支持的格式，即[n, h, w, c],-1是确定好其它3维后，让tf去推断剩下的1维with tf.name_scope(\'conv1\'):_conv1 = conv2d(_input_r, _weights[\'wc1\'], _biases[\'bc1\'])print_activations(_conv1) # 将这一层最后输出的tensor conv1的结构打印出来# # 这里参数基本都是AlexNet论文中的推荐值，但目前其他经典卷积神经网络模型基本都放弃了LRN（主要是效果不明显），# # 并且使用LRN也会让前馈、反馈的速度大大下降（整体速度降到1/3）# with tf.name_scope(\'_lrn1\'):#     _lrn1 = tf.nn.lrn(_conv1, 4, bias=1.0, alpha=0.001/9, beta=0.75)with tf.name_scope(\'pool1\'):_pool1 = max_pool(_conv1)print_activations(_pool1)with tf.name_scope(\'conv2\'):_conv2 = conv2d(_pool1, _weights[\'wc2\'], _biases[\'bc2\'])print_activations(_conv2)# with tf.name_scope(\'_lrn2\'):#     _lrn2 = tf.nn.lrn(_conv2, 4, bias=1.0, alpha=0.001/9, beta=0.75)with tf.name_scope(\'pool2\'):_pool2 = max_pool(_conv2)print_activations(_pool2)with tf.name_scope(\'conv3\'):_conv3 = conv2d(_pool2, _weights[\'wc3\'], _biases[\'bc3\'])print_activations(_conv3)with tf.name_scope(\'conv4\'):_conv4 = conv2d(_conv3, _weights[\'wc4\'], _biases[\'bc4\'])print_activations(_conv4)with tf.name_scope(\'conv5\'):_conv5 = conv2d(_conv4, _weights[\'wc5\'], _biases[\'bc5\'])print_activations(_conv5)with tf.name_scope(\'pool3\'):_pool3 = max_pool(_conv5)print_activations(_pool3)_densel = tf.reshape(_pool3, [-1, _weights[\'wd1\'].get_shape().as_list()[0]])  # 定义全连接层的输入，把pool2的输出做一个reshape，变为向量的形式# pool_shape = _pool3.get_shape().as_list()# nodes = pool_shape[1] * pool_shape[2] * pool_shape[3]with tf.name_scope(\'fc1\'):_fc1 = fc(_densel, _weights[\'wd1\'], _biases[\'bd1\'])_fc1_drop = tf.nn.dropout(_fc1, _keep_prob) # 为了减轻过拟合，使用Dropout层print_activations(_fc1_drop)with tf.name_scope(\'fc2\'):_fc2 = fc(_fc1_drop, _weights[\'wd2\'], _biases[\'bd2\'])_fc2_drop = tf.nn.dropout(_fc2, _keep_prob)print_activations(_fc2_drop)with tf.name_scope(\'out\'):_out = tf.add(tf.matmul(_fc2_drop, _weights[\'wd3\']), _biases[\'bd3\'])print_activations(_out)return _outprint(\"CNN READY\")x = tf.placeholder(tf.float32, [None, n_input]) # 用placeholder先占地方，样本个数不确定为Noney = tf.placeholder(tf.float32, [None, n_output]) # 用placeholder先占地方，样本个数不确定为Nonekeep_prob = tf.placeholder(tf.float32)# 存储所有的网络参数weights = {# 使用截断的正态分布（标准差0.1）初始化卷积核的参数kernel，卷积核大小为3*3，channel为1，个数64\'wc1\': tf.Variable(tf.truncated_normal([3, 3, 1, 64], dtype=tf.float32, stddev=0.1), name=\'weights1\'),\'wc2\': tf.Variable(tf.truncated_normal([3, 3, 64, 128], dtype=tf.float32, stddev=0.1), name=\'weights2\'),\'wc3\': tf.Variable(tf.truncated_normal([3, 3, 128, 256], dtype=tf.float32, stddev=0.1), name=\'weights3\'),\'wc4\': tf.Variable(tf.truncated_normal([3, 3, 256, 256], dtype=tf.float32, stddev=0.1), name=\'weights4\'),\'wc5\': tf.Variable(tf.truncated_normal([3, 3, 256, 128], dtype=tf.float32, stddev=0.1), name=\'weights5\'),\'wd1\': tf.Variable(tf.truncated_normal([4*4*128, 1024], dtype=tf.float32, stddev=0.1), name=\'weights_fc1\'),\'wd2\': tf.Variable(tf.random_normal([1024, 1024], dtype=tf.float32, stddev=0.1), name=\'weights_fc2\'),\'wd3\': tf.Variable(tf.random_normal([1024, n_output], dtype=tf.float32, stddev=0.1), name=\'weights_output\')}biases = {\'bc1\': tf.Variable(tf.constant(0.0, shape=[64], dtype=tf.float32), trainable=True, name=\'biases1\'),\'bc2\': tf.Variable(tf.constant(0.0, shape=[128], dtype=tf.float32), trainable=True, name=\'biases2\'),\'bc3\': tf.Variable(tf.constant(0.0, shape=[256], dtype=tf.float32), trainable=True, name=\'biases3\'),\'bc4\': tf.Variable(tf.constant(0.0, shape=[256], dtype=tf.float32), trainable=True, name=\'biases4\'),\'bc5\': tf.Variable(tf.constant(0.0, shape=[128], dtype=tf.float32), trainable=True, name=\'biases5\'),\'bd1\': tf.Variable(tf.constant(0.0, shape=[1024], dtype=tf.float32), trainable=True, name=\'biases_fc1\'),\'bd2\': tf.Variable(tf.constant(0.0, shape=[1024], dtype=tf.float32), trainable=True, name=\'biases_fc2\'),\'bd3\': tf.Variable(tf.constant(0.0, shape=[n_output], dtype=tf.float32), trainable=True, name=\'biases_output\')}pred = alex_net(x, weights, biases, keep_prob) # 前向传播的预测值cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) # 交叉熵损失函数，参数分别为预测值_pred和实际label值y，reduce_mean为求平均lossoptm = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost) # 梯度下降优化器corr = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1)) # tf.equal()对比预测值的索引和实际label的索引是否一样，一样返回True，不一样返回Falseaccuracy = tf.reduce_mean(tf.cast(corr, tf.float32)) # 将pred即True或False转换为1或0,并对所有的判断结果求均值# 初始化所有参数init = tf.global_variables_initializer()print(\"FUNCTIONS READY\")# 上面神经网络结构定义好之后，下面定义一些超参数training_epochs = 1000 # 所有样本迭代1000次batch_size = 1 # 每进行一次迭代选择50个样本display_step = 10sess = tf.Session() # 定义一个Sessionsess.run(init) # 在sess里run一下初始化操作for epoch in range(training_epochs):avg_cost = 0.total_batch = int(mnist.train.num_examples/batch_size)start_time = time.time()for i in range(total_batch):batch_xs, batch_ys = mnist.train.next_batch(batch_size) # 逐个batch的去取数据# 获取批数据sess.run(optm, feed_dict={x: batch_xs, y: batch_ys, keep_prob:dropout})avg_cost += sess.run(cost, feed_dict={x: batch_xs, y: batch_ys, keep_prob:1.0})/total_batchif epoch % display_step == 0:train_accuracy = sess.run(accuracy, feed_dict={x: batch_xs, y: batch_ys, keep_prob: 1.0})test_accuracy = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels, keep_prob:1.0})print(\"Epoch: %03d/%03d cost: %.9f TRAIN ACCURACY: %.3f TEST ACCURACY: %.3f\" % (epoch, training_epochs, avg_cost, train_accuracy, test_accuracy))# 计算每轮迭代的平均耗时mn和标准差sd，并显示duration = time.time() - start_timeprint(\'%s: step %d, duration = %.3f\' % (datetime.now(), epoch, duration))print(\"DONE\")

本文参考《TensorFlow实战》黄文坚 唐源 著

以上就是TensorFlow卷积神经网络AlexNet实现示例详解的详细内容，更多关于TensorFlow卷积神经网络AlexNet的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

• Tensorflow实现AlexNet卷积神经网络及运算时间评测
• Tensorflow深度学习使用CNN分类英文文本
• python深度学习TensorFlow神经网络模型的保存和读取
• TensorFlow深度学习另一种程序风格实现卷积神经网络
• TensorFlow教程Softmax逻辑回归识别手写数字MNIST数据集
• TensorFlow神经网络构造线性回归模型示例教程