爱站程序员基地今天看第五章MNIST数字识别问题。
mnist数据集包含了60000张图片作为训练数据（55000训练+5000验证），10000张图片作为测试数据。每个图片为28*28大小的矩阵，处理后的每张图片是一个长度为784的一维数组，数组中的元素对应了图片像素矩阵中的每一个数字。
from tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets(\"/path/to/MNIST_data/\", one_hot=True)print(\"training data size: \",mnist.train.num_examples)#55000print(\"validating data size: \",mnist.validation.num_examples)#5000print(\"teating data size: \",mnist.test.num_examples)#10000print(\"example trainging data : \",mnist.train.images[0])print(\"example trainging data label : \",mnist.train.labels[0])#[0. 0. 0. 0. 0. 0. 0. 1. 0. 0.]batch_size=100xs,ys=mnist.train.next_batch(batch_size)print(\"X shape: \",xs.shape)#(100, 784)print(\"Y shape: \",ys.shape)#(10, 784)
下面给出了一个完整的tensorflow程序解决mnist手写体数字识别问题
# -*- coding: utf-8 -*-import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# MNIST数据集相关的常数INPUT_NODE = 784OUT_NODE = 10# 配置神经网络的参数LAYER1_NODE = 500#选用一层隐藏层，次数为隐藏层节点数，500个BATCH_SIZE = 100LEARNING_RATE_BASE = 0.8 #初始学习率LEARNING_RATE_DECAY = 0.99 #学习率衰减REGULARIZATION_RATE = 0.0001 #描述模型复杂度的正则化项在损失函数中的系数TRAINING_STEPS = 30000MOVING_AVERAGE_DECAY = 0.99 #滑动平均衰减率# 计算神经网络的前向传播结果，实现三层全连接神经网络def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2):if avg_class == None: #若没有提供滑动平均模型类，则直接使用参数当前值layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1)return tf.matmul(layer1, weights2) + biases2else:#若提供滑动平均模型类，首先使用avg_class.average()得到变量的滑动平均值，即影子变量layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1))return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2)# 训练模型的过程def train(mnist):x = tf.placeholder(tf.float32, [None, INPUT_NODE], name=\'x-input\')#784y_ = tf.placeholder(tf.float32, [None, OUT_NODE], name=\'y-input\')#10#生成隐藏层和输出层的参数的参数weights1 = tf.Variable(tf.truncated_normal([INPUT_NODE, LAYER1_NODE], stddev=0.1))#784,500#truncated_normal产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。biases1 = tf.Variable(tf.constant(0.1, shape=[LAYER1_NODE]))#500weights2 = tf.Variable(tf.truncated_normal([LAYER1_NODE, OUT_NODE], stddev=0.1))#500,10biases2 = tf.Variable(tf.constant(0.1, shape=[OUT_NODE]))#10#计算当前参数下前向传播的结果 y，训练时前向传播不使用滑动平均模型y = inference(x, None, weights1, biases1, weights2, biases2)#定义存储训练轮数的变量。这个变量不需要计算滑动平均值，所以这里指定这个变量为不可训练的变量trainable=Falseglobal_step = tf.Variable(0, trainable=False)#0#初始化一个滑动平均的类variables_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)#0.99，0#在所有神经网络参数上使用滑动平均，其他辅助变量例如global_step就不需要了，#tf.trainable_variables返回的就是图上集合Graphkeys.trainable_variables中的元素，这个集合的元素就是所有没有指定#trainable=False的参数variables_averages_op = variables_averages.apply(tf.trainable_variables())#计算使用滑动平均参数后的前向传播的结果average_y = inference(x, variables_averages, weights1, biases1, weights2, biases2)#计算交叉熵，函数中第一个参数是神经网络不包含softmax层的前向传播结果，第二个是训练数据的正确答案。#因为标准答案是一个长度为10的一维数组，而该函数需要提供的是一个正确答案的数字，所以要用argmax得到正确答案对应的类别编号cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))#当前batch中的所有样例的交叉熵平均值cross_entropy_mean = tf.reduce_mean(cross_entropy)#tf.argmax(vector, 1)：返回的是vector中的最大值的索引值#计算L2正则化损失函数regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)#0.0001#计算模型的正则化损失regularization = regularizer(weights1) + regularizer(weights2)#总损失loss = cross_entropy_mean + regularization#定义指数衰减式的学习率learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples/BATCH_SIZE, LEARNING_RATE_DECAY)train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_step)#在训练神经网络模型时，每过一遍数据既需要通过反向传播来更新神经网络中的参数，又要更新每一个参数的滑动平均值#为了一次完成多个操作，tensorflow提供了下面的机制train_op = tf.group(train_step, variables_averages_op) #打包#检验使用滑动平均模型的神经网络前向传播结果是否正确。average_y是一个batch_size*10的二维数组，每一行表示一个样例的前向#传播结果。1代表选取最大值的操作尽在第一个维度中进行，即只在每一行选取最大值对应的下标，于是得到一个长度为batch的一维#数组correct_prediction = tf.equal(tf.argmax(average_y, 1), tf.argmax(y_, 1)) #判断两张量的每一维是否相等，相等返回True，不等返回False#现将一个bool类型的值变为实数值，然后计算平均值。这个平均值就是模型在这个一维数据上的正确率accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))#cast将布尔值转化为float32 求均值即得正确率with tf.Session() as sess:sess.run(tf.initialize_all_variables())#生成验证数据validate_feed = {x: mnist.validation.images, y_: mnist.validation.labels}test_feed = {x:mnist.test.images, y_:mnist.test.labels}for i in range(TRAINING_STEPS):#30000if i%1000 == 0:#计算滑动平均模型在验证数据集上的结果validate_acc = sess.run(accuracy, feed_dict=validate_feed)print(\"After %d training steps, validation accuracy using average model is %g\" %(i, validate_acc))xs, ys = mnist.train.next_batch(BATCH_SIZE)#100sess.run(train_op, feed_dict={x: xs, y_: ys})test_acc = sess.run(accuracy, feed_dict=test_feed)print((\"After %d training step(s), test accuracy using average model is %g\" % (TRAINING_STEPS, test_acc)))def main(argv=None):#声明处理mnist数据集的类，这个类会在初始化时自动下载数据mnist = input_data.read_data_sets(\"MNIST_data\", one_hot=True)train(mnist)if __name__ == \'__main__\':tf.app.run()
为了测评神经网络模型在不同参数下的效果，一般会从训练数据中提取一部分作为验证数据。
例如上面代码就给出了在每1000轮迭代后，使用了滑动平均模型在验证数据和测试数据上的正确率。
tensorflow中用于保存和提取模型的API为 tf.train.Saver类，saver.save可以将模型保存为 ckpt 格式.
下面为tensorflow最佳实践样例程序。
首先定义前向传播过程及其中间的参数
# -*- coding: utf-8 -*-import tensorflow as tf# 定义神经网络结构相关的参数INPUT_NODE = 784OUTPUT_NODE = 10LAYER1_NODE = 500# 通过tf.get_variable函数来获取变量。在训练神经网络时会创建这些变量；在测试时会通# 过保存的模型加载这些变量的取值。而且更加方便的是，因为可以在变量加载时将滑动平均变# 量重命名，所以可以直接通过相同的名字在训练时使用变量自身，而在测试时使用变量的滑动# 平均值。在这个函数中也会将变量的正则化损失加入到损失集合。def get_weight_variable(shape, regularizer):weights = tf.get_variable(\"weights\", shape,initializer=tf.truncated_normal_initializer(stddev=0.1))# 当给出了正则化生成函数时，将当前变量的正则化损失加入名字为losses的集合。在这里# 使用了add_to_collection函数将一个张量加入一个集合，而这个集合的名称为losses。# 这是自定义的集合，不在TensorFlow自动管理的集合列表中。if regularizer != None:tf.add_to_collection(\'losses\', regularizer(weights))return weights# 定义神经网络的前向传播过程def inference(input_tensor, regularizer):# 声明第一层神经网络的变量并完成前向传播过程。with tf.variable_scope(\'layer1\'):# 这里通过tf.get_variable或者tf.Variable没有本质区别，因为在训练或者测试# 中没有在同一个程序中多次调用这个函数。如果在同一个程序中多次调用，在第一次# 调用之后需要将reuse参数设置为True。weights = get_weight_variable([INPUT_NODE, LAYER1_NODE], regularizer)biases = tf.get_variable(\"biases\", [LAYER1_NODE],initializer=tf.constant_initializer(0.0))layer1 = tf.nn.relu(tf.matmul(input_tensor, weights)+biases)# 类似的声明第二层神经网络的变量并完成前向传播过程。with tf.variable_scope(\'layer2\'):weights = get_weight_variable([LAYER1_NODE, OUTPUT_NODE], regularizer)biases = tf.get_variable(\"biases\", [OUTPUT_NODE],initializer=tf.constant_initializer(0.0))layer2 = tf.matmul(layer1, weights) + biases# 返回最后前向传播的结果return layer2
接下来为训练过程
# -*- coding: utf-8 -*-import osimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport mnist_inference# 配置神经网络的参数。BATCH_SIZE = 100LEARNING_RATE_BASE = 0.8LEARNING_RATE_DECAY = 0.99REGULARIZATION_RATE = 0.0001TRAINING_STEPS = 30000MOVING_AVERAGE_DECAY = 0.99# 模型保存的路径和文件名MODEL_SAVE_PATH = \"./model/\"MODEL_NAME = \"model.ckpt\"def train(mnist):# 定义输入输出placeholder。x = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name=\'x-input\')y_ = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name=\'y-input\')regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)# 直接使用mnist_inference.py中定义的前向传播过程y = mnist_inference.inference(x, regularizer)global_step = tf.Variable(0, trainable=False)# 定义损失函数、学习率、滑动平均操作以及训练过程variable_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)variable_averages_op = variable_averages.apply(tf.trainable_variables())cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))cross_entropy_mean = tf.reduce_mean(cross_entropy)loss = cross_entropy_mean + tf.add_n(tf.get_collection(\'losses\'))learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,mnist.train.num_examples / BATCH_SIZE,LEARNING_RATE_DECAY)train_step = tf.train.GradientDescentOptimizer(learning_rate)\\.minimize(loss, global_step=global_step)with tf.control_dependencies([train_step, variable_averages_op]):train_op = tf.no_op(name=\'train\')# 初始化TensorFlow持久化类saver = tf.train.Saver()with tf.Session() as sess:tf.global_variables_initializer().run()# 在训练过程中不再测试模型在验证数据上的表现，验证和测试的过程将会有一个独# 立的程序来完成。for i in range(TRAINING_STEPS):xs, ys = mnist.train.next_batch(BATCH_SIZE)_, loss_value, step = sess.run([train_op, loss, global_step],feed_dict={x: xs, y_: ys})# 每1000轮保存一次模型if i % 1000 == 0:# 输出当前的训练情况。这里只输出了模型在当前训练batch上的损失# 函数大小。通过损失函数的大小可以大概了解训练的情况。在验证数# 据集上正确率的信息会有一个单独的程序来生成print(\"After %d training step(s), loss on training \"\"batch is %g.\" % (step, loss_value))# 保存当前的模型。注意这里给出了global_step参数，这样可以让每个# 被保存的模型的文件名末尾加上训练的轮数，比如“model.ckpt-1000”，# 表示训练1000轮之后得到的模型。saver.save(sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME),global_step=global_step)def main(argv=None):mnist = input_data.read_data_sets(\"./data\", one_hot=True)train(mnist)if __name__ == \"__main__\":tf.app.run()
预测代码
# -*- coding: utf-8 -*-import timeimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 加载mnist_inference.py 和mnist_train.py中定义的常量和函数。import mnist_inferenceimport mnist_train# 每10秒加载一次最新的模型，并且在测试数据上测试最新模型的正确率EVAL_INTERVAL_SECS = 10def evaluate(mnist):with tf.Graph().as_default() as g:# 定义输入输出的格式。x = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name=\'x-input\')y_ = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name=\'y-input\')validate_feed = {x: mnist.validation.images,y_: mnist.validation.labels}# 直接通过调用封装好的函数来计算前向传播的结果。因为测试时不关注ze正则化损失的值# 所以这里用于计算正则化损失的函数被设置为None。y = mnist_inference.inference(x, None)# 使用前向传播的结果计算正确率。如果需要对未知的样例进行分类，那么使用# tf.argmax(y,1)就可以得到输入样例的预测类别了。correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))# 通过变量重命名的方式来加载模型，这样在前向传播的过程中就不需要调用求滑动平均# 的函数来获取平均值了。这样就可以完全共用mnist_inference.py中定义的# 前向传播过程。variable_averages = tf.train.ExponentialMovingAverage(mnist_train.MOVING_AVERAGE_DECAY)variables_to_restore = variable_averages.variables_to_restore()saver = tf.train.Saver(variables_to_restore)# 每隔EVAL_INTERVAL_SECS秒调用一次计算正确率的过程以检验训练过程中正确率的# 变化。while True:with tf.Session() as sess:# tf.train.get_checkpoint_state函数会通过checkpoint文件自动# 找到目录中最新模型的文件名。ckpt = tf.train.get_checkpoint_state(mnist_train.MODEL_SAVE_PATH)if ckpt and ckpt.model_checkpoint_path:# 加载模型。saver.restore(sess, ckpt.model_checkpoint_path)# 通过文件名得到模型保存时迭代的轮数。global_step = ckpt.model_checkpoint_path\\.split(\'/\')[-1].split(\'-\')[-1]accuracy_score = sess.run(accuracy,feed_dict=validate_feed)print(\"After %s training step(s), validation \"\"accuracy = %g\" % (global_step, accuracy_score))else:print(\"No checkpoint file found\")returntime.sleep(EVAL_INTERVAL_SECS)def main(argv=None):mnist = input_data.read_data_sets(\"./data\", one_hot=True)evaluate(mnist)if __name__ == \"__main__\":tf.app.run()
转载于:https://www.cnblogs.com/beautifulchenxi/p/11317289.html
