爱站程序员基地在波士顿房价预测这一任务中我们采用梯度下降法实现训练。
但是由于我们的样本数量较小，只有404组。
在实际问题中，数据集往往非常大，如果每次都使用全量数据进行计算，效率非常低，通俗地说就是“杀鸡焉用牛刀”。由于参数每次只沿着梯度反方向更新一点点，因此方向并不需要那么精确。一个合理的解决方案是每次从总的数据集中随机抽取出小部分数据来代表整体，基于这部分数据计算梯度和损失来更新参数，这种方法被称作随机梯度下降法（Stochastic Gradient Descent，SGD），核心概念如下：
min-batch：每次迭代时抽取出来的一批数据被称为一个min-batch。batch_size：一个mini-batch所包含的样本数目称为batch_size。epoch：当程序迭代的时候，按mini-batch逐渐抽取出样本，当把整个数据集都遍历到了的时候，则完成了一轮训练，也叫一个epoch。启动训练时，可以将训练的轮数num_epochs和batch_size作为参数传入。
我们主要有两个修改点：
随机乱序与拆分批次
# 获取数据train_data, test_data = load_data()# 打乱样本顺序np.random.shuffle(train_data)# 将train_data分成多个mini_batchbatch_size = 10n = len(train_data)mini_batches = [train_data[k:k+batch_size] for k in range(0, n, batch_size)]# 创建网络net = Network(13)# 依次使用每个mini_batch的数据for mini_batch in mini_batches:x = mini_batch[:, :-1]y = mini_batch[:, -1:]loss = net.train(x, y, iterations=1)
训练过程修改
加入多轮和多批次训练的双层循环
import numpy as npclass Network(object):def __init__(self, num_of_weights):# 随机产生w的初始值# 为了保持程序每次运行结果的一致性，此处设置固定的随机数种子#np.random.seed(0)self.w = np.random.randn(num_of_weights, 1)self.b = 0.def forward(self, x):z = np.dot(x, self.w) + self.breturn zdef loss(self, z, y):error = z - ynum_samples = error.shape[0]cost = error * errorcost = np.sum(cost) / num_samplesreturn costdef gradient(self, x, y):z = self.forward(x)N = x.shape[0]gradient_w = 1. / N * np.sum((z-y) * x, axis=0)gradient_w = gradient_w[:, np.newaxis]gradient_b = 1. / N * np.sum(z-y)return gradient_w, gradient_bdef update(self, gradient_w, gradient_b, eta = 0.01):self.w = self.w - eta * gradient_wself.b = self.b - eta * gradient_bdef train(self, training_data, num_epoches, batch_size=10, eta=0.01):n = len(training_data)losses = []for epoch_id in range(num_epoches):# 在每轮迭代开始之前，将训练数据的顺序随机打乱# 然后再按每次取batch_size条数据的方式取出np.random.shuffle(training_data)# 将训练数据进行拆分，每个mini_batch包含batch_size条的数据mini_batches = [training_data[k:k+batch_size] for k in range(0, n, batch_size)]for iter_id, mini_batch in enumerate(mini_batches):#print(self.w.shape)#print(self.b)x = mini_batch[:, :-1]y = mini_batch[:, -1:]a = self.forward(x)loss = self.loss(a, y)gradient_w, gradient_b = self.gradient(x, y)self.update(gradient_w, gradient_b, eta)losses.append(loss)print(\'Epoch {:3d} / iter {:3d}, loss = {:.4f}\'.format(epoch_id, iter_id, loss))return losses# 获取数据train_data, test_data = load_data()# 创建网络net = Network(13)# 启动训练losses = net.train(train_data, num_epoches=50, batch_size=100, eta=0.1)# 画出损失函数的变化趋势plot_x = np.arange(len(losses))plot_y = np.array(losses)plt.plot(plot_x, plot_y)plt.show()
在深度学习的两层循环中，是最经典的四步：
前向计算->计算损失->计算梯度->更新参数
但随机梯度下降真的有效吗？
随机梯度下降加快了训练过程，但由于每次仅基于少量样本更新参数和计算损失，所以损失下降曲线会出现震荡。
所以，由于数据样本过小，我们无法感受随机梯度下降法带来的性能提升。
batch_size用几十或几百合适
过小会导致单个样本对结果影响较大 在梯度下降到很差的局部最优点（只是微微凸下去的最优点）和鞍点的时候不稳定
过大下降方向基本不再变化，方差很小，对梯度的估计要准确和稳定的多。
感悟：我也相对顺利的完成了这一次的任务，但是确实如毕然老师所说，这个过程有些繁杂，是否能通过一些方法来简化这些步骤呢？
