百度架构师手把手带你零基础实践深度学习 课节2.2（深度学习基本概念） 学习笔记

• 神经网络基本概念（三个核心）

神经网络基本概念（三个核心）

• 神经元
  神经网络由一个个神经元构成。在每个神经元里，都包含一下几步：
  输入
  1. 将输入进行加权和计算
  2. 之后再进行非线性变换（激活函数）
• 多层连接
• 前向计算（得出输出）和后向传播（更新参数）
  前向计算：从输入经过加权和、非线性变换的到输出的过程，叫做前向计算。
  1. 后向传播：从后向前计算梯度的过程，叫做后向传播。（最后一层最先算出梯度，然后逐渐算出前面的梯度）