人工智能开发技术学习（一）

一.AI知识体系结构

二.AI相关概念学习

机器学习(Machine Learning)

• 基本概念
  从已知数据中学习其中蕴含的规律或者规则，并利用这些规律和规则推广到未来的新数据上做出判断或预测，它是人工智能中的一个热门领域。

• 常用算法
  
  
  

• 关键问题
  过拟合(Overfitting)：模型对训练数据的贴合程度非常好，但是对于新的数据表现极差
  欠拟合(Underfitting)：模型连训练数据都无法很好的解释或匹配
  解决办法：严格区分训练数据、测试数据和验证数据；如果能用比较简单的模型获得较好的效果，就不必采取过于复杂的模型(例如：低阶曲线可能比高阶曲线效果更好)；训练中引入采用正则化(Regularization)方法；可能需要获取更多、更广泛的训练样本。

• 训练、验证、测试数据集

• 训练数据集(Training Dataset)
  用于训练某个模型
  一般会使用相同的训练数据集训练出多个模型
  每个模型有特定的参数(超参数)设置

• 验证数据集(Validating Dataset)
  针对训练出来的每个模型，使用验证数据来检查其效果(例如：正确率等)
  一般选择效果最好的那个模型作为最优模型

• 测试数据集(Testing Dataset)
  作为全新的数据，放到最优模型中进行验证，表现出来的效果可以作为客观结果

• 划分数据集
  • 一般情况下，三个数据集互不重复
  • 一般可按照6:2:2或7:2:1的比例从所有可用的数据中划分数据集

• 数据集可能会严重影响模型效果
  • 数据集中的数据分布不合理，甚至未能覆盖各类实例
  • 训练数据量明显不足

深度学习(Deep Learning)

• 基本概念
  具有多个隐藏层的神经网络可以视为深度神经网络，针对它的训练可以视为深度学习；深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示

• 典型的深度学习网络模型

• 卷积神经网络(Convolutional Neural Networks，CNN)
  是一类包含卷积计算且具有深度结构的前馈神经网络
  卷积操作的主要作用就是从图像中提取出边缘信息(从而构成特征)
  擅长图像处理，无需人工选择图像特征值，而是可以通过卷积运算自行归纳出图像的特征
  各个训练样本之间不产生联系，各自独立
  

• 多层反馈循环神经网络 (Recurrent Neural Network，RNN)
  后一个训练样本的计算结果与之前的训练样本相关，从而使得”序列中靠前的数据也能持续影响后续计算结果，或者说该网络具有了记忆
  可以将句子、文档、语音作为输入，进行自动翻译、情感分析、语音转文字；还用于作曲、作文、图片自动生成标题
  可以用来分析时间序列数据(例如分析股价，预测买入卖出点）
  

• 自动编码器(Auto Encoder)
  自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如y(i)=x(i)
  该网络可以看作由两部分组成：一个编码器函数h = f(x) 和一个生成重构的解码器r = g(h)
  

• 稀疏编码(Sparse Coding)
  直观地可以想象为我们的眼睛每看到的一副画面都是上亿像素的，而每一副图像我们都只用很少的代价重建与存储
  将图像在边缘、端点、条纹等方面的特性以稀疏编码的形式进行描述
  

• 受限波尔兹曼机(Restricted Boltzmann Machine，RBM)
  是一种可通过输入数据集学习概率分布的随机生成神经网络
  

• 深度置信网络(Deep Belief Networks，DBN)
  DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布。通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数据。