神经网络 – 最常见的模型

神经网络 – 最常见的模型

神经网络可以用于处理更复杂的机器学习问题。例如机器视觉、语音识别等。它也是很多进一步发展的模型的基础。

神经网络 模型-输入：

多个特征值构成的向量。

可以通过各种方式对其他形式的特征进行变换，得到输入向量。可参见 机器学习之二 – 数据、特征工程与样本。

神经网络 模型-输出：

标准的输出为多个预测值。

也可以有各种变形，比如只输出一个预测值；将多个预测值转化为一个分类值；将多个预测值转化为多个是非值等。

结构：

神经网络 一般由多层构成（也有一层的情况）。每层为多个平行的“神经元”，每个神经元可以理解为一个函数。这些神经元就构成了一个神经网络。

第一层每个神经元的输入均为输入的原始向量，输出一个标量（也就是一个值）；后续每个神经元的输入为由前一个神经层中的每个神经元输出的标量所组成的向量（向量的维数等于前一个神经层中的神经元的数目），输出为一个标量。

每个神经元可以就是一个线性回归，但也可以有进一步的变形。关于线性回归，可以参见【线性回归文章】

对每一层的输出，还可以有一个激活函数，对输出值做一个变化。

上面所说的，是标准的神经网络的形式，也可以说是狭义的神经网络。但在神经网络中派生出很多复杂的结构，有时也会将包括了多层、多个神经元的复杂结构也概括地称为神经网络。

如下图所示，示出了一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个神经元，隐藏层有4个神经元，输出层有2个神经元。

在设计一个神经网络时，输入层与输出层的节点数往往是固定的，是根据需求确定的。中间层则可以自由指定。

结构图里的关键不仅包括圆圈（代表“神经元”），也包括连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值）。神经元内函数的参数，以及连接线的权重，都是需要训练得到的。

此处需要注意：图中画的每个神经元（除去输出层的神经元）都有多条指向下一层神经元的连接线（简单理解，就是图中的黑色箭头），这并不是意味着神经元的每个连接线都对应着一个不同的输出（例如，某个神经元有两个指向下一层神经元的连接线，并不是意味着：其中的一条连接线对应着输出结果a，另一条连接线对应着输出结果b）。而是这个神经元将一个输出结果，通过多条连接线以不同的权重，送往下一层的不同的神经元（例如，仍以上述示例为例，其中的一条连接线以权重q1将输出结果a送往下一层的神经元a，另一条连接线以权重q2将输出结果a送往下一层的神经元b）。

一个输入层，输入层的神经元数目等于将要处理的数据的变量数。

一个或多个隐藏层，隐藏层的层数和每层中包含的神经元数目需要根据实际情况确定，是个较为复杂的问题，可简单参考 https://zhuanlan.zhihu.com/p/47519999 、https://zhuanlan.zhihu.com/p/100419971

一个输出层，输出层的神经元数目等于每个输入对应的输出数。结合实际问题对输出层的神经元数量进行说明：

• 可以用于解决分类问题。例如，将一个图像输入神经网络，输出层的神经元数目为1，则输出为是或否，根据输出可以确定图像是否是人的图像。又例如，将一个图像输入到神经网络，输出层的神经元数目为3，每个神经元输出对应的概率，第一个神经元输出是猫的概率为20%，第二个神经元输出是狗的概率为30%，第三个神经元输出是人的概率为90%，则可根据这三个概率，确定输入的是人的图像。
• 可以用于解决回归问题。当输出层有一个神经元时，可以用于预测一个值，当输出层有n（n>1）个神经元时，可以用于预测n个不同的值。例如，输出层有两个神经元，一个神经元可以输出预测的温度，另一个神经元可以输出预测的湿度。

训练：

基于带标签的训练数据进行训练，其方式与线性回归是类似的。

具体优化参数的方式一般是梯度下降法，这是一个很通用的方法。

解读：

神经网络实际上是对于简单的线性回归和逻辑回归的一个进一步的深化。神经网络能够解决复杂度高的问题，如果增加隐藏层的层数和神经元的数量，可以解决更复杂的问题，所以神经网络其实具有很大程度的普适性。

也有些时候我们把神经网络称为全连接层（Fully Connected Layer, FC），更多关于“全连接层”，可参考 https://zh.m.wikipedia.org/wiki/%E5%85%A8%E8%BF%9E%E6%8E%A5%E5%B1%82 、 https://zhuanlan.zhihu.com/p/33841176