bp算法详细推导(bp算法是什么算法)

导语：一文彻底搞懂BP算法：原理推导+数据演示+项目实战（上篇）

反向传播算法（Backpropagation Algorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识！本文希望以一个清晰的脉络和详细的说明，来让读者彻底明白BP算法的原理和计算过程。

全文分为上下两篇，上篇主要介绍BP算法的原理（即公式的推导），介绍完原理之后，我们会将一些具体的数据带入一个简单的三层神经网络中，去完整的体验一遍BP算法的计算过程；下篇是一个项目实战，我们将带着读者一起亲手实现一个BP神经网络（不使用任何第三方的深度学习框架）来解决一个具体的问题。

1. BP算法的推导

图1 一个简单的三层神经网络

图 1 所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本(x₁,x₂)，通过前向运算得到输出y ̂。输出值y ̂的值域为[0,1]，例如y ̂的值越接近0，代表该样本是"0"类的可能性越大，反之是"1"类的可能性大。

1.1 前向传播的计算

为了便于理解后续的内容，我们需要先搞清楚前向传播的计算过程，以图1所示的内容为例：

输入的样本为：

第一层网络的参数为：

第二层网络的参数为：

第三层网络的参数为：

1.1.1 第一层隐藏层的计算

图2 计算第一层隐藏层

第一层隐藏层有三个神经元：neu₁、neu₂和neu₃。该层的输入为：

以neu₁神经元为例，则其输入为：

同理有：

假设我们选择函数f(x)作为该层的激活函数（图1中的激活函数都标了一个下标，一般情况下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为：f₁(z₁)、f₂(z₂)和f₃(z₃)。

1.1.2 第二层隐藏层的计算

图3 计算第二层隐藏层

第二层隐藏层有两个神经元：neu₄和neu₅。该层的输入为：

即第二层的输入是第一层的输出乘以第二层的权重，再加上第二层的偏置。因此得到和的输入分别为：

该层的输出分别为：f₄(z₄)和f₅(z₅)。

1.1.3 输出层的计算

图4 计算输出层

输出层只有一个神经元neu₆：。该层的输入为：

即：

因为该网络要解决的是一个二分类问题，所以输出层的激活函数也可以使用一个Sigmoid型函数，神经网络最后的输出为：f₆(z₆)。

1.2 反向传播的计算

在1.1节里，我们已经了解了数据沿着神经网络前向传播的过程，这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为L(y,y ̂ )，其中 y 是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于神经网络中各层参数（权重w和偏置b）的偏导数。