关于代价函数的两个假设

其中是训练样本总数；求和符号表示对每个独立训练样本求和；是对应的希望输出；是神经网络层数；是输入为时激活函数的输出向量。

那么，为了能够使用反向传播算法，我们需要对代价函数进行怎样的假设呢？第一条假设是代价函数能够被写成的形式，其中是每个独立训练样本的代价函数。在代价函数为平方代价函数的情况下，一个训练样本的代价是。该假设对于本书中涉及到的其它所有代价函数都成立。

我们对代价函数做的第二条假设是它可以写成关于神经网络输出结果的函数：

这是一个关于输出激活值的函数。显然，该代价函数也依赖于期望的输出，所以你可能疑惑为什么我们不把代价视为关于的函数。记住，输入的训练样本是固定的，因此期望的输出也是固定的。需要注意，我们不能通过改变权值或偏置来修改它，换句话说，它不是神经网络所学习的东西。所以把视为只关于输出的函数是有道理的。在该函数中只是帮助定义函数的参数。