Fork me on GitHub

深层神经网络

介绍深层神经网络的基本知识、深层神经网络的必要性以及参数与超参数的基本知识。

深层神经网络概要

“深层”指的是网络有很多层,通常情况我们提到的深层神经网络指有两个隐藏层以上的神经网络。下图即为深层神经网络,其拥有3个隐藏层,一个输出层。

深层神经网络必要性

深层神经网络的必要性在于,通过增加层数可以增加模型的复杂度以及表达能力,通过较少的参数使模型具有更强的表达能力。而在构建模型的过程中,层数以及每层神经元的数量的确定十分依赖于经验法则,即just try

参数与超参数

在神经网络中,我们把涉及到的量分为参数和超参数。

参数

  • 权重矩阵$w$
  • 偏置矩阵$b$

超参数

  • 学习率
  • 梯度下降循环数量
  • 隐藏层数
  • 每层单元数
  • 激活函数的选择
  • ……

之所以成为超参数,是因为超参数决定了参数的值。而对超参数的调整更多的也是基于经验法则和规律。而随着算法的优化和计算机硬件的发展,规律也可能发生变化。所以还是just try

参考

网易云课堂. 深度学习工程师微专业

-------------The End-------------