1. 超参数调试前面应用深层神经网络进行模型训练和推理的过程中遇到了这样一个情况：对一张猫的图片识别错误，概率仅为30%多，但在改变学习率后，概率变为了1，识别正确。这反应了超参数对神经网络模型训练的重要性，我们在训练神经网络的过程中常常需要不断改变...

1.引言深层学习在应用于大量数据时需要花费大量的训练时间，这成为了阻碍深度学习发展的一个困难。本文总结了几种可以加速深度学习模型训练过程的优化算法，采用Mini-batch优化算法可以有效缓解迭代缓慢的问题，在部分数据处理的过程中持续更新参数；Mom...

1. 引言深层神经网络的训练过程往往需要花费很多时间，特别对于很深的网络，往往需要花费巨大的时间和算力，而且如果网络的结构选择不当，会造成数据欠拟合或过拟合的后果。为了尽可能减少训练深层神经网络的代价，提高模型准确度，本文从训练过程角度讨论了几种可以...

1. 深层神经网络深层神经网络与之前的浅层神经网络的不同之处在于网络的层数更多，或者说隐藏层的层数更多，网络更深，深度学习也是基于此命名的。在过去的几年中，DLI（Deep Learning Institute）已经意识到有一些函数，只有非常深的神经...

1.逻辑回归逻辑回归可以理解为不具备hidden layer(隐藏层)的神经网络，其模型如图1所示。逻辑回归能通过线性计算预测输入特征值对应的输出，其中的特征权重w和偏差b决定着预测的准确度，因此获得合适的w和b是此模型的重点。使用输入加权的原因可以...