TensorFlow - 神经网络训练建议

• 

  简述

  在本章中，我们将了解可以使用 TensorFlow 框架实现的神经网络训练的各个方面。

  以下是十项建议，可以对其进行评估 -
• 

  反向传播

  反向传播是一种计算偏导数的简单方法，其中包括最适合神经网络的基本组合形式。

  
• 

  随机梯度下降

  在随机梯度下降中， batch是示例的总数，用户用于在单次迭代中计算梯度。到目前为止，假设批次已经是整个数据集。最好的例证是在 Google 规模下工作；数据集通常包含数十亿甚至数千亿个示例。

  
• 

  学习率衰减

  

  适应学习率是梯度下降优化的最重要特征之一。这对 TensorFlow 实现至关重要。
• 

  退出

  具有大量参数的深度神经网络构成了强大的机器学习系统。然而，过拟合在这种网络中是一个严重的问题。

  
• 

  最大池化

  最大池化是一个基于样本的离散化过程。目标是对输入表示进行下采样，从而根据所需的假设降低维度。

  
• 

  长短期记忆 (LSTM)

  LSTM 控制在指定的神经元内应该采取什么输入的决定。它包括对决定应该计算什么和应该生成什么输出的控制。