PyTorch - 术语

• 

  简述

  在本章中，我们将讨论 PyTorch 中一些最常用的术语。
• 

  PyTorch NumPy

  PyTorch 张量与 NumPy 数组相同。张量是一个 n 维数组，相对于 PyTorch，它提供了许多函数来操作这些张量。

  PyTorch 张量通常利用 GPU 来加速其数值计算。这些在 PyTorch 中创建的张量可用于将两层网络拟合到随机数据。用户可以通过网络手动实现前向和后向传递。
• 

  变量和 Autograd

  使用 autograd 时，网络的前向传递将定义一个 computational graph - 图中的节点将是张量，边将是从输入张量产生输出张量的函数。

  PyTorch 张量可以创建为变量对象，其中变量代表计算图中的节点。
• 

  动态图

  静态图很好，因为用户可以预先优化图。如果程序员一遍又一遍地重复使用相同的图，那么随着同一个图一遍又一遍地重新运行，这种潜在的昂贵的前期优化可以维持下去。

  它们之间的主要区别在于 Tensor Flow 的计算图是静态的，而 PyTorch 使用动态计算图。
• 

  优化包

  PyTorch 中的 optim 包抽象了以多种方式实现的优化算法的思想，并提供了常用优化算法的说明。这可以在 import 语句中调用。
• 

  多处理

  Multiprocessing 支持相同的操作，因此所有张量都可以在多个处理器上工作。队列会将它们的数据移动到共享内存中，并且只会向另一个进程发送句柄。