人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 2.基本概念和架构 >> 2.2 基本架构

2.2.3 分布式和并行

       —  把一个mini-batch的数据分成几份分别在不同的设备上跑。(从梯度下降法的原理来解释 为什么这样是可行的?

       —  将图拆分成子图,进行模型并行。(图怎么拆分成子图,原理是什么?

   —  流水线并行,在一个设备上并行。

   并行极大地提高了训练神经网络的速度。