人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 2.基本概念和架构 >> 2.2 基本架构

2.2.1 Master-Worker模式

Master-Worker模式是常用的并行模式之一,它的核心思想是,系统有两个进程协作工作:Master进程,负责接收和分配任务;Worker进程,负责处理子任务。当Worker进程将子任务处理完成后,结果返回给Master进程,由Master进程做归纳汇总,最后得到最终的结果。

Master-Worker模式有一些显著的好处,比如负载均衡(让每个worker的负荷尽量平均)、比如提高服务可靠性(死结点可以由master移出,并立刻启动新节点代替)。开源的nginx也是这个模式。