人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 7.循环神经网络(RNN) 基础 >> 7.4 RNN的训练

7.4.1 普通的RNN(simple RNN)不好训练

相较于CNNRNN训练过程较不稳定,训练难度和计算量都大得多。当然,RNNGPU加速效果会比较明显。

 

RNN不好训练的原因

    weight被高频地使用,0.991000次方和1.011000次方有本质的区别。导致RNN的误差面(error surface) 常常要么是很平坦要么是很陡峭(The error surface is either very flat or very steep)