人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 7.循环神经网络(RNN) 基础 >> 7.1 RNN(recurrent neural network)原理

7.1.1 RNN为序列数据而生

      词序其实是很重要的

     

     中文中,这样的例子也很多。“怎么样投资白银”vs“白银投资怎么样”;“北京到上海的机票”vs “上海到北京的机票”。

     设计RNNs的目的,就是处理序列数据

     在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如,你要预测句子的下一个单词是什么,一般需要用到前面的单词,因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上,RNNs能够对任何长度的序列数据进行处理。

     RNN was born in 1980s!