人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 9.其他高级神经网络模型 >> 9.3 神经网络机器翻译模型(NMT)

9.3.1 神经网络机器翻译模型基础

     NMT其实是一个典型的sequence to sequence模型,也就是一个encoder to decoder模型,传统的NMT使用两个RNN,一个RNN对源语言进行编码,将源语言编码到一个固定维度的中间向量,然后在使用一个RNN进行解码翻译到目标语言

 

基本思路:

1)将源语言encode成中间形式C

2)对C利用decoder解码成目标语言

 

Encode步骤:

源语言是字符串序列

 

RNN可以很好的表示序列数据

 

f可以是任意激活函数,或者LSTMGRU

读入input序列可以得到hidden state序列

 

是 context vector

q可以是任意function

 

Decoder步骤:

 

 

预估下一个词yt的概率,给定已翻译序列{y1,y2,..,yt-1}context vector C

引入RNN

decode RNNhidden state