人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 8.RNN在文本和图像中的应用 >> 8.4 扩展应用:基于双向LSTM的query-query语义相似度模型

8.4.2 query embedding

通过以下的带跨层连接双向lstm来做 query(句子级别) embedding。输入是query,最后的输出是queryembedding

上图中的双向LSTM只有一层,其实在实际项目中,可以多用几层,提高效果。

 

跨层连接(high way)的作用:

These direct links, called highway connections, enable unimpeded information flow across different layers and thus alleviate the gradient vanishing problem when building deeper LSTMs. 

翻译一下,就是跨层连接起到了跨层连通的作用,在构建较深的多层LSTM的时候,缓解了梯度弥散的问题。