注意机制模型已经成为神经机器翻译中不可或缺的部件之一,它能使模型在翻译目标语言单词时选择性地关注源语言输入中最相关的部分单词。但是,目前主流的循环神经网络模型没有一个明确的机制去很好地模拟目标端词语之间的依赖关系。为了解决上述问题,实验室自然语言处理课题组周龙博士生、张家俊副研究员和宗成庆研究员提出了一个全新的前向注意力机制模型(look-ahead attention mechanism),目的是在神经网络模型译码过程中尽可能地捕捉目标端词语之间的长距离依存关系。这项工作发表于第六届国际自然语言处理与中文计算会议NLPCC 2017,论文评委与评奖委员会一致认为该项工作具有很强的创新性与实用性,最终授予这项工作唯一最佳论文奖。NLPCC-2017今年共收到252篇提交论文,接收长文53篇,录用率为21%,最终评选出一篇最佳论文和一篇最佳学生论文。
|