关于统计机器翻译中的词法句法信息

[TigerNeu]

词法、句法等信息已经在统计机器翻译中得到了很好的使用，那么这些信息能不能应用于神经机器翻译呢？ 又是怎么应用的？

[niutransWZY]

现在的神经网络mt上主流的方法是端到端的，在框架设计上并没有提供外部知识的输入，所以词法、句法这类的结构化信息并没有比较好的途径增加进去。不过在这方面也有一些尝试，例如使用源语言的语法树信息来增强对序列的建模[https://arxiv.org/abs/1707.05436?context=cs]，也可以通过向注意力机制中引入一些单词的对齐信息来指导注意力机制对源语目标语之间关系的建模[http://www.aclweb.org/anthology/N16-1102]

[xiaotong]

这是很受关注的研究方向。不过，这个问题的难点是，句法等先验知识大多是离散的结构，因此需要一种机制将其嵌入的神经机器翻译的这种连续空间模型中。当然，现在也有基于树结构的编码器，很多研究者也在尝试。另一方面，也是大家没有广泛达成共识的，人类总结的句法知识对神经网络模型究竟有多大作用（我个人还是认为句法信息是十分必要的）。因为，人的“理解”和计算机的“理解”本身就存在差异。而且，现在的多层神经网络中，已经可以捕捉一些句子的结构信息，如何利用人类的知识对其进行补充还没有确定答案。