诺亚神经响应机NRM模型：深度学习改变自然语言对话

最新的NLD工作，在基于检索的对话中引入深度学习，华为诺亚方舟实验室（简称诺亚）是最早开始此项工作的玩家之一。从2013年开始，诺亚在短文本对话领域有一系列的工作【1】【2】【3】。今年3月初，诺亚的研究人员在arXiv上公布的一篇论文（这篇文章也将在今年7月的ACL会议上发表【4】），第一次提出了完全基于神经网络的对话模型“神经响应机”（Neural Responding Machine，NRM），用于人机之间的单轮对话（single-turn dialog）。

诺亚研究人员介绍，对用户说的话，NRM用一种混合机制来进行表示，从而既对文本有整体的把握，又充分保留了句子的细节信息。在对输入问题的表示的基础上，NRM采用了递归神经网络（Recurrent Neural Network）来逐字的生成自然语言的句子作为回复。NRM从五百万个（微博，回复）对中学习人的回复，这些学到的模式存于系统的近四百万参数中。因为NRM中部分采用了attention的机制，可以相对容易掌握比较复杂的模式，如：

人:  你好，我是利锋。
NRM:  利锋你好！

当然，NRM以及随后出现的类似模型，如Google的Neural Conversational Model（NCM）【5】, 还停留在对复杂语言模式记忆和组合上，尚无法在对话中使用外界的知识。例如，在对“看了昨晚恒大的比赛了吗？”这样的句子，无法给出真实的状况（例如昨晚恒大比赛的结果）相关的回复。

但依旧不能否认NRM的意义。此前的近几十年，研究人员不懈努力而生成的对话系统（dialogue model），大都是基于规则和模板, 或者是在一个较大的对话数据库中进行搜索。这种两种方式并非真正的产生对话，又缺乏对语言的有效理解和表示。囿于模板/例子的数量和表示的局限性，这些方式在准确性和灵活性上都存在一定的不足，很难兼顾语言的自然通顺和内容的适当切题，效果与引入深度学习的模型不可同日而语。

所以说，NRM模型的提出，更多的可能性和想象空间才刚刚开始。事实上，诺亚已经以此为基础展开深度学习在对话方面的深入研究，包括多轮对话（multi-turn dialog），与强化学习（reinforcement learning）结合的对话管理，以及在对话中引入知识（knowledge）等。

参考文献

【1】  H. Wang, Z. Lu, H. Li, E. Chen. A Dataset for Research on Short-text Conversations. In Proceedings of EMNLP, 2013
【2】  Z. Ji, Z. Lu, H. Li. An information Retrieval Approach to Short-text Conversation. arXiv: 1408.6988, 2014.
【3】  B. Hu, Z. Lu, H. Li, Q. Chen. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In Advances of NIPS, 2014
【4】  L. Shang, Z. Lu, and H. Li. Neural Responding Machine for Short-text Conversation. In Proceedings of ACL,2015.
【5】  O. Vinyals, and Q. V. Le. A Neural Conversational Model. arXiv: 1506.05869，2015

【预告】 2015中国人工智能大会（CCAI 2015）将于7月26-27日在北京友谊宾馆召开。机器学习与模式识别、大数据的机遇与挑战、人工智能与认知科学、智能机器人四个主题专家云集。人工智能产品库将同步上线，预约咨询：QQ：1192936057。欢迎关注。 

本文为ImapBox原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)