人工智能的研究关键：自然语言处理

 

NLP主要研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。而用自然语言与计算机进行通信，有着十分重要的实际应用意义，也有着革命性的理论意义。实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等;前者称为自然语言理解(Natural Language Understanding，简称NLU)，后者称为自然语言生成(Natural Language Generation，简称NLG)。因此，NLP大体包括了NLU和NLG两个部分。因为处理自然语言的关键是要让计算机”理解“自然语言，所以通常把NLU视为NLP，也称为计算语言学。

 

NLP融计算机科学、语言学、自动化、数学等为一体，是一门综合性的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。NLP并不是一般地研究自然语言，而是研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统;因而它是计算机科学的一部分。可以说，NLP是计算机科学、语言学、AI等关注计算机和自然语言之间的相互作用的领域。目前，人们对AI的需求也从计算智能、感知智能到了以NLP为代表的认知智能的层面。没有成功的NLP，就不会有真正的认知智能。因此，NLP被视为AI极具吸引力的研究领域以及AI必须优先解决的核心问题之一，也被喻为AI皇冠上的明珠。

 

由于AI包括感知智能(比如图像识别、语言识别和手势识别等)和认知智能(主要是语言理解知识和推理)，而语言在认知智能起到最核心的作用。如果能把语言问题解决了，AI最难的部分也就基本解决了。美国微软公司创始人比尔·盖茨先生曾经表示，”语言理解是人工智能领域皇冠上的明珠“。前微软公司全球执行副总裁沈向洋先生也在公开演讲时说：“懂语言者得天下……下一个十年，人工智能的突破在自然语言的理解……人工智能对人类影响最为深刻的就是自然语言方面”。由于理解自然语言需要关于外在世界的广泛知识以及运用操作这些知识的能力，所以NLP也被视为解决AI完备(AI-complete)的核心问题之一。可以说，NLP目前是AI领域的关键核心技术，对它的研究也是充满魅力和挑战的。

 

NLP涉及的领域较多，主要包括机器翻译、语义理解和对话系统等。它目前面临四大挑战：一是在词法、句法、语义、语用和语音等不同层面存在不确定性;二是新的词汇、术语、语义和语法导致未知语言现象的不可预测性;三是数据资源的不充分使其难以覆盖复杂的语言现象;四是语义知识的模糊性和错综复杂的关联性难以用简单的数学模型描述，语义计算需要参数庞大的非线性计算。例如在对话系统中，深度学习目前已成为对话系统的一项基本技术;神经网络被应用于传统任务导向型对话系统的不同组成部分。近年来，端到端的框架不仅在非面向任务的聊天对话系统中流行，在面向任务的对话系统中也逐步流行起来，但是仍远非完美。又如在语义识别方面，需要对句法进行剖析，因此剖析在对话系统、信息抽取、语法检查中都起着非常重要的作用。