1.1 基于深度学习的自然语言处理

目前,深度学习是人工智能领域中的热门研究方向。深度学习的迅速发展受到了学术界和工业界的广泛关注。由于深度学习优秀的特征选择和提取能力,其在自然语言处理、计算机视觉、语音识别等领域得到广泛应用,因此自然语言处理是人工智能皇冠上的一颗明珠。

人们在自然语言处理领域长期以来的追求便是如何保证自然语言与计算机之间的有效通信,然而自然语言是高度抽象的符号化系统,文本间存在数据离散、稀疏及一词多义等问题,因此,当前自然语言处理的研究热点和难点是如何使用深度学习技术推动自然语言处理中各个任务的发展。

Hinton在2006年提出深度学习的概念:深度学习是一种从海量数据中自动提取多层特征表示的技术。通过数据驱动的方式,深度学习采用不同组合的非线性变换,提取原始数据的低层到高层及具体到抽象等特征。首先,相较传统的浅层学习,深度学习更加强调模型结构的深度,通过增加模型深度,深度学习模型能够获取原始数据中更深层次含义;其次,深度学习明确数据特征表示的重要性,通过逐层特征变换,深度学习模型将原始数据的特征表示空间转换到一个新特征表征空间,从而使模型的预测更容易。

深度学习强大的特征提取和学习能力可以更好地处理高维稀疏数据,在自然语言处理领域的诸多任务中取得了长足发展。深度学习的出现,使文本的表征从离散的整型矩阵转换成了稠密高维的浮点矩阵,浮点矩阵所蕴含的信息更多,而且每个字符表征之间也存在一定的语义关联,因此,本书的核心是基于深度学习的自然语言处理。通过深度学习与自然语言处理的结合,本书能够帮助读者快速掌握当前自然语言处理的热门技术,锻炼实践能力。