自然语言处理是计算机科学,信息工程以及人工智能的子领域,专注于人机语言交互,探讨如何处理和运用自然语言,自然语言处理的研究,较早可以说开始于图灵测试,经历了以规则为基础的研究方法,流行于现在基于统计学的模型和方法,从早期的传统机器学习方法,基于高维稀疏特征的训练方式,到现在主流的深度学习方法,使用基于神经网络的低维稠密向量特征训练模型,较近几年,随着深度学习以及相关技术的发展,NLP领域的研究取得一个又一个突破,研究者设计各种模型和方法,来解决NLP的各类问题。
机器学习是计算机通过模式和推理,而不是明确指令的方式,高效执行指定任务的学习算法,贝叶斯概率模型,逻辑回归,决策树,SVM,主题模型,HMM模型等,都是常见的用于NLP研究的传统机器学习算法,而深度学习是一种基于特征学习的机器学习方法,把原始数据通过简单但非线性的模块转变成更高层次,更加抽象的特征表示,通过足够多的转换组合,非常复杂的函数也能被学习。
如何形象地理解,在机器视觉领域会比较容易理解,深度学习通过多层神经网络依次提取出图像信息的边缘特征,简单形状特征譬如嘴巴的轮廓,更高层的形状特征譬如脸型,而在自然语言处理领域则没有那么直观的理解,我们可以通过深度学习模型学习到文本信息的语法特征和语义特征,可以说,深度学习,代表自然语言处理研究从机器学习到认知计算的进步。
自然语言处理可用于什么。
语音机器人:由于语音机器人模仿真实的对话,他们严重依赖自然语言处理技术,大多应用垂直行业模型训练,市面上除了应用于各种产品身上的还包括应用于企业客户服务上,例如沃丰科技的语音机器人,服务于企业的营销,服务,管理各个方面,做的就是垂直行业模型,根据不用行业,不同场景的词汇语音对模型进行训练。
客户服务:许多公司转录和分析客户通话录音,自然语言处理有助于分析这些数据,并使您能够更快地响应客户需求,例如目前市面上有智能质检的产品,例如飞鹤应用的智能质检,对其客户服务全流程的语音和文字进行质检,不当言论实时检测。