AI之自然语言处理的作用

如果说,人们想象中的人工智能,就是自然语言处理的终极目标,

那么,现在的人工智能就是,有多少人工就有多少智能。

 

人们想象中的人工智能,都是从科幻作品里来的。科幻小说、科幻电影无不在告诉人们,人工智能能像人一样会思考,有自主意识。也就是,机器学会了人类的语言,进而用人类的语言进行思考、交流。

 

然而,理想很丰满,现实很骨感。

 

让机器完全理解、并运用自然语言,还有很长很长的路要走。过去的几十年,人们从规则系统,到统计学,再到基于人工神经网络的深度学习,付出了大量的人工,这里的人工包含两个方面:

 

其一,人工总结整理的规则、词库、标注的各种语料库;

其二,为了让机器自动学习规则而探索各种算法付出的人工。

 

目前深度学习已经能自动学习语言中的特征,但需要人类事先标注大量的语料进行学习。当然学习出来的模型也不是语言学中那样的以语言描述的规则,但是这种规则的确管用。

 

目前的机器学习(就是目前的人工智能)的方法注意是“监督式学习”,就是人工要标注大量的语料供它学习。而且,不同学习任务,标注语料的方式也不一样,为此要付出大量的人工。所以说,现阶段的人工智能,就是有多少人工就有多少智能。

 

自然语言处理(Natural Language Processing)的研究已经有几十年了,但这几十年的人工,还抵不过一个孩童的语言能力。当然,几十年的人工也不是白费的,它在某些特定任务的处理上已经超过了人类。现在就看看人们在自然语言处理上都做了哪些努力,取得了怎样的成果,接下去还能做些什么。

 

一、搜索引擎

 

搜索引擎,是信息检索领域的,但是它处理的信息是自然语言信息——文本,其中也使用了很多自然语言处理的技术来提高搜索质量,所以这也是自然语言处理应用的一个很主要的方向。

 

那为什么要把它放在第一位来说呢?因为它太重要了!

 

过去二十多年,搜索引擎伴随着并推动着互联网的发展,和信息的传播。很多人每天都在使用搜索引擎获取知识。

 

最好的搜索引擎当然是那个Google。

 

二、机器翻译

 

这又是一个重要的应用,也是非常适合机器做并做得很好的任务。世界上,语言太多,没有几个人能同时掌握很多种语言的。但是,机器可以,而且掌握的很好。不对,不是掌握语言,是掌握翻译。

 

喂给机器学习算法大量的双语平衡语料,它学会了两者之间的某种转换规则,就可以翻译这两种语言了。重复上述过程,喂给它不同的双语平行语料,它就学会了不同的翻译功能,比如中英、英法、英德等等。

 

而这里的“平行语料”是很简单的格式,比如中英,就是一句中文对应它的英文,这样一对对的中英文对照就构成了中英平行语料库,这个库越大越精准,机器翻译学习到的翻译能力也就越强大。而这些语料已经积累了很多,比如政府的各种语言的规章、法律条文,电影的各种语言的字幕等等。

 

大的互联网/IT技术公司都做了自己的机器翻译,都具有几十种语言之间的相互翻译能力。目前,机器翻译还不能达到翻译专家的“信雅达”,但已经比大多数人的翻译能力强了。相信不久的将来,翻译这个工作就彻底被机器抢走了。

 

 

三、语音文字互相转换

这是自然语言两种形式——语音和文字的转换。语音转文字叫做语音识别(或语音转写,STT,Speech To Text),文字转语音叫做语音合成(TTS,Text To Speech)。

 

这个已经应用很广泛了,比如手机里面的语音输入法,只要你的普通话还凑合,识别率就很高。比如一些阅读APP,就集成了语音合成,在你想听书的时候,他就帮你读书。语音合成,初期听上去很生硬,真不愧是机器说出来的。渐渐地,机器就学会了人类抑扬顿挫的语气,甚至还可以模仿某个人的音色。这些,都是已经发生并且有令人满意的效果了。

 

 

四、智能助手/音箱

有了语音和文字的相互转换,再加上点儿语义理解,这不就活脱脱一个“人”吗?

 

这个“人”与我们近距离接触,就是苹果的siri的上线。它把人们以前靠手打字输入的方式,变成了靠嘴说话。解放了双手累了嘴(其实,还得要手点一下,这一点又被叫做“语音唤醒”的给解决了)。

 

Siri的成功,

一是靠它的稀缺,这是‘人工智能’第一次近距离与普通人接触;

二是靠它的傻,人们有了闲暇搞乐的对象。

当然,它有时候也有一点点用。

 

后来,各大手机厂商也都搞自己的“智能助手”,一时间,安卓系统里的助手满天飞。再后来呢,谁还接到上次打开助手的时间?

 

热闹过后,搞这个的厂商想,不能花了这么多金钱和精力就搞个热闹吧,岂不亏大了?于是,和硬件结合,就可以卖东西赚钱啦。于是乎,出现了个叫做“智能音箱”的东东,当然也有其它形态的,比如机器人什么的。不过,这个音箱形态的应该算是最成功的,亚马逊的音箱卖了不少呢。

 

智能音箱,其实是换汤不换药,只不过又加了几味安慰剂,抚慰地人们更舒服了一些。比如,加上控制空调的功能,把电视声音调小一点的功能等等,之前你要满屋子找遥控器,现在对着它说一句就行了。

 

 

五、智能问答/聊天

Siri和人对话,细分起来是两个能:问答和聊天

问答,是具有知识性的,比如你问“世界上最大的动物是什么?”,它回答“鲸”。

聊天,是随意性的,扯淡的,比如你说“今天心情挺好啊”,它就blabla,你还觉得它说的在情在理。

这个要是做好了,那就是真的人工智能了。机器理解了你的语言,并能用你的语言和你沟通。想想,刺激又可怕,它都理解了,会不会就具有思考能力了,就要坏心眼了?一连串的问题就来了。这也是现在有些人反对人工智能的原因。

这有点杞人忧天,很难说这个世纪能做得到。

六、文字识别OCR

 

这项技术就是把图片里面的文字转换成文本格式,以方便后期处理,比如用来检索。该技术的研究历史也蛮久了,OCR(Optical Character Recognition,学名就是光学字符识别)这个概念最早是1929年提出来的。

 

这项技术的最大应用应该就是,Google图书(Google Books)了。它扫描并进行文字识别了700万(截止2008年)图书,建成了全文图书搜索引擎。然而,你不一定能用得上它。

 

其它应用,比如有个扫名片的APP,还有个扫作业找答案的APP,真是生不逢时啊,我小时候咋就没有这么个APP呢,省得老是把作业给别人超了,哈哈。

 

七、知识图谱

 

感觉,知识图谱就是老早之前的专家系统的一种。只不过那时候,人工整理的工作占主要,现在是研究算法来解决。

 

知识图谱,包含三要素:实体、属性、关系。比如,拿“姚明”来说:

实体:姚明

属性:身高、体重等等

关系:与其它实体如老婆、父母、孩子等的关系

 

这个东东好像还没有接地气的应用,或者是,用了你也感觉不到。最直接的应用就是前面说的问答,比如你问“姚明身高多少”,在知识图谱里面一下就找到了答案,而且知识图谱是结构化的数据,便于这种问答的搜索。

 

以上这些技术,基本上算是大厂做的事情,投入的人力物力很大,才能做得好。

 

——————— 以下是最常见的任务和应用 ————

 

这些有很多应用场景,但每个场景并不能让人眼前一亮。如何更好的做这些技术,如何找到匹配的应用场景,是个很值得思考的问题。

 

八、关键词/主题提取/文本摘要

 

从一篇或多篇文档里面提取几个关键词,来代表这个/些文档的大致意思。词语的信息量毕竟比较少,其实提取更有意义的短语更棒,也更难。

 

微博的热门话题就是一个个短语,瞟一眼就知道大概意思。这个更像是主题提取。

 

一个好的新闻,看看标题就知道意思了;反过来,机器能否根据整篇内容给出一个言简意赅的标题呢?这也是一个很有意思的自然语言处理的任务。

 

一句话不足以表达整篇,那就一小段吧,这就是文本摘要。现在做摘要的,大多数是从里面抽出几句话来,做起来简单,但效果没有达到总结的效果;另外一直是总结式的,摘要出来的并不是文章原句,但意思保留了,真有点人类总结中心思想的意思。但是,这种方法难做,目前的效果并不十分理想。

 

 

九、文本分类/聚类

 

文本多了,量大了,才能显出机器处理速度的快。比如网站大量的留言,客服大量的对话,都是说了哪些事情?可以用机器快速的给他们分分类。还有很多不是我们预先设定的类别,那它们又都在说什么,那就聚聚类,发现一些有用的东西出来。

 

照着这个思路去处理大量文本还是可行的。

 

以上两项都算是比较常熟的技术,又是效果不太很令人满意的技术,合适的应用场景才是它们的出路。除非,从算法上有个大的突破。

未经允许不得转载:996ICU » AI之自然语言处理的作用

赞 (0) 打赏