「python」如何统计一个文本文件中的词频?

本文适合Python入门练习,比较简单。

如何用python统计一个纯文本文件中的词频?这是我每次面试的时候都会问的一个问题。对于有些经验的程序员来说,这是一个很简单的问题。但实际情况是,很多面试者都不能很好甚至不能解决这个问题。

这里我们以英文内容为例来解决这个问题,而中文还涉及到文本的编码和分词。

读取文本文件

python读取文本很简单:

#读取整个文件的内容:<br>text = open('file.txt').read()<br>#按行读取文本,并返回一个list,每一行是list的一个item<br>lines = open('file.txt').readlines()<br>

切分单词

英文行文以空格和标点符合来分隔单词,我们切分单词也以空格和标点符号来且分。但大多之考虑到空格而忽略了标点符号。英文中标点符合是直接挨着单词的,只以空格分割,会把表达符号也分到单词里面去。如下文本:

Google introduced its TPU at Google I/O 2016. Distinguished hardware engineer – and top MIPS CPU architect – Norm Jouppi in a blog post said Google had been running TPUs in its data centers since 2015 and that the specialized silicon delivered “an order of magnitude better-optimized performance per watt for machine learning.”

# 仅仅以空格切分:words = text.split(' ')#切分更准确的话就要使用正则表达式模块reimport re# 下面的正则表达式的含义是,# 切分符包括空白符号(空格、换行符n, Tab符t等看不见的符号)、# 英文逗号、英文句号.、英文问号?、感叹号!、英文冒号:# 中括号[]扩起来表示任意匹配这些符号其一即可# 最后的加号+表示如果这些符号是连续挨着的则当成一个分割符切分pattern = r'[s,.?!:"]+'words = re.split(pattern, text)

统计词频

上面切分得到的words是一个list,里面有重复和不重复的单词。
使用dict这个key-value数据结构来进行统计和保存统计结果。
key就是单词,value就是单词的个数。

result = {}for w in words:    if w in result:         result[w] += 1     else:         result[2] = 1# 或者用defaultdictfrom collections import defaultdict result = defaultdict(int)for w in words:     result[w] += 1

defaultdict比dict少了一个if w in result的判断,这正式defaultdict的特点:当key不存在时默认其value为零。

把以上程序片段写出一个.py文件就是一个比较完整的统计词频的程序。可以当作是Python入门小练习。


题图来自可免费用于商业用途的图片共享网站pixabay

未经允许不得转载:996ICU » 「python」如何统计一个文本文件中的词频?

赞 (0) 打赏