实验内容

针对不同语料统计汉字的字频，并进行比较。

实验要求和目的

给出前 100 个汉字高频字的频率统计结果；

分别给出前 1、20、100、600、2000、3000、6000 汉字的字频总和；

计算汉字的熵值；

针对不同规模语料重复上述实验；

以图表的形式表示上述结果；

提交实验报告，给出详细实验过程和结果；提交源代码和可执行程序。

实验环境

操作系统 macOS Sierra

内存 16G

开发语言 Python

程序主要算法

统计字频，利用 Python 内置的逐行读取和行内逐字读取功能进行字频统计，建立一个 dict 类型的变量用于记录每个字对应的个数，如果读取的字在 dict 中出现过，则 value 值加一，如果读取到的字在 dict 中未出现过，则在 key 值中添加新读取的字。核心代码如下：

with open(filepath, 'r') as txt_file:
for line in txt_file:
ustr = line.decode(encoding)
       for uchar in ustr:
           if is_chinese(uchar):
                       account += 1
                                  if _dict.has_key(uchar):
                                      _dict[uchar] = _dict[uchar] + 1
                                 else:
                                                         _dict[uchar] = 1

实验过程

首先进行语料的收集，我收集到有“人民日报 800 万字语料库”、“搜狗新闻库”，并在网上找了一些金庸的小说 TXT 版本。

然后进行代码的编写，先确定了核心算法，就是第四步中提及的代码，然后编写了如下函数完成实验指导中的要求：

给出前 100 个汉字高频字的频率统计结果，对应函数为：def cal_chinese_word_top100(_dict,_account):

分别给出前 1、20、100、600、2000、3000、6000 汉字的字频总和。对应代码为：def cal_chinese_word_7(_dict,_account):

计算汉字的熵值。对应代码为：def cal_entropy(_list):

实验结果

针对人民日报(800 万级语料)和金庸的小说《倚天屠龙记》(30 万级语料)，进行字频分析，对比如下：

人民日报语料：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PEJsQfBE-1654688388067)(https://www.writebug.com/myres/static/uploads/2022/6/8/843c6929780c7f869e15ab45c2ff1042.writebug)]

前 1、20、100、600、2000、3000、6000 汉字的字频总和： 0.035573727683 0.169908955911 0.403422616933 0.834240279379 0.988090484587 0.998732545555 0.998732545555

《倚天屠龙记》

前 1、20、100、600、2000、3000、6000 汉字的字频总和： 0.018951611838 0.213809263413 0.472524917909 0.837447793249 0.983958229316 0.997836441303 0.997836441303

实验结论和体会

实验结论：

通过对字频的统计。我发现了汉语的以下几个特征：

常用字大概为 2000 个左右，剩下的字可被看作是不常用字

汉字是一种熵值很大的文字，换句话说，汉字是一种文字意义丰富的文字。
频的统计。我发现了汉语的以下几个特征：

常用字大概为 2000 个左右，剩下的字可被看作是不常用字

汉字是一种熵值很大的文字，换句话说，汉字是一种文字意义丰富的文字。