课堂作业三：词频统计及其效能分析

1.个人信息

学号：2017xxxxx7202
姓名：杨星宇
仓库地址：仓库地址

2.程序分析

1）读取文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        p = open(dst,"r")   
    except IOError as s:
        print (s)
        return None
    try:     # 读文件到缓冲区
        bvffer = p.read()
    except:
        print ("Read File Error!")
        return None
    p.close()

    return bvffer

2）处理缓冲区，统计单词频率，修改特殊符号

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        for fh in ',.!?+-_':
        #文本内容改为小写并去除符号
           bvffer = bvffer.replace(fh, " ")
        #删除两边空白符，并以空格分割字符串
        words = bvffer.strip().split()
        #循环判断，进行增值
        for word in words:
            word_freq[word] = word_freq.get(word, 0) + 1
        
        return word_freq

3）输出频率前十的单词

def output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item)

4）执行函数

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('dst')
    args = parser.parse_args()
    dst = args.dst
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

5）运行结果
大文件：Gone_with_the_wind.txt