tf_idf
TF-IDF（词频-逆文档频率）算法是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。该算法在数据挖掘、文本处理和信息检索等领域得到了广泛的应用，如从一篇文章中找到它的关键词。
TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。TF-IDF实际上就是 TF*IDF，其中 TF（Term Frequency），表示词条在文章Document 中出现的频率；IDF（Inverse Document Frequency），其主要思想就是，如果包含某个词 Word的文档越少，则这个词的区分度就越大，也就是 IDF 越大。对于如何获取一篇文章的关键词，我们可以计算这边文章出现的所有名词的 TF-IDF，TF-IDF越大，则说明这个名词对这篇文章的区分度就越高，取 TF-IDF 值较大的几个词，就可以当做这篇文章的关键词。
计算步骤
计算词频（TF）
词频=某个词在文章中的出现次数 / 文章总次数
计算逆文档频率（IDF）
逆文档频率=log(语料库的文档总数 / 包含该词的文档数+1)
计算词频-逆文档频率（TF-IDF）
词频−逆文档频率=词频∗逆文档频率
Python中计算TF-IDF
在Python中，scikit-learn包下有计算TF-IDF的api，其效果也很不错。首先得安装Scikit-clearn。不同系统安装请看：http://scikit-learn.org/stable/install.html。
由于计算TF-IDF是对分词结果进行计算，所以这里需要使用jieba中文分词。有关结巴分词的使用，可以看博文：http://www.cnblogs.com/chenbjin/p/3843800.html
scikit-learn包进行TF-IDF分词权重计算主要用到了两个类：CountVectorizer和TfidfTransformer。其中
CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在第i个文本下的词频。即各个词语出现的次数，通过get_feature_names()可看到所有文本的关键字，通过toarray()可看到词频矩阵的结果。简例如下：
1) 如何把语料数据作为语料库导入到内存中
我存放iphone 语义文件夹的路
file:///Users/apple/Downloads/Iphone8
如果是windows系统要替换成响应的路径。
'''
把一个文件夹中，包括嵌套文件夹的全路径，读入到一个内存变量中，我们定义为filePaths数组变量，接着使用os中walk方法，传入这个目录作为参数，就可以遍历该文件中的所有文件了
for root,dirs,files in os.walk中root为文件目录，dirs为root目录下的所有子目录，root目录下的所有文件，我们命名为files，然后进行遍历。
为了拿到root目录下的所有文件，我们再次便利所有的文件（代码：for name in files:）把它追加到filePaths变量中去即可。
os.path.join是拼接文件路径的方法，因为文件路径在windows,mac,linux中的写法是不同的，使用这个方法可以解决在不同系统中使用文件路径要使用不同方法的问题。
最后组建数据框pandas.DataFrame
'''
import os
import os.path
import codecs
filePaths=[]
fileContents=[]
for root,dirs,files in os.walk('Users/apple/Documents/Iphone8'):
for name in files:
filePath=os.path.join(root,name)
filePaths.append(filePath)
f=codecs.open(filePath,'r','utf-8')
fileContent=f.read()
f.close()
fileContents.append(fileContent)
import pandas
corpos=pandas.DataFrame({
'filePath':filePaths,
'fileContent':fileContents
})