基于内容的文本相似计算步骤

基于内容的文本相似性计算步骤如下:

1.针对内容进行切词,一般只保留名词(如果是行业词汇的话那么可以不计算idf)

2.针对切词计算tf(词频)

某一个给定的词语在该文件中出现的次数(可以做归一化也可以不做归一化看需求)

3.针对切词计算idf(idf为逆向文件频率)[可以不计算]

某词汇的idf=总文件数目除以包含该词语之文件的数目,再将得到的商取对数

4.针对tf和idf计算tf-idf(如果是行业词汇的话可以考虑直接用tf做为tf-idf,计算tf-idf是为了找到文本的特征词)

tf-idf=tf*idf

5.词汇向量化(可以采用string to long等方式)

6.计算他们的距离(多种距离根据需要进行选择)

7.获得文本相似排序列表

猜你喜欢

转载自snv.iteye.com/blog/1850398