2021.5.22项目阶段报告

本周进度

1.给出了共现矩阵的一种实现。
希望将共现矩阵加入到查重算法中,主要用于发现主题,解决词向量相近关系的表示;或许可以考虑处理正文。
2.搜集了几种文本相似度的度量方法。
LCS最长子序列;
最小编辑距离;
莱文斯坦距离;
Jaccard相似性系数;
TF-IDF+topK;
余弦相似度;
欧几里德相似度;
皮尔森相似度;
局部哈希算法。
3.制作了一个简易的网络查重demo。
使用Tkinter生成一个简单界面;
选择文件并分词;
使用爬虫;
计算相似度;
展示结果。

下周目标

1.优化查重算法。
2.完善提取细节。

猜你喜欢

转载自blog.csdn.net/Mr__666/article/details/117152387