法研杯数据处理

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_33067361/article/details/86487041

罚金预测

数据预处理

  • 从原始json文件中抽取出facts文本和punish_of_money标签。
  • 将facts文本分词后写入data_train.txt文件(还是使用jieba,简单去除了长度小于等于1的词,没有筛选词性,单纯觉得如果生成神经网络模型的话会破坏上下文关系)
  • punish_of_money取log2后取整作为标签
  • 将数据存成fasttext需要的格式,不需要生成词向量,因为fasttext可以自动生成词向量

模型训练

  • 选择fasttext模型,pip install下载的fasttext不支持windows,recall和precision跑出来的结果一直都是nan,需要自己下载资源后install。下载方式见https://blog.csdn.net/m0_37870649/article/details/80935307,在解压好的文件路径下打开cmd, 注意首先要uninstall之前下载的fasttext,然后输入命令为py -3 setup.py install(我是用的python 3.6 不同版本的命令稍微有区别),调用的时候也有区别。但是问题是下载的install包没有评估的模块,但好在predict函数是有的,如果想要计算recall和precision还要自己写evaluation模块。
  • 不想安装虚拟机或者双系统,所以最后采用了windows提供的wsl(windows subsystem for linux),简单的配置一下就可以了,我选择的是ubuntu,配置好了在bash里按照linux的方法使用就可以了,电脑中文件都在mnt文件夹中,在原py文件路径下运行就好了,亲测有效。

猜你喜欢

转载自blog.csdn.net/qq_33067361/article/details/86487041