出现这个问题的原因是,pickle.load的文件是属于windows 下的docs 需要将其转化成Unix 下的文件。
“pickle文件必须使用Unix新行,否则至少Python 3.4的C pickle解析器会失败,例外:pickle.UnpicklingError:必须引用STRING操作码参数我认为某些git版本可能正在改变Unix新行( '\ n')到DOS行('\ r \ n')。
您可以使用此代码将“word_data.pkl”更改为“word_data_unix.pkl”,然后在脚本“nb_author_id.py”上使用新的.pkl文件:dos2unix.txt
#!/usr/bin/env python
"""
convert dos linefeeds (crlf) to unix (lf)
usage: dos2unix.py
"""
original = "word_data.pkl"
destination = "word_data_unix.pkl"
content = ''
outsize = 0
with open(original, 'rb') as infile:
content = infile.read()
with open(destination, 'wb') as output:
for line in content.splitlines():
outsize += len(line) + 1
output.write(line + str.encode('\n'))
print("Done. Saved %s bytes." % (len(content)-outsize))