问题描述

  在用RobertaTokenizer对单词进行分词的时候，发现单词acquire会被分词两个词根，但是RobertaForMaskedLM可以预测出来单词acquire。

  下面的代码可以看到把单词acquire分词成了'ac'和'quire'

from transformers import AutoTokenizer, RobertaForMaskedLM
import torch

tokenizer = AutoTokenizer.from_pretrained("./@_PLMs/roberta/roberta-base")
model = RobertaForMaskedLM.from_pretrained("./@_PLMs/roberta/roberta-base")

inputs = tokenizer("acquire", return_tensors="pt")
# {'input_ids': tensor([[    0,  1043, 17446,     2]]), 'attention_mask': tensor([[1, 1, 1, 1]])}
tokenizer.decode([1043])
# 'ac'
tokenizer.decode([17446])
# 'quire'

  但是把它们放在一起解码的时候，就会合成一个单词：

tokenizer.decode([1043, 17446])
# 'acquire'

  RobertaForMaskedLM在预测的时候也可以预测合成词：

  观察上图，发现RobertaForMaskedLM给出的候选词前面全都有一个空格。所以如果我们想要编码一个完整的单词，需要在前面加个空格。

解决方案：在想要编码成完整的单词前面加个空格

  在想要编码成完整的单词前面加个空格：

tokenizer(" acquire", return_tensors="pt")
# {'input_ids': tensor([[   0, 6860,    2]]), 'attention_mask': tensor([[1, 1, 1]])}