bpe如上所述讲的很细。
中文词编码,目前主要是vocab.txt,是21128版本,在chinese_clip或者chinese_bert中都是这个版本。
bpe英文词编码,目前是dalle和clip都使用的bpe_simple_vocab_16e6版本,262145版本。
bpe如上所述讲的很细。
中文词编码,目前主要是vocab.txt,是21128版本,在chinese_clip或者chinese_bert中都是这个版本。
bpe英文词编码,目前是dalle和clip都使用的bpe_simple_vocab_16e6版本,262145版本。