为小白创作的第一个bert模型的微调过程

作为一个nlp小白,我在入门的过程之中,遇到了很多的困难和障碍,比如刚开始不知道在哪下载预训练模型文件,不知道到哪去阅读bert模型的源代码,经历了学习之后,如今我已经算是简单的入门了。为了帮助新手更好地入门bert模型,我自己写了一个bert模型的简洁的源代码,方便新手学习
bert分为预训练和微调过程,这里我们只学习微调过程
为了简化操作,只需要进行如下的过程
安装tensorflow==2.x版本之后
安装库的指令

pip install bertforyou==1.1.9

接下来运行下面的对应代码(不需要任何操作,装完库之后直接运行即可)

import models
from models import Bert
from models import Embeddings
import tensorflow.keras as keras
max_seq_len = 48
bertmodel = Bert(maxlen=max_seq_len,batch_size=batch_size)
input_ids      = keras.layers.Input(shape=(max_seq_len,), dtype='int32', name="input_ids")
output = bertmodel(input_ids)
print('output = ')
print(output)

整个模型就被初始化了一遍,源代码的地址
bert项目源代码的地址
源码之中附有详细的文档说明内容
最后,各位看官如果觉得对您有帮助,麻烦在github项目之中点个小星星,谢谢!!!

猜你喜欢

转载自blog.csdn.net/znevegiveup1/article/details/116096312