LLMs之Baichuan2：源码解读(fine-tune.py文件，基于deepspeed )—解析命令行参数→数据预处理(对消息内容进行分词处理+if判断对话角色(来自用户还是助手)并为对话内容添加各自角色对应的特殊token进而生成对应的输入和标签+添加结束符token+截断或填充操作)→模型训练(LoRA优化)
目录
LLMs之Baichuan2：源码解读(fine-tune.py文件，基于deepspeed )—解析命令行参数→数据预处理(对消息内容进行分词处理+if判断对话角色(来自用户还是助手)并为对话内容
猜你喜欢
转载自blog.csdn.net/qq_41185868/article/details/132867299
今日推荐
周排行