关键词:大模型,LLM,OpenAI,GPT,LLaMA ...
最近调研主流开源大模型,并搭建实验环境,尝试在领域数据上进行finetuning,提纲式地整理了部分大模型信息,论文细节及实验过程后续再逐步整理出来。
生成式大模型调研(部分)
- OpenAI
- chatGPT
- 主要API: API name -- 基础模型
- text-davince-003 -- GPT3(175B)
- gpt-3.5-turbo-0301 -- GPT3.5,对应ChatGPT
- code-davinci-002 -- CodeX(12B)
- 主要API: API name -- 基础模型
- GPT4(需开通Plus)
- API: gpt-4/gpt-4-0314/gpt-4-32k/gpt-4-32k-0314
- 基础模型:GPT4
- chatGPT
- 开源模型
- LLaMa(7B/13B/33B/65B)(英语):1.4T Tokens,2048*A100/80G*21day
- 衍生模型:stanford-alpaca
- 指令微调 + text-davince-003生成数据52K,epoch=3, 8*A100/80G,用时3小时
- 低资源版本
- alpaca-lora
- 指令微调,RTX4090(24G)数小时训练
- 使用lora方法,固定LLaMA参数,迭代更新lora参数
- 主要衍生模型
- chinese-alpaca-lora(cn):https://github.com/ymcui/Chinese-LLaMA-Alpaca
- gpt-3.5-turbo样本生成,7B:ISF + 2M数据,13B:ISF+3M数据
- Luotuo-Chinese-LLM(cn):https://github.com/LC1332/Luotuo-Chinese-LLM
- 数据及训练不详细
- baize-chatbot(en):https://github.com/project-baize/baize-chatbot
- 54K/57K/47K dialogs from Quora, StackOverFlow and MedQuAD questions
- Vicuna(en):https://github.com/lm-sys/FastChat
- ShareGPT收集7w对话数据,上下文长度从alpaca的512扩展到2048 + SFT
- chinese-alpaca-lora(cn):https://github.com/ymcui/Chinese-LLaMA-Alpaca
- alpaca-lora
- 衍生模型:stanford-alpaca
- BLOOMZ(1B/3B/7B/176B)(多语言)
- 衍生模型:BELLE(7B)(cn):https://github.com/LianjiaTech/BELLE
- 以LLAMA/BLOOM为基础模型,加入不同的数据量分布进行训练,并引入不同的优化方法,有对比评测结果,可以重点参考,ISF + 1.5M微调数据
- 衍生模型:FireFly(3B)(cn):https://github.com/yangjianxin1/Firefly
- 基础模型bloom-1b4-zh/2b6-zh + ISF + 23个任务115W微调数据 + Belle 50w微调数据
- 衍生模型:BELLE(7B)(cn):https://github.com/LianjiaTech/BELLE
- GLM(6B/130B)(中文):https://models.aminer.cn/
- ChatGLM-6B:https://github.com/THUDM/ChatGLM-6B
- 目前开源模型中在中文上表现最佳(MOSS之前试用)
- ChatGLM-6B:https://github.com/THUDM/ChatGLM-6B
- MOSS-16B(中文):https://github.com/OpenLMLab/MOSS
- LLaMa(7B/13B/33B/65B)(英语):1.4T Tokens,2048*A100/80G*21day
- 医学领域GPT模型
- ChatDoctor(en):https://github.com/Kent0n-Li/ChatDoctor
- 以LLAMA为底座模型,在stanford alpaca基础上,进行指令再微调,并引入lora加快训练
- IFS+100k+10k+5k+52k
- Huatuo-Llama-Med-Chinese(cn): https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
- 使用gpt3.5接口对cMeKG知识库构建8k条问答数据,参考alpaca-lora进行指令微调训练,同时提供了基于ChatGLM(6B)的模型
- BioMedLM: https://crfm.stanford.edu/2022/12/15/pubmedgpt.html
- 使用Pubmed医学学术文档重新训练的领域大模型
- BioMedGPT: https://github.com/BioFM/OpenBioMed
- 清华AIR发布的生物医学(制药)领域的大模型1.6B
- ChatDoctor(en):https://github.com/Kent0n-Li/ChatDoctor
附幕布脑图链接 密码: yhr6