提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
代码地址:https://github.com/THUDM/ChatGLM2-6B
模型地址:https://huggingface.co/THUDM/chatglm2-6b
安装环境:Ubuntu_VM-GPU,3090
一、模型部署
1. 下载代码
提示:git clone https://github.com/THUDM/ChatGLM2-6B 有时候连不到github
因此,直接下载代码,上传到服务器去解压
2. 下载模型
① 首次运行程序,程序会自动从huggingface拉取,放入缓存文件夹中
② 同代码一样,先从网上下载再传到服务器。
3. 建立conda的虚拟环境
下面展示一些 内联代码片
。
conda create -n chatglm python=3.10
conda activate chatglm
4. 安装环境依赖
进入到代码目录中,目录中有requirement.txt
pip install -r requirement.txt
5. 修改模型配置
打开web_demo.py
vim web_demo.py
修改代码中的模型地址,
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()
将THUDM/chatglm2-6b换成模型上传的文件夹
6. 执行web_demo.py
python web_demo.py
加载模型后会给出web服务的地址
Running on local URL: http://127.0.0.1:7860
Running on public URL: https://8d65029a7d3a5a79fc.gradio.live
提示:要显示公共地址,需要在执行的代码的最后一行将share参数从False改成True
demo.queue().launch(share=True, inbrowser=True)