清华 chatglm 本地部署

一.环境配置需求

硬件需求:
在这里插入图片描述
软件需求
安装cuda
Window10搭建GPU环境(CUDA、cuDNN)
安装 pytorch
pip 安装 pytorch

二.安装chatglm

安装chatglm

git clone https://github.com/THUDM/ChatGLM-6B.git

安装python库
requirements.txt 在安装的chatglm目录下

pip install -r requirements.txt

模型下载

transformers 的使用

参考文章
清华ChatGLM-6B本地GPU推理部署
chatgpt平替,清华chatglm本地化部署教程(aigc大模型风口,校招找工作必备),包含weiui部署,api部署,对话框部署
新手搭建ChatGLM-6B踩坑记录,有人说ChatGLM-6B可以达到ChatGPT的七八十,支持本地跑

猜你喜欢

转载自blog.csdn.net/qq_33253054/article/details/130772869