windows下安装langchain-chatchat0.2.5

langchain-chatchat0.2.5版本发布了,功能又有了进一步的增强。详见社区的Wiki:https://github.com/chatchat-space/Langchain-Chatchat/wiki

因国内访问huggingface.co困难,做了一个windows下的整合包,内置了chatglm2-6B、m3e-base,可以本地运行langchain-chatchat0.2.5的LLM、知识库、搜索增强等功能。

链接:https://caiyun.139.com/m/i?135ClpbtTooUm
提取码:mTjG

【准备工作】
1、(建议)提前在智谱、minimax、讯飞星火等大模型平台申请账号和key
2、提前在微软azure.com上注册账号,并订阅bing搜索服务,申请Key(可以选择免费版本)
3、下载langchain-chatchat0.2.5.zip文件

【安装】
1、解压Langchain-Chatchat0.2.5.zip,例如解压到 c:\tmp\Langchain-Chatchat 目录
2-1、如果没有GPU或者GPU显存小于12G,建议用在线大模型:用文本编辑器修改config目录中的model_config.py文件,将申请的大模型key输入到114~184行,同时修改100行LLM_MODEL为对应大模型,例如:"zhipu-api"
2-2、如果有12G显存以上GPU,修改100行LLM_MODEL为本地大模型,例如:"chatglm2-6b"
3、修改config目录中kb_config.py的37行,将BING_SUBSCRIPTION_KEY改为azure上申请的bing key
4、建议安装anaconda,对python虚拟环境进行管理(https://www.anaconda.com/download/)
5、点击“开始”-》Anaconda3-》Anaconda Powershell Prompt
6、创建python虚拟环境:conda create -n chatchat python==3.10.9
7、激活python虚拟环境:conda activate chatchat
8、进入程序目录:cd c:\tmp\Langchain-Chatchat
9、安装依赖包:pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple/

【运行】
1、点击“开始”-》Anaconda3-》Anaconda Powershell Prompt
2、进入目录,输入:cd c:\tmp\Langchain-Chatchat
3、激活python环境:conda activate chatchat
4、运行程序:python startup.py -a

猜你喜欢

转载自blog.csdn.net/qq_43335960/article/details/133452515