MiniGPT4系列之一部署篇：在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客
MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客
MiniGPT4系列之三模型推理 (Web UI)：在RTX-3090 Ubuntu服务器推理_seaside2003的博客-CSDN博客
本文参考以下知乎帖子后半部分：
手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎
FastChat安装
有两种方法：
pip方式安装：
pip3 install fschat源码安装：
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e .
开启服务
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna此时可能会出现报错，ModuleNotFoundError: No module named 'rich'，因为上面都没有安装rich这个包
但直接pip install rich，我试了不行，执行以下命令成功：
python -m pip install rich
这个命令参照：ModuleNotFoundError: No module named 'rich’
\"ModuleNotFoundError: No module named \'rich\'\" 即使我使用 pip 安装答案 - 爱码网
再次执行以下命令，可以看出执行成功：
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna