最近国内开源了基于Meta发布的llama2大模型进行了微调的中文大模型中文LLaMA-2基座模型和Alpaca-2指令精调大模型
支持各种方式推演,包括llama.cpp,text-generation-webui等等,简介如下:
鉴于我们之前搭建过text-generation-webui环境,不会搭建的可以参考我之前的图文如何优雅的使用各类LLM,所以这次我还是选择用这个环境来跑这个llama-2模型,首先我们通过网盘下载,链接如下:
https://pan.baidu.com/s/1E5NI3nlQpx1j8z3eIzbIlg?pwd=n8k3
下载好以后,将模型放到models文件夹下,然后激活虚拟环境,并启动server.py,然后用浏览器打开 http://127.0.0.1:7860
然后我们在models标签页,model下拉选项中选择该模型,点击load,如果出现显存不足的情况,可以通过下面这个进度条选择显存大小。
导入成功后
我们进入text-generaiton标签页,这个模型是一个文本续写模式,当我们输入提示词,点击generate,就会根据我们的提示词进行续写。到这里一切正常。
重点来了,当我们输入prompt:春天来了
模型居然直接打起了广告,,哈哈,就问还有谁,面对此情此情,阁下将会如何面对。不过这也给了我们新的思路。
如果后续大模型都这么没有下限,直接把训练数据全部换成广告推广软文,这完全就可以作为一个AI推广商品的平台使用啊,甚至可以一键生成某红书软文,效果绝对炸裂啊。
兄弟们,发财的机会来了,只需要大量的广告软文,然后租一台服务器,生意就可以搞起来了,而且模型还可以持续更新,广告不断,钱钱不断啊