使用 QLoRa 和 TRL 在计算机上微调 Llama 2 在Guanaco上打造自己的聊天助手

Llama 2 是 Meta 发布的最先进的大型语言模型(LLM)。

在介绍该模型的论文中,Llama 2 在各种自然语言生成和编码任务的公共基准测试中展示了令人印象深刻的功能。

Meta 还发布了 Llama 2 的聊天版本。这些聊天模型可以用作聊天机器人。它们模仿 OpenAI 的 ChatGPT 功能,可以通过正确的提示解决许多问题。

Llama 2 的两个版本目前都有不同尺寸:7B、13B 和 70B 参数。注:论文中提出了34B参数版本,但尚未发布。

如果您想在计算机上运行 Llama 2,7B 和 13B 型号尤其有趣。随着量化领域的最新进展,您可以使用 GPTQ 或 QLoRa 在消费类硬件上微调和运行这些模型。

我在这里写过关于 Llama 2 和 GPTQ 的文章:

Llama 2 是 Meta 发布的最先进的大型语言模型(LLM)。

在介绍该模型的论文中,Llama 2 在各种自然语言生成和编码任务的公共基准测试中展示了令人印象深刻的功能。

Meta 还发布了 Llama 2 的聊天版本。这些聊天模型可以用作聊天机器人。它们模仿 OpenAI 的 ChatGPT 功能,可以通过正确的提示解决许多问题。

Llama 2 的两个版本目前都有不同尺寸:7B、13B 和 70B 参数。注:论文中提出了34B参数版本,但尚未发布。

如果您想在计算机上运行 Llama 2,7B 和 13B 型号尤其有趣。随着量化领域的最新进展,您可以使用 GPTQ 或 QLoRa 在消费类硬件上微调和运行这些模型。

如何获得羊驼2?

注意:如果您已经在 Hugging Face 上访问过 Llama 2,则可以跳过此部分。

猜你喜欢

转载自blog.csdn.net/iCloudEnd/article/details/132694680