【AI实战】llama.cpp量化cuBLAS编译;nvcc fatal:Value 'native' is not defined for option 'gpu-architecture'
llama.cpp量化介绍
对于使用 LLaMA 模型来说,无论从花销还是使用体验,量化这个步骤是不可或缺的。
llama.cpp 量化部署 llama 参考这篇文章:【AI实战】llama.cpp 量化部署 llama-33B
llama.cpp 编译GPU版
1.错误描述
与 cuBLAS 一起编