LLM的生成配置中参数含义
我们在Huggingface中第一次使用大模型的时候，常常会看到一些需要调整的参数，这个参数也是需要了解的。
文中都是来自对于 LLM 一些学习资料的整理
在上图中有 4 个配置的参数分别是 Max new tokens、top-k、top-p以及 Temperature。
token相信大家都不陌生了，现在在常用的 chatGPT 使用过程中个就有 token 的概念，这里的参数是 Max new tokens 的设置，是最大的新 token 的数量，是一个上限值。并不是说每次生成的新 token 都是 Max new tokens 的值。
top-k约束了模型的输出是从权重最高的前 k 个结果中随机返回一个，这里权重反映了可能性的高低。top-k 参数会让模型不会总是选择top 1 权重的结果返回，从而提高了返回的多样性，同时也保证了输出的正确性。上图的含义就是在权重前三的单词cake、coconut、durian里面随机找一个输出，如果随机返回的是 cake、coconut 那么应该并不会有什么问题。如果返回apple，虽然这个单词也在前三的权重里，但是它的权重就非常地了，因此相关性也就比较弱，这样返回的结果就会不是很好了。