OpenAI GPT模型进行对话生成时,设置top_p,Temperature,Top k

在使用OpenAI GPT模型进行对话生成时,设置top_p参数可以控制生成下一个单词的概率分布,即从所有可能的单词中,只选择概率最高的一部分作为候选单词。例如,如果设置top_p=0.7,则模型将仅考虑概率最高的70%的单词作为候选单词。这么做可以一定程度上增加生成的多样性,避免生成过于单调或重复的回答。

1.Temperature
用于调整随机从生成模型中抽样的程度,因此每次点击“生成”时,相同的提示可能会产生不同的输出。温度为 0 将始终产生相同的输出。温度越高随机性越大!

2.Top p
动态设置tokens候选列表的大小。 将可能性之和不超过特定值的top tokens列入候选名单。
Top p 通常设置为较高的值(如 0.75),目的是限制可能被采样的低概率 token 的长度。

3.Top k
允许其他高分tokens有机会被选中。 这种采样引入的随机性有助于在很多情况下生成的质量。 top-k 参数设置为 3意味着选择前三个tokens。
将如果 k 和 p 都启用,则 p 在 k 之后起作用。

猜你喜欢

转载自blog.csdn.net/qq_15821487/article/details/131067527