虽然通过调整启动大模型的参数,对生成效果的提升是有限的,但适当的调整,还是能满足一些常用的场景的~
一. 【max_length】 令牌生成最大数
用于控制生成文本的最大长度,默认为 20。它的值对应于输入提示的长度加上max_new_tokens。
如果同时设置了max_new_tokens,则它的效果将被覆盖。
例如,在使用ChatGLM3大模型的时候,如果设置这个参数为2048,一旦你请求的上下文长度超过这个数值,
服务会直接抛出如下图的异常。
二.【min_length】令牌生成最小数
控制生成序列的最小长度,具体使用方式跟max_length类似
三.【repetition_penalty】 重复处罚的参数
1.0意味着没有惩罚
四.【temperature】输出答案的创造力发散程度
temperature 介于 0 和 1 之间,用于决定模型输出的 "创造力"。值越高,对相似问题的回答越多样化。
值越低,输出越确定性。