本文来自DataLearnerAI官方网站:ChatGPT 3.5只有200亿规模的参数?最新微软的论文暴漏OpenAI的ChatGPT的参数规模远低于1750亿! | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051698672594665
2022年11月底发布的ChatGPT是基于OpenAI的GPT-3优化得到的可以进行对话的一个产品。直到今年更新到3.5和4之后,官方分为两个产品服务,其中ChatGPT 3.5是基于gpt-3.5-turbo打造,免费试用。因此,几乎所有人都自然认为这是一个与GPT-3具有同等规模参数的大模型,也就是说有1750亿参数规模。但是,在10月26日微软公布的CodeFusion论文的对比中,大家发现,微软的表格里面写的ChatGPT 3.5只有200亿参数规模。
微软主要是描述新推出的CodeFusion代码大模型。在实验对比中,微软对比了他们的CodeFusion模型和不同模型在text-to-code结果的时候给出了下面这张图:
可以看到,微软将基于gpt-3.5-turbo的ChatGPT参数为200亿,而基于text-davinci-003的GPT-3标注着1750亿参数。