Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本：

• CodeLlama - 70B，基础代码模型；
• CodeLlama - 70B - Python，专门面向 Python 的 70B；
• Code Llama - 70B - Instruct 70B，它针对理解自然语言指令进行了微调。

Code Llama 基于 Llama 2 构建，可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初，Meta 表示，Code Llama 的开源协议与 Llama 2 一样，免费用于研究以及商用目的，Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本，参数量分别为 7B、13B 和 34B。并且支持多种编程语言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括：

• Code Llama，基础代码模型；
• Code Llama-Python，Python 微调版；
• Code Llama-Instruct，自然语言指令微调版。

其中，后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B，在代码任务上又提升了一个台阶。

Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成，托管在代码存储库 Hugging Face 上。

Meta 表示，其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中，Code Llama 70B 仍然存在明显不足。

比如有人发现，对于生成质数的请求，Code Llama 70B 无法完成：

小扎官宣Code Llama重量级更新，新增70B版本，但还有能力限制 - AI新智界