微软推出了最新的小型开源语言模型 Phi-2。该模型只有 27 亿个参数,却能超过比它大 25 倍的模型的性能。Phi-2 是微软 Phi 项目的一部分,旨在制作小而强大的语言模型。该项目包括 13 亿参数的 Phi-1,据称在 Python 编码方面实现了最先进的性能,以及擅长常识推理和语言理解的 Phi-1.5。Phi-2 比之前的版本更大,但性能更强。
它能实现与参数少于 130 亿个模型类似的最先进的性能。研究人员表示,与之前的 Phi 模型相比,该AI模型在输出方面更安全,并且比一些现有模型在毒性和偏差方面表现更好。为了提高 Phi 的性能,微软研究人员专注于使用 “教科书质量” 的数据进行训练,并利用合成数据集来支持模型。Phi-2 在各种基准测试中的表现优于 Meta 的 Llama 2-7b 和 Mistral-7B,甚至在编码方面超过了 Llama 2 的 700 亿参数版本。微软表示,Phi-2 的小尺寸使其成为研究人员的理想游乐场,可用于探索机械可解释性、安全性改进或对各种任务的微调实验。
微软研究人员还将 Phi-2 与谷歌新推出的 Gemini Nano 进行了测试,结果表明 Phi-2 在流行基准测试中的得分超过了 Gemini Nano。Phi-2 现在可以通过 Azure AI Studio 模型目录和 Hugging Face 获得。但需要注意的是,Phi-2 不能用于商业用途,只能用于非商业、研究导向的活动。任何试图以获取商业利益为目的的行为都将违反许可条款。