如果你对MindSpore感兴趣,可以关注昇思MindSpore社区
大模型平台
平台说明
昇思大模型平台
旨在为AI学习者和开发者提供在线学习的项目、模型、大模型体验和数据集的平台。我们也添加了各领域的经典数据集来帮助学习者解决AI学习过程中的一系列难题, 如高质量的数据集不易获得,以及本地难以使用大体量数据集进行模型训练等。为用户提供多种业务场景的支持。
本文将引导用户对该平台的基础功能进行一个快速浏览, 以便用户了解该平台的主要功能。
快速开始
我们的平台提供了四大模块,分别是:
项目模块:覆盖多领域任务,体验全流程开发,支持用户在线训练和推理可视化,可创建自己的项目空间。
模型模块:覆盖全领域主流模型,可体验MindSpore大模型推理API,用户既可下载公开的预训练模型,也可以上传自行训练的模型文件。
大模型模块:在线体验预训练超大模型任务。
数据集模块:在数据集仓库中,你既可以下载公开的数据集,也可以上传合规的数据集。
鼠标点击头像栏按钮即可快速进入个人中心:
平台内容
平台主要有项目、模型、数据集、三大部分,
- 项目:覆盖多领域任务,体验全流程开发,支持用户在线训练和推理可视化,可创建自己的项目空间。
- 模型:覆盖全领域主流模型,可体验MindSpore大模型推理API,用户既可下载公开的预训练模型,也可以上传自行训练的模型文件。
- 大模型:在线体验预训练超大模型任务。
- 数据集:在数据集仓库中,你既可以下载公开的数据集,也可以上传合规的数据集。
昇思大模型平台
为使用者预置华为AI Mindspore深度学习开发框架点击即可配置开发环境。
昇思大模型平台
:让AI学习更简单!
登录昇思大模型平台:https://xihe.mindspore.cn/projects ,选择在线编程进行体验
启动Ascend
进入后左侧有相关目录可以进行学习参考
进入LLM原理和实践,可以查看到很多应用案例
应用体验
点击运行该案例,会逐步往下运行,运行结果需要等待
安装mindspore等包
如果import出错,请检查mindnlp与mindspore版本。该例子在python3.9 + mindspore2.3.1 + mindnlp0.4.0于2024.8.20的daily包能完整运行。
载入与处理数据集
载入tokenizer并添加token,用于标记开始(bos)、结束(eos)与填充(pad)。
由于原数据集没有验证集,故将原训练集重新划分为训练集与验证集
使用TrainArguments定义训练参数
设置训练与评估指标,训练时间较长,最后根据数据集计算出结果
训练时间较长,这里等待后出结果