人工智能机器学习系统技术要求

一术语和定义

1.1机器学习系统 machinelearningsystem

能运行或用于开发机器学习模型、算法和相关应用的软件系统。

1.2机器学习框架 machinelearningframework

利用预先构建和优化好的组件集合定义模型,实现对机器学习算法封装、数据调用处理和计算资源使用的软件库。

1.3机器学习服务 machinelearning service

利用机器学习模型算法及其系统作为工具为组织或个人提供一种其期望的便利的方式价值的IT服务。

注:机器学习算法服务是机器学习服务的一种，用于接受用户的应用请求，对输入数据进行处理,返回处理结果。

1.4模型编译器 model compiler

将机器学习模型定义的计算过程转换为能在特定人工智能计算资源上执行的代码序列的计算机程序。

注:本文件中定义的模型编译器仅用于机器学习领域。

1.5资源池 resource pool

各类系统资源的集合体。

1.6作业 job

机器学习训练或推理任务的逻辑组合。

注:一个作业属于且仅属于某一个资源池，一个作业包括一个或多个任务。

1.7任务 task

实现特定目标所需要的活动。

注:任务用于完成一个相对独立的业务功能，一个任务属于且仅属于一个作业。

二系统框架

机器学习系统包含机器学习运行时组件，机器学习框架，机器学习服务组件，工具和运维管理。提供机器学习应用的开发，训练，部署，运行和管理能力，机器学习系统框架图如下图

2.1机器学习运行组件

机器学习运行时组件是为保障机器学习应用按照预期在特定机器学习系统上运行所必需的软件环境,包括设备驱动软件和算子库。

设备驱动软件负责机器学习各种类型任务的调度与执行,包括为机器学习任务分配提供资源管理通道,为应用提供存储管理、设备管理、执行流管理、事件管理和核函数执行功能。算子库提供机器学习算法在设备执行调度的最小计算单元,包括面向机器学习计算任务的通用算子和面向特定设备计算加速任务的优化算子。

2.2 机器学习框架

机器学习框架包含模型训练,模型推理及算法库三个模块,为机器学习应用开发、优化、验证和部署过程提供工具支撑。

模型训练用于机器学习应用设计开发阶段,该模块提供自动微分、损失函数和优化器等调用接口,提供模型定义、自动分布式并行训练和多硬件后端适配等能力。

模型推理用于机器学习应用的验证部署阶段,该模块提供模型加载、微调、性能评估和转换等接口,提供模型部署及推理加速等能力。

算法库面向机器学习训练、推理和模型性能优化任务,提供预先优化好的算法,以封装函数库的方式供用户调用,提升机器学习模型开发、优化、验证和部署的效率。

2.3 机器学习服务组件

机器学习服务是人工智能行业应用访问、利用机器学习能力和资源的主要方式,机器学习服务组件支持工作流管理、通用算法模板和应用部署。机器学习系统通过服务组件,进行服务部署、运行环境准备、运行状态汇报和服务容错等,并提供服务调用接口,供各领域上层应用调用。为满足应用场景的需求,机器学习系统可提供文本、图像、音频和视频及其他类型智能化操作的算法服务。

2.4 工具

2.4.1 数据管理工具

数据管理工具提供人工智能数据的生存周期,包含定义、采集、预处理、模型构建、系统部署、系统维护,数据退出和系统退出的管理能力。提供各类数据源,包括结构化,半结构化和非结构化数据的接入、标注和质量控制,中间数据的管理、最终数据的管理、元数据的管理和数据使用溯源等能力,支持对海量结构化、非结构化数据的预处理与特征挖掘。