文章介绍

         2月26日，高通在2024年世界移动通信大会（MWC2024）上发布高通AI Hub， AI Hub 简化了AI 模型部署到边缘设备的过程。可以利用AI-hub云端托管 Qualcomm 设备上，在几分钟内完成模型的优化、验证和部署。本文以Pytorch版本的MobileNet模型为例子，介绍如何使用AI Hub。

更多关于Qualcomm AI Hub的入门指南，可以参考文档 Getting started — qai-hub documentation

第一步. 安装环境

建议使用Miniconda来管理您的python版本和环境。

Installing Miniconda — Anaconda documentation

1. Python环境

在您的机器上安装miniconda。

Windows：安装完成后，从「开始」菜单打开Anaconda Prompt。

macOS/Linux：安装完成后，打开一个新的shell窗口。

为Qualcomm AI Hub设置一个环境：

conda create python=3.8 -n qai_hub

conda activate qai_hub

2. 安装qai-hub客户端

pip3 install qai-hub

3. 登录

登陆到 Qualcomm AI Hub

Home - Qualcomm AI Hub

使用您的高通ID登录，登录后导航Account -> Settings -> API Token。生成API token后进入下一步配置您的客户端。

4. 配置API Token

接下来，在终端中使用以下命令使用API令牌配置客户端：

qai-hub configure --api_token INSERT_API_TOKEN

INSERT_API_TOKEN 是你在第3步中生成的token

您可以通过获取可用设备的列表来检查API令牌是否正确安装。为此，您可以在Python终端中键入以下内容：

import qai_hub as hub

hub.get_devices()

第二步. 模型编译部署（PyTorch）

设置好Qualcomm AI Hub环境后，我们演示如何模型给到AI-hub托管的云端设备，完成模型的编译与优化。

首先，安装此示例的依赖项：

pip3 install "qai-hub[torch]"

注意：如果任何代码段因API身份验证错误而失败，则表示您没有安装有效的API Token。请参阅安装说明以了解如何设置。

如果任何代码段因SSL:CERTIFICATE_VERIFY_FAILED错误而失败，则安装了SSL拦截和流量检查工具。请向您的IT部门咨询如何为Python pip和Python请求库设置证书的说明。

提交MobileNet v2网络的性能分析：

from typing import Tuple

import torch

import torchvision

import qai_hub as hub

# Using pre-trained MobileNet

torch_model = torchvision.models.mobilenet_v2(pretrained=True)

torch_model.eval()

# Trace model

input_shape: Tuple[int, ...] = (1, 3, 224, 224)

example_input = torch.rand(input_shape)

pt_model = torch.jit.trace(torch_model, example_input)

# Profile model on a specific device

compile_job, profile_job = hub.submit_compile_and_profile_jobs(

    pt_model,

    name="MyMobileNet",

    device=hub.Device("Samsung Galaxy S23 Ultra"),

    input_specs=dict(image=input_shape),

)

这将提交一个编译工作，然后提交一个分析工作，打印这两个工作的URL。可以在

https://app.aihub.qualcomm.com/jobs/ 上查看您的所有作业的结果。

也可以通过编程方式查询工作的状态：

status = profile_job.get_status()

print(status)

您可以使用下面的代码段访问工作的结果。主要有三个部分

Profile：JSON格式的概要文件的结果。

Target Model：已优化的模型可供部署。

Results：包含所有工件（包括日志）的文件夹。

请注意，这些正在阻止等待工作完成的API调用：

#将配置文件结果下载为JSON（blocking call）

profile = profile_job.download_profile()

print(profile)

#下载优化模型（blocking call）

model = profile_job.model.download()

print(model)

#将结果下载到当前目录（blocking call）

profile_job.download_results(".")

 作者：高通工程师，戴忠忠（Zhongzhong Dai）