在Meteor Lake平台上使用NPU进行AI推理加速

在Meteor Lake平台上，英特尔通过神经处理单元 (NPU) 将人工智能直接融入芯片中，实现桌面电脑平台的AI推理功能。神经处理单元 (NPU) 是一种专用人工智能引擎，专为运行持续的人工智能推理工作负载而设计。与即将推出的支持深度人工智能集成的 Windows 版本（预计将于 2024 年夏季推出）搭配，Meteor Lake 可能预示着人工智能 PC 时代的开始，计算机可以利用人工智能来简化我们的计算体验，并使笔记本电脑和台式机的功能呈指数级增长。本文主要介绍在Ubuntu系统上如何启用NPU功能加速AI推理的运算。 

1. 安装ubuntu22.04

按照Ubuntu官网的文档，先安装好Ubuntu 22.04。如果已经安装好，则直接跳过此步骤。https://ubuntu.com/download/desktop

2. 升级内核

参考Intel OpenVINO文档，在Ubuntu里启用NPU功能需要Linux kernel版本在6.6以上。因为Ubuntu 22.04 apt源中没有6.5以上的内核，所以到mainline下载，选择最新的6.7.1。

2.1 下载Kernel 6.7.1

mkdir -p /tmp/mtl
cd /tmp/mtl
wget https://kernel.ubuntu.com/mainline/v6.7.1/amd64/linux-headers-6.7.1-060701-generic_6.7.1-060701.202401201133_amd64.deb
wget https://kernel.ubuntu.com/mainline/v6.7.1/amd64/linux-headers-6.7.1-060701_6.7.1-060701.202401201133_all.deb
wget https://kernel.ubuntu.com/mainline/v6.7.1/amd64/linux-image-unsigned-6.7.1-060701-generic_6.7.1-060701.202401201133_amd64.deb
wget https://kernel.ubuntu.com/mainline/v6.7.1/amd64/linux-modules-6.7.1-060701-generic_6.7.1-060701.202401201133_amd64.deb

2.2 安装6.7.1 kernel packages

sudo dpkg -I *.deb

可能会出现如下的报错，linux-headers-6.7.1-060701-generic_6.7.1-060701.202401201133_amd64.deb安装报错。可忽略，不影响下面的使用。

2.3 重启并验证kernel里NPU的支持

sudo reboot
sudo apt-get install --fix-broken
sudo dmesg | grep vpu

能看到intel_vpu的字样说明内核能识别NPU，在内核中可能是延续以前定义，NPU被叫做VPU。而在OpenVINO中则被叫做NPU。

3. 安装Intel compute-runtime

3.1 添加intel的apt源

wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | \
sudo gpg --dearmor --output /usr/share/keyrings/intel-graphics.gpg
echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy client" | \
sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
sudo apt update

执行完上述的命令后，会创建/etc/apt/source.list.d/intel-gpu-jammy.list文件，内容如下：

deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy client

3.2 下载Intel compute-runtime及其它依赖组件

wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.15770.11/intel-igc-core_1.0.15770.11_amd64.deb
wget https://github.com/intel/intel-graphics-compiler/releases/download/igc-1.0.15770.11/intel-igc-opencl_1.0.15770.11_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/23.52.28202.14/intel-level-zero-gpu-dbgsym_1.3.28202.14_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/23.52.28202.14/intel-level-zero-gpu_1.3.28202.14_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/23.52.28202.14/intel-opencl-icd-dbgsym_23.52.28202.14_amd64.ddeb
wget https://github.com/intel/compute-runtime/releases/download/23.52.28202.14/intel-opencl-icd_23.52.28202.14_amd64.deb
wget https://github.com/intel/compute-runtime/releases/download/23.52.28202.14/libigdgmm12_22.3.11_amd64.deb

3.3 安装Intel compute-runtime

sudo dpkg -i *.deb

如果安装出现问题，请按照错误提示安装所需的其它依赖项，例如：

apt install ocl-icd-libopencl1

比较新的硬件最好使用compute-runtime最新的release，但有时最新的有可能无法匹配安装的系统，可以安装能用的最新版本。如果以后硬件平台驱动成熟可以完全按intel官网教程安装驱动。

3.4 验证NPU驱动安装成功

lsmod | grep vpu

显示如下的内容则表示NPU驱动加载成功。

在/lib/firmware/intel/vpu目录下会有MTL NPU firmware的bin文件

ls /lib/firmware/intel/vpu/

此目录里会有如下的bin文件：mtl_vpu_v0.0.bin  vpu_37xx_v0.0.bin

NPU会使用如下的设备文件

ls -l /dev/accel/
crw------- 1 root root 261, 0  2月  7 11:03 accel0

3.5 安装iGPU相关驱动

集成显卡也需要安装compute-runtime才能正常加速，具体可以参考此文档。

sudo apt install -y \
  intel-opencl-icd intel-level-zero-gpu level-zero \
  intel-media-va-driver-non-free libmfx1 libmfxgen1 libvpl2 \
  libegl-mesa0 libegl1-mesa libegl1-mesa-dev libgbm1 libgl1-mesa-dev libgl1-mesa-dri \
  libglapi-mesa libgles2-mesa-dev libglx-mesa0 libigdgmm12 libxatracker2 mesa-va-drivers \
  mesa-vdpau-drivers mesa-vulkan-drivers va-driver-all vainfo hwinfo clinfo

3.6 验证iGPU驱动安装成功

成功安装iGPU驱动后系统会存在以下设备文件：

ls /dev/dri/render*
/dev/dri/renderD128

3.7 NPU/iGPU驱动权限设置

如果当前用户要使用npu和gpu加速，必须保证对以上设备节点的访问权限。如果没有正确设置访问权限时访问NPU则会出现以下错误：

设置NPU访问权限一般可以用groupadd添加一个group，这里是mtl_npu，usermod -aG 把用户加到组中，然后chown和chmod赋予设备文件组访问权。

sudo groupadd mtl_npu
sudo usermod -aG mtl_npu xxx # user name for NPU acceleration
groups # 查看group

chown改变文件所属的用户和组：

sudo chown root:mtl_npu /dev/accel/accel0
sudo chmod 660 /dev/accel/accel0

这里的660是赋予文件所属用户和组读写权限，因为当前用户属于mtl_npu组，而mtl_gpu组拥有对此文件的读写权限，所以当前用户拥有此文件的读写访问权限。

4. 安装OpenVINO 2023.3

4.1 下载与安装

访问OpenVINO官网，下载OpenVINO 2023.3.0。按照下面的链接安装OpenVINO：

https://docs.openvino.ai/2023.3/openvino_docs_install_guides_installing_openvino_from_archive_linux.html

安装的过程在OpenVINO的文档里写得非常详细，这里就不再赘述。

4.2 运行sample apps

cd openvino_dir/samples/cpp
./buildsample.sh

会在当前目录下生成openvino_cpp_samples_build目录。在此目录的/intel64/Release/下面有一些可执行的测试程序比如benchmark_app。运行这些程序即可进行sample验证。

cd ./intel64/Release
./benchmark_app

注意事项：目前版本的OpenVINO 2023.3在Python模式下不包含NPU plugin。尝试NPU功能请使用C++ sample applications。Python支持会在后续加入。

欢迎访问作者个人Blog原文：在Meteor Lake平台上使用NPU进行AI推理加速 - HY's Blog

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/387113.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【MySQL】索引事务

【MySQL】索引事务

MySQL索引事务 1. 索引1.1 概念1.2 作用1.3 使用场景1.4 使用1.5 案例 2. 事务2.2 事物的概念2.3 使用 3. 内容重点总结 1. 索引 1.1 概念 索引是一种特殊的文件，包含着对数据表里所有记录的引用指针。可以对表中的一列或多列创建索引， 并指定索引的类…
阅读更多...
ClickHouse--04--数据库引擎、Log 系列表引擎、 Special 系列表引擎

ClickHouse--04--数据库引擎、Log 系列表引擎、 Special 系列表引擎

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 1.数据库引擎1.1 Ordinary 默认数据库引擎1.2 MySQL 数据库引擎MySQL 引擎语法字段类型的映射 2.ClickHouse 表引擎3.Log 系列表引擎几种 Log 表引擎的共性是&#…
阅读更多...
Golang快速入门到实践学习笔记

Golang快速入门到实践学习笔记

Go学习笔记 1.基础 Go程序设计的一些规则 Go之所以会那么简洁，是因为它有一些默认的行为： 大写字母开头的变量是可导出的，也就是其它包可以读取 的，是公用变量；小写字母开头的就是不可导出的，是私有变量…
阅读更多...
Python算法题集_二叉树的最大深度

Python算法题集_二叉树的最大深度

Python算法题集_二叉树的最大深度 题104：二叉树的最大深度1. 示例说明2. 题目解析- 题意分解- 优化思路- 测量工具 3. 代码展开1) 标准求解【DFS自顶向下】2) 改进版一【DFS自底向上】3) 改进版二【BFS】 4. 最优算法 本文为Python算法题集之一的代码示例 题104&am…
阅读更多...
现代化端口扫描工具RustScan

现代化端口扫描工具RustScan

今天是大年初五，喜迎财神 ，祝大家✔️顺风顺水 ✔️诸事如意 ✔️财源滚滚 ✔️大吉大利 顺便提一下，老苏的博客启用了新域名： https://laosu.tech 什么是 RustScan ？ RustScan 是一款现代化的端口扫描器。能快速找到端…
阅读更多...
数学实验第三版（主编：李继成 赵小艳）课后练习答案（九）（1）（2）

数学实验第三版（主编：李继成 赵小艳）课后练习答案（九）（1）（2）

实验九：线性函数极值求解 练习一 1.求解线性规划问题： （1）max z3,s.t. clc;clear; %采用软件解法 c[-3,-1]; a[-1,1;1,-2;3,2]; b[2;2;14]; [x,min]linprog(c,a,b)找到最优解。 x 4 1 min -13 题上要求的是最大值&#…
阅读更多...
【从零到Offer】MySQL最左匹配

【从零到Offer】MySQL最左匹配

前言 ​ 相信大家在日常开发时，也经常能听到“最左匹配”这个词，那么什么是最左匹配呢？本篇文章就带你一起探索“最左匹配”的神奇秘密。 什么是最左匹配 ​ 最左匹配，通常指的是最左前缀匹配原则，即MySQL在检索数据…
阅读更多...
c++ Qt 数据库操作

c++ Qt 数据库操作

1、准备工作 Qt本身并没有数据库功能，但是Qt支持调用其他主流的数据库产品，并且这些数据库产品统一了Qt的接口，实际上是一种数据库的中间件。 Qt支持以下数据库类型： 嵌入式常用的数据库是sqlite3，本体只有几兆大小。非…
阅读更多...
UnityShader玉石效果

UnityShader玉石效果

效果： 代码： Shader "MyShader/Jade" {Properties{_DiffuseColor("漫反射颜色",color)(1,1,1,1)_ThicknessMap("厚度图",2d)"white"{}_AddColor("叠加颜色",color)(1,1,1,1)_CubeMap("环境贴图…
阅读更多...
java实现多级目录树(递归实现)

java实现多级目录树(递归实现)

一.应用场景 有时候需要我们后台给前台传树结构的数据，要怎么查询? 怎么返回数据呢？ 二.数据库表设计以及数据内容(以部门举例) id 主键 parent_id 父级部门id depart_name 部门名词 sort 部门排序三.实体类 Data public…
阅读更多...
Qt 软件封装与打包

Qt 软件封装与打包

1. Qt 软件封装 1、首先以 release 方式进行编译，将生成的 CloudOne.exe 文件复制到 D:\CloudApp 文件夹（自行创建） 2、打开 Qt 命令行工具（如下图所示），并按顺序输入如下指令 cd D:\CloudApp windeployq…
阅读更多...
Spring Boot 笔记 019 创建接口_文件上传

Spring Boot 笔记 019 创建接口_文件上传

1.1 创建阿里OSS bucket OSS Java SDK 兼容性和示例代码_对象存储(OSS)-阿里云帮助中心 (aliyun.com) 1.2 编写工具类 package com.geji.utils;import com.aliyun.oss.ClientException; import com.aliyun.oss.OSS; import com.aliyun.oss.OSSClientBuilder; import com.aliyun…
阅读更多...
每日一题——数字翻转

每日一题——数字翻转

题目; 这道题看似是很简单的回文数 实则就是很简单的回文数 但是需要注意的一点是负数 可以在开头就进行判断&#xff0c;如果N<0的话就令N-N&#xff0c;将所有数都转成正数就好办了 上代码&#xff1a; #include <iostream> #include<string> #include<…
阅读更多...
算法沉淀——哈希算法（leetcode真题剖析）

算法沉淀——哈希算法（leetcode真题剖析）

算法沉淀——哈希算法 01.两数之和02.判定是否互为字符重排03.存在重复元素04.存在重复元素 II05.字母异位词分组 哈希算法&#xff08;Hash Algorithm&#xff09;是一种将任意长度的输入&#xff08;也称为消息&#xff09;映射为固定长度的输出的算法。这个输出通常称为哈希…
阅读更多...
Spring Security学习（四）——登陆认证（包括自定义登录页）

Spring Security学习（四）——登陆认证（包括自定义登录页）

前言 和前面的文章隔了很长时间才更新Spring Security系列&#xff0c;主要原因一个是之前太忙了&#xff0c;把项目都忙完了&#xff0c;赶上春节假期&#xff0c;就慢慢研究。Spring Security的体系非常复杂&#xff0c;一口吃不了热豆腐&#xff0c;没办法速成&#xff0c;…
阅读更多...
微服务—ES数据同步

微服务—ES数据同步

目录 数据同步 问题分析 方案1. 同步调用 方案2. 异步通知 方案3. 监听binlog​编辑 各方案对比 案例——利用MQ实现数据同步 步骤1. 导入hotel-admin项目 步骤2. 声明交换机、队列 步骤3. 发送MQ消息 步骤4. 接收MQ消息 步骤5. 测试同步功能 数据同步 elasticsea…
阅读更多...
八、键盘响应

八、键盘响应

之前博文格式已经固定&#xff0c;这里就不在赘述了&#xff0c;直接把核心代码进行解释一下即可&#xff0c;仅作为小笔记而已 项目实现功能&#xff1a; 按下键盘0&#xff0c;显示原始图像 按下键盘1&#xff0c;显示原始图像的灰度图 按下键盘2&#xff0c;显示原始图像的…
阅读更多...
Python-To-Do-List

Python-To-Do-List

今天跟着油管学习创建了简单的代办事项列表应用程序&#xff0c;使用了python的tkinter库来制作图形用户界面&#xff08;GUI&#xff09; 1. 导入tkinter库 python Copy code import tkinter from tkinter import * 这两行导入了tkinter模块&#xff0c;它是Python的标准GUI库…
阅读更多...
六、Redis之数据持久化及高频面试题

六、Redis之数据持久化及高频面试题

6.1 数据持久化 官网文档地址&#xff1a;https://redis.io/docs/manual/persistence/ Redis提供了主要提供了 2 种不同形式的持久化方式&#xff1a; RDB&#xff08;Redis数据库&#xff09;&#xff1a;RDB 持久性以指定的时间间隔执行数据集的时间点快照。AOF&#xff0…
阅读更多...
django CBV 与 DRF APIView源码分析

django CBV 与 DRF APIView源码分析

django CBV源码分析 在django框架中&#xff0c;视图层中的逻辑即可以使用函数处理也可以使用类进行处理&#xff0c;如果在视图层中使用函数处理请求&#xff0c;就是FBV(function base views)&#xff0c;如果在视图层中使用类处理请求&#xff0c;就是CBV(class base views…
阅读更多...
最新文章

Copyright @ 2022~2023