点击蓝字
关注我们
作者:Adrian Boguszewski,英特尔 AI 软件布道师
武卓博士,英特尔 AI 软件布道师
什么是 AI PC,为什么它有一个特殊的名字?
AI PC 是时下 PC 领域的一个热门话题。与普通 PC 不同,AI PC 配备了先进的硬件,例如强大的 GPU,可以超快地运行具有生成式AI或大语言模型等繁重计算要求的 AI 模型推理,更重要的是,它还具有称为神经处理单元 (NPU) 的专用 AI 芯片。NPU 针对低功耗进行了优化,同时保持了高计算性能,这使其在处理特定 AI 工作负载方面表现出色,例如背景模糊、噪声去除等运行连续推理而不会快速耗尽电池电量的AI推理任务。因此,基本上,如果您需要一台能够处理繁重的 AI 工作或能够更有效地管理复杂的多线程 AI 应用的计算机,那么配备了英特尔®酷睿™Ultra处理器的 AI PC 就是为您打造的。有关这款 AI PC 的更多信息,请参阅我们的文章 https://medium.com/openvino-toolkit/ai-is-coming-to-the-pc-ai-pc-essentials-ba2aa8686a59 。
在 OpenVINO™ 中验证设备可用性
OpenVINO™ 是英特尔推出的一款针对AI模型进行优化、推理加速以及快速部署的开源 AI 工具套件。针对配备了英特尔®酷睿™Ultra 处理器的 AI PC ,可以帮助 AI 模型在 CPU、GPU 以及 NPU 上进行快速部署以及推理加速。接下来,我们将利用 OpenVINO™ 来验证AI PC 上这些硬件推理设备的的可用性。在本文中,我们将使用 Ubuntu 24.04,因为这是最新的 Ubuntu LTS 版本。
让我们从全新的 Ubuntu 安装开始。然后,创建一个虚拟环境,并使用以下命令安装 OpenVINO:
python3 -m venv venv
source venv/bin/activate
pip install openvino
在 Python 解释器中运行此代码,以验证哪些设备可供您在AI推理时使用。
import openvino as ov
core = ov.Core()
print(core.available_devices)
此时,你应该只能看到[‘CPU’]这个设备,意味着你目前只能访问 CPU。这个可不是什么好事!毕竟,你的笔记本电脑也有 GPU 和 NPU!那么,让我们解决这个问题。
如何在 Linux 上启用所有设备
我们将从 GPU 开始。第一步是安装所有驱动程序和必要的软件包。为此,您应该添加一个使用 GPG 密钥签名的 Intel 软件包存储库。还有其他方法(您可以在https://dgpu-docs.intel.com/driver/client/overview.html查看它们),但这种方法对于安装和未来更新来说是最简单的。
sudo apt update
sudo apt install -y gpg-agent wget
wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg
echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy client" | sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
sudo apt update
好的,是时候安装 GPU 推理所需的一切了。
sudo apt install -y \
intel-opencl-icd intel-level-zero-gpu level-zero \
intel-media-va-driver-non-free libmfx1 libmfxgen1 libvpl2 \
libegl-mesa0 libegl1-mesa libegl1-mesa-dev libgbm1 libgl1-mesa-dev libgl1-mesa-dri \
libglapi-mesa libgles2-mesa-dev libglx-mesa0 libigdgmm12 libxatracker2 mesa-va-drivers \
mesa-vdpau-drivers mesa-vulkan-drivers va-driver-all vainfo hwinfo clinfo
完成此步骤后重新启动。
sudo reboot
让我们再次运行下面的 Python 代码。
import openvino as ov
core = ov.Core()
print(core.available_devices)
您现在应该看到的是 CPU 和 GPU。因此,唯一缺少的设备是 NPU。oneTBB 是 intel-driver-compiler-npu 的依赖项,因此必须先安装。
sudo apt install libtbb12
之后,我们需要下载并安装 NPU 驱动程序和所有相关软件包。
wget https://github.com/intel/linux-npu-driver/releases/download/v1.5.0/intel-driver-compiler-npu_1.5.0.20240619-9582784383_ubuntu22.04_amd64.deb
wget https://github.com/intel/linux-npu-driver/releases/download/v1.5.0/intel-fw-npu_1.5.0.20240619-9582784383_ubuntu22.04_amd64.deb
wget https://github.com/intel/linux-npu-driver/releases/download/v1.5.0/intel-level-zero-npu_1.5.0.20240619-9582784383_ubuntu22.04_amd64.deb
wget https://github.com/oneapi-src/level-zero/releases/download/v1.17.2/level-zero_1.17.2+u22.04_amd64.deb
sudo dpkg -i *.deb
我们还需要为我们的加速器(NPU)分配正确的组和权限,并将我们的用户添加到渲染组中(请将<your-user-name>替换为您的用户名)。
sudo bash -c "echo 'SUBSYSTEM==\"accel\", KERNEL==\"accel*\", GROUP=\"render\", MODE=\"0660\"' > /etc/udev/rules.d/10-intel-vpu.rules"
sudo usermod -a -G render <your-user-name>
最后一次重新启动以应用所有更改...
sudo reboot
让我们再次检查可用的设备。
import openvino as ov
core = ov.Core()
print(core.available_devices)
CPU、GPU 和 NPU 现在应该可见了!可以开始愉快地用所有设备运行AI推理了!
如果对 NPU 可见性有任何问题,请访问此https://github.com/intel/linux-npu-driver/releases/tag/v1.5.0.
通知及免责声明
性能因使用情况、配置和其它因素而异。如需了解详情,请访问https://edc.intel.com/content/www/us/en/products/performance/benchmarks/overview/。
性能结果基于截至配置中显示的日期的测试,可能无法反映所有公开可用的更新。有关配置详细信息,请参阅备份。没有任何产品或组件可以绝对安全。您的成本和结果可能会有所不同。英特尔技术可能需要支持的硬件、软件或服务激活。
© 英特尔公司。英特尔、英特尔徽标和其他英特尔标志是英特尔公司或其子公司的商标。
---------------------------------------
*OpenVINO and the OpenVINO logo are trademarks of Intel Corporation or its subsidiaries.
-----------------------------
OpenVINO 中文社区
微信号 : openvinodev
B站:OpenVINO中文社区
“开放、开源、共创”
致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动,促进人工智能开发者之间的交流学习。
○ 点击 “ 在看 ”,让更多人看见