ChatGLM3本地部署运行（入门体验级）

文章目录

前言
零硬件
小白基知填坑
- eForce Game Ready驱动程序
- CUDA常用命令
环境准备
- NVIDIA驱动更新
- CUDA安装
部署
补充内容
体验

前言

学习自B站up主技术爬爬虾，感谢up主提供的整合包！

零硬件

6GB以上显存的NVIDIA显卡（品质越高，效果越好）

小白基知填坑

eForce Game Ready驱动程序

使用NVIDIA GeForce Game Ready驱动程序可以通过提供更好的图形处理能力和稳定性来增强AI任务的性能。
GeForce Game Ready驱动程序的功能：

性能优化：驱动程序通过针对不同的AI任务优化图形处理单元（GPU）的使用，提供更高效的计算能力，从而提高AI学习和大模型部署的性能。
兼容性支持：驱动程序经过测试和优化，以确保其与最新的AI框架和库以及相关软件的兼容性。这有助于确保您可以顺利运行和部署AI模型。
稳定性和可靠性：GeForce Game Ready驱动程序经过严格测试，以确保在AI任务中提供稳定的运行环境，减少崩溃或错误的可能性。
额外的功能：驱动程序可能包含一些额外的功能或工具，例如GPU性能监控、优化设置和调试工具，可帮助您更好地管理和优化AI任务的执行。

CUDA常用命令

当使用CUDA进行并行计算时，可以使用一些基本的CUDA命令来管理和监控GPU设备。

nvcc：用于编译CUDA源代码并生成可执行文件。
- 它是CUDA的编译器驱动程序，可以接受CUDA源代码文件（.cu）作为输入，并生成可在GPU上执行的二进制文件。
nvprof：用于性能分析和性能调优。
- 它可以跟踪CUDA应用程序的运行时间和内存使用情况，并提供详细的性能指标和分析报告，帮助开发者找到性能瓶颈并优化CUDA代码。
nvcc -arch：用于指定CUDA代码的目标架构。
- 该命令选项后面可以跟随所需的GPU架构代号，例如sm_30（Kepler架构）或sm_61（Pascal架构），以确保CUDA代码能够在指定的GPU上正确编译和运行。
nvidia-smi：用于监视和管理GPU设备。
- 该命令提供了有关GPU的详细信息，如驱动程序版本、显卡型号、温度、功耗以及当前运行的进程列表等。此外，nvidia-smi还提供了一些选项，如设置GPU的功耗限制等。
cuda-memcheck：用于内存错误检测。
- 检测CUDA应用程序中的内存访问错误、泄漏以及其他内存相关问题。通过运行cuda-memcheck命令，可以检查CUDA应用程序的内存健康状况并提供详细的错误报告。
cuda-gdb：用于CUDA应用程序的调试。
- cuda-gdb是一个支持CUDA的调试器，可以通过命令行界面来调试CUDA代码。它提供了一些常见的调试功能，如断点、变量查看、单步执行等。

环境准备

NVIDIA驱动更新

打开GeForce Experience软件，选择更新NVIDIA GeForce Game Ready驱动程序

在这里插入图片描述

CUDA安装

CUDA下载地址
CUDA（Compute Unified Device Architecture）是由NVIDIA开发的一种并行计算平台和编程模型。CUDA驱动程序是安装在计算机上的软件，用于支持和管理使用CUDA技术的NVIDIA GPU。
CUDA驱动程序是一种支持和管理使用CUDA技术的NVIDIA GPU的软件。它提供了GPU管理、并行计算支持、性能优化和兼容性支持等功能，使开发者能够利用GPU的并行计算能力进行高性能的计算任务。

CUDA驱动程序的主要功能：

GPU管理：CUDA驱动程序负责识别和管理计算机中的NVIDIA GPU。它与操作系统交互，为每个GPU分配计算资源，并确保GPU与其他系统组件正确通信。
并行计算支持：CUDA驱动程序使开发者能够使用CUDA编程模型，通过并行计算在NVIDIA GPU上运行计算密集型任务。它提供了CUDA API和工具，使开发者能够编写并行代码，并在GPU上执行高性能计算。
GPU性能优化：CUDA驱动程序提供了一些功能和工具，用于优化GPU的性能。例如，它可以进行GPU频率调整、内存访问优化和并行任务调度，以最大程度地发挥GPU的计算能力。
兼容性支持：CUDA驱动程序与CUDA工具包共同工作，为开发者提供了对最新CUDA功能和库的支持。它确保CUDA驱动程序与使用CUDA编写的应用程序和库的兼容性，并提供与操作系统和其他驱动程序的适配。

在这里插入图片描述

安装完CUDA后，电脑会自动重启，重启后验证CURD的安装

nvidia-smi

Mon Nov 13 19:56:29 2023
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 546.01                 Driver Version: 546.01       CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                     TCC/WDDM  | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3060      WDDM  | 00000000:03:00.0  On |                  N/A |
|  0%   45C    P8              12W / 170W |    484MiB / 12288MiB |      4%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A      7724    C+G   ...ience\NVIDIA GeForce Experience.exe    N/A      |
|    0   N/A  N/A      8376    C+G   ....Search_cw5n1h2txyewy\SearchApp.exe    N/A      |
|    0   N/A  N/A      8880    C+G   C:\Windows\explorer.exe                   N/A      |
|    0   N/A  N/A      9360    C+G   ...GeForce Experience\NVIDIA Share.exe    N/A      |
|    0   N/A  N/A     10120    C+G   ...2txyewy\StartMenuExperienceHost.exe    N/A      |
|    0   N/A  N/A     11156    C+G   ...CBS_cw5n1h2txyewy\TextInputHost.exe    N/A      |
|    0   N/A  N/A     14492    C+G   ...__8wekyb3d8bbwe\WindowsTerminal.exe    N/A      |
+---------------------------------------------------------------------------------------+

结果分析：
1. 驱动程序版本：当前使用的NVIDIA驱动程序版本为546.01。
2. CUDA版本：当前使用的CUDA版本为12.3。
3. GPU信息：
  - NVIDIA GeForce RTX 3060显卡，该显卡处于工作状态（On），温度为45摄氏度，性能状态为P8（较低性能模式），功率使用率为12瓦，总体功率限制为170瓦。
  - 显存使用率为484MB/12288MB（4%），表示显存的使用情况较低。GPU利用率为0%，表示GPU当前未执行计算任务。
4. 进程信息：列出了当前正在使用GPU的进程列表。
  - 当前有以下进程正在使用GPU：NVIDIA GeForce Experience、Windows搜索、Windows资源管理器、NVIDIA Share、开始菜单体验宿主、文本输入宿主。