一、目的
主要梳理一下大模型的相关概念,并在此基础上,部署安装最基础的AI运行环境,以达到输出AI领域的helloworld。
总的来说如图:
按照从下往上的顺序来理解,也是从下到上的顺序来安装部署。
规则1 注意每个层级的安装版本,上层的版本由下层版本决定
比如CUDA的版本,需要看显卡安装了什么版本的驱动,然后CUDA的版本不能高于这个驱动的版本。
这个比较好理解,CUDA、PyTorch都有向下兼容性。比如显卡支持版本12,你只要不超过版本12,那么显卡都能支持你去使用,所以CUDA的版本可以小于等于12。PyTorch同理。
二、环境
2.1 操作系统
以windows平台为基础,所以在文章中会有一些配置修改,主要是为了移除只在linux环境中存在的模块。
2.2 硬件和GPU支持
硬件是nvidia的显卡,使用CUDA的运行环境。
2.3 大模型
大模型选择的是国内开源大模型:chatglm3-6b和qwen2-7b,主要还是硬件和钞票所限,所以没有选择参数很大的版本。
最开始选择chatglm2-6b是因为还不知道此版本没有function call,当然多安装几个大模型后就会发现,大模型的部署和使用方式,大同小异,通过安装来熟悉一下,也挺好。所以并没有删除这个版本。
三、文章列表
【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python
【AI基础】第一步:安装python开发环境-conda篇_minicode怎么换虚拟环境
【AI基础】第二步:安装AI运行环境
【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b
【AI基础】第四步:保姆喂饭级-langchain+chatglm2-6b
【AI基础】第五步:纯天然保姆喂饭级-安装并运行chatglm3-6b