想学习AI，还是需要从头到尾跑一边流程，最近看到这个项目 minimind, 我也记录下学习到的东西，需要结合项目的readme看。

1、github链接

https://github.com/jingyaogong/minimind?tab=readme-ov-file

2、硬件环境：英伟达4070ti

3、软件环境：

1、使用conda环境

conda create --name minimind python=3.9

2、python==3.9
3、torch版本安装方式：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

官网：https://pytorch.org/

4、安装英伟达显卡驱动

5、安装cuda版本：12.1

6、按照readme的说法，下载了四个数据集文件

执行python命令：

python data_process.py： 这一步具体做什么还在看，猜测就是按照特定的策略从超大文本预料当中获取自己需要的语料。

python 1-pretrain.py： 这一步开始训练，耗费时间太长了，2个小时连一个batch都没有跑完，我就没有训练完，就截个图看看：

学习参考资料

别人的一些学习心得：
https://github.com/jingyaogong/minimind/issues/26

B站大佬解释：
https://www.bilibili.com/video/BV1Sh1vYBEzY?spm_id_from=333.788.player.player_end_recommend_autoplay&vd_source=73f0f43dc639135d4ea9acffa3ad6ae0

推荐在线显卡租赁市场：