周五晚上老哥们儿hengzi给我打电话说有没有大模型相关的存储相关的设计，答：没有现成的，后来我甩过去一个TP,PP,DDP的文档。仔细想想也对，也不对。对的是，确实是存储，但是只有显存里的存储，不对的是其实他想问的是端到端的，主要还是磁盘上的存储

      然后我翻内网也没什么现成的，那没有我就自己写呗

     其实简单可以把大模型的端到端分成以上3个部分吧，如果按这个group去划分，每个部分需要的存储类型或者说磁盘类型区别还是挺大的

     这里面存的东西又有啥区别呢？

     先说第一部分，其实主要是数据处理，比如数据清洗，去重，精选这些步骤

     第二部分就是训练了

     第三部分推理，满打满算把边角料Agent啥的也都算进来

     存储介质：

     上一个老图，图中我给拿红框给框起来的部分就是大模型会用到的存储介质，没框的就不会用到，大家也不用研究了

    

        相关的介质我们从上到下捋一遍

  1