2024年大模型（LLM）基础架构的组件和工具，最近看到国外的一篇深度分析，技术负责人可以重点关注：附带图谱：

 

 

一、现代LLM基础设施栈定义

1. 根据Menlo Ventures的数据，2023年企业在现代AI基础设施栈上的支出超过11亿美元，成为生成式AI中最大的新市场，为初创企业提供了巨大的机会。
2. 截至2024年3月，LLM基础设施公司从投资者那里筹集的总资金为100亿美元（不包括筹集超过10亿美元的大公司）。
3. Criteria公司将现代LLM基础设施栈的关键层定义为：
4. 数据层：包含用于摄取、策划和管理训练LLM的数据的基础设施，并连接模型到企业数据系统中的适当上下文。
5. 模型层：包含用于训练和构建模型的基础设施，从微调到质量测试和评估。
6. 部署层：提供管理和编排AI应用的工具，从模型到GPU。
7. 监控层：包含帮助开发者观察和分析LLM和生成式AI应用的工具，以了解模型在运行时的行为。
8. 企业考虑层：涉及对LLM成功部署和管理至关重要的各种企业范围考虑。

二、详细组件

数据层（第1层）

1. 向量数据库和搜索：专门设计用于存储和查询大规模向量数据的数据库。
2. 数据管理：收集、准备、整合、清洗和预处理用于训练和微