2024: The State of Generative AI in the Enterprise - Menlo Ventures

企业 AI 格局正在被实时改写。随着试点（Pilot）让位于生产（Production），我们对 600 名美国企业 IT 决策者进行了调查，以揭示新出现的赢家和输家。

从试点（Pilot）到生产环境

2024年标志着生成式AI成为企业的关键任务需求。数据说明了这个戏剧性的故事：今年AI支出达到138亿美元，是2023年23亿美元的6倍多 - 这清楚表明企业正从实验阶段转向执行阶段，将AI置于其商业战略的核心。

这种支出激增反映了组织的乐观情绪；72%的决策者预计在近期内会更广泛地采用生成式AI工具。这种信心并非纯粹推测 - 生成式AI工具已深深植入专业人士的日常工作中,从程序员到医疗服务提供者都在使用。

尽管前景乐观且投资增加，许多决策者仍在摸索什么对其业务有效，什么无效。超过三分之一的受访者对于如何在组织中实施生成式AI尚未有清晰的愿景。这并不意味着他们在没有方向的情况下投资；这只是突显出我们仍处于大规模转型的早期阶段。企业领导者才刚开始理解生成式AI将对其组织产生的深远影响。

去年，我们的2023年企业生成式AI现况报告记录了早期AI实验阶段。我们的2024年报告扩大到包含600位美国企业领导者的见解，揭示了组织从试点转向生产环境时出现的趋势，使AI成为企业必需品。

生成式AI支出显示企业承诺日益增长

目前，60%的企业生成式AI投资来自创新预算，反映了生成式AI采用的早期阶段。然而，40%的生成式AI支出来自更长期的预算—其中58%从现有分配重新调配—表明企业对AI转型的承诺日益增长。

（生成式AI支出包括用于基础模型、模型培训+部署、AI特定数据基础设施以及来自初创企业和incumbents的新生成式AI应用(例如Microsoft Copilot、Salesforce Agentforce、Adobe Firefly)的支出。请注意，这个市场规模不包括芯片(例如Nvidia)、计算(例如AWS、GCP、Azure)或AI功能(例如Intuit Assist)的收入。）

图表显示2023年vs 2024年按类别划分的企业生成式AI支出

讯息很明确。生成式AI正从未来技术转变为基本的业务工具。

虽然基础模型投资仍主导企业生成式AI支出，但应用层现在增长更快，受益于基础设施层面逐渐形成的设计模式。企业通过使用这些工具来优化各部门的工作流程，创造可观的价值，为更广泛的创新铺平道路。

在接下来的章节中，我们将探讨企业生成式AI采用的两个关键维度：

• 应用层，首批突破正在出现，为初创企业开辟了新市场；以及
• 现代AI技术栈，LLM军备竞赛正在重塑竞争格局，特定的基础设施模式正得到广泛采用。

深入探讨应用：应用层正在升温

2024年，大部分活动发生在应用层。随着许多架构设计模式的确立，应用层公司正在各个领域利用LLM的功能来释放新的效率和能力。企业买家正在抓住这一时机，2024年向生成式AI应用投入46亿美元，几乎是去年6亿美元的8倍。

公司不仅投入更多，而且目标更大。平均而言，组织已确定这项变革性技术的10个潜在用例，表明有广泛而雄心勃勃的目标。其中近四分之一(24%)被优先考虑近期实施，突显出朝向实际部署的强劲动力。这仅仅是开始。大多数公司仍处于采用的早期阶段，只有少数用例在生产环境中，而三分之一(33%)仍在原型设计和评估阶段。

企业内部：最有价值用例排名

尽管实验仍在进行，但明确的采用趋势指向一些已经通过提高生产力或运营效率带来切实ROI的用例：

• 代码协作工具以51%的采用率领先，使开发人员成为AI的最早期重度用户。GitHub Copilot快速达到3亿美元年收入运行率验证了这一轨迹，而新兴工具如Codeium和Cursor也在快速增长。除了通用编码助手外，企业还购买特定任务的协作工具，如Harness的AI DevOps Engineer和QA Assistant用于流水线生成和测试自动化，以及像All Hands这样能够执行更端到端软件开发的AI代理。
• 支持聊天机器人已获得显著使用率，企业采用率达31%。这些应用为内部员工和外部客户提供可靠的、全天候的、基于知识的支持。Aisera、Decagon和Sierra的代理直接与最终客户互动，而Observe AI在通话期间为联络中心代理提供实时指导。
• 企业搜索+检索和数据提取+转换(分别为28%和27%)反映了强烈的动力，以解锁和利用隐藏在组织中分散的数据孤岛中的宝贵知识。像Glean和Sana这样的解决方案连接电子邮件、通讯工具和文档存储—实现跨不同系统的统一语义搜索，提供AI驱动的知识管理。
• 会议总结在用例中排名第五(24%采用率)，通过自动化记录和要点来节省时间并提高生产力。像Fireflies.ai、Otter.ai和Sana这样的工具捕捉和总结线上会议，而Fathom从视频中提取关键点。Eleos Health将这一创新应用于医疗保健，自动化大量文档工作并直接与电子健康记录系统集成，使医疗服务提供者能够专注于患者护理。

图表显示主要生成式AI用例

我们的数据显示，组织主要投资于实用的、以ROI为导向的用例。前五大用例(代码生成、聊天机器人、企业搜索、数据转换和会议总结)专注于提高生产力和效率。

代理（Agent）和自动化：AI掌舵

当前的实施模式显示，相比完全自动化，更倾向于增强人类工作流程。但我们现在正接近向更自主解决方案过渡的阶段。能够独立管理复杂的端到端流程的AI驱动代理的早期范例正在各行业出现。像Forge和Sema4在金融后台工作流程，以及Clay的市场营销工具等先驱者展示了完全自主的生成式AI系统如何改变传统上由人领导的部门，指向未来的"软件即服务"时代，在这个时代，AI驱动的解决方案提供传统服务提供商的能力，但完全通过软件运作。

自建vs购买？具体情况具体分析

在决定自建还是购买时，公司显示出接近均等的分配：47%的解决方案在内部开发，而53%来自供应商。这与2023年相比有明显变化，当时我们报告80%的企业依赖第三方生成式AI软件—表明许多企业建立自己的内部AI工具的信心和能力增加，而不是主要依赖外部供应商。

长期游戏：企业在生成式AI采用中优先考虑价值而非快速胜利

在选择生成式AI应用时，企业有明确的优先事项：选择新工具时最重视投资回报和行业特定定制。令人惊讶的是，价格不是主要问题；我们调查的企业领导者中只有1%提到价格是选择考虑因素。买家在玩长期游戏：他们更关注能够提供可衡量价值(30%)和理解其工作独特背景(26%)的工具，而不是提供最低价格标签(1%)的工具。

图表显示生成式AI工具的选择标准

虽然企业正在对ROI和定制化进行尽职调查，但他们可能会错过实施拼图的关键部分。组织经常太晚才发现他们低估了技术集成、持续支持和可扩展性的重要性。这有点像仅基于燃油效率购买汽车，直到后来才意识到服务可用性和维护便利性在长期内同样重要。

当AI试点停滞或失败时，往往是由于在选择过程中未充分考虑的挑战。虽然买家不太在意价格标签，但实施成本(在26%的失败试点中被提及)经常让他们措手不及。数据隐私障碍(21%)和令人失望的投资回报(ROI)(18%)也会使试点偏离轨道。技术问题，特别是幻觉(15%)，构成了失败的主要原因。在规划和选择阶段主动解决这些潜在陷阱可以增加成功实施的可能性。

附加（Bolt-on）与突破（Breakthrough）：现有企业更容易受到初创企业的颠覆

去年，现有企业通过在现有产品中加入人工智能生成功能的 "附加 "（Bolt-on）战略主导了企业市场。我们曾预测初创企业将逐渐占据优势，而今年的数据验证了我们的想法：尽管 64% 的客户仍倾向于从老牌供应商处购买产品，理由是信任和开箱即用的功能，但现有供应商的主导地位已开始出现裂痕。我们的数据揭示了日益增长的不满情绪：18%的决策者对现有产品表示失望；40%的决策者质疑现有解决方案是否能真正满足他们的需求，这预示着创新型初创企业有机会介入并确立自己的地位。

部门转型

今天生成式AI采用令人瞩目的不仅是规模—还有范围。今年，生成式AI预算流向了每个部门。

图表显示按部门划分的企业生成式AI支出

技术部门占据最大支出份额并不令人惊讶，IT(22%)、产品+工程(19%)和数据科学(8%)共计占企业生成式AI投资的近一半。剩余预算分配给面向客户的职能部门，如支持(9%)、销售(8%)和营销(7%)，后台团队包括人力资源和财务(各7%)，以及较小的部门如设计(6%)和法务(3%)。

垂直AI应用的崛起

Menlo Ventures的生成式AI垂直应用市场图

第一批生成式AI应用是用于文本和图像生成的横向解决方案，但2024年看到越来越多的应用在将LLMs的新功能应用于高度领域特定的、垂直化的工作流程方面获得牵引力。以下垂直领域领先采用：

• 医疗保健：传统上科技采用较慢的医疗保健现在以5亿美元的企业支出领先生成式AI采用。环境记录工具如Abridge、Ambience、Heidi和Eleos Health正成为医生办公室的主要工具，而自动化解决方案正在临床生命周期中出现—从分类和接待(如Notable)到编码(如SmarterDx、Codametrix)和收入周期管理(如Adonis、Rivet)。
• 法律：历史上对科技有抗拒的法律行业(3.5亿美元企业AI支出)现在正在拥抱生成式AI来管理大量非结构化数据并自动化复杂的、基于模式的工作流程。该领域大致分为诉讼和交易法律，有许多专业领域。植根于诉讼的Everlaw专注于法律保留、电子发现和审判准备，而Harvey和Spellbook正在推进交易法律中的AI，提供合同审查、法律研究和并购解决方案。特定实践领域也针对AI创新：EvenUp专注于伤害法，Garden专注于专利和知识产权，Manifest专注于移民和就业法，而Eve正在从客户接待到解决方案重新发明原告案件工作。
• 金融服务：凭藉其复杂的数据、严格的法规和关键工作流程，金融服务(1亿美元企业AI支出)已为AI转型做好准备。像Numeric和Klarity这样的初创公司正在革新会计，而Arkifi和Rogo通过高级数据提取加速金融研究。Arch正在使用AI颠覆RIA和投资基金的后台流程。Orby和Sema4是从对账和报告开始的更广泛水平解决方案，而Greenlite和Norm AI提供实时合规监控以跟上不断发展的法规。
• 媒体和娱乐：从好莱坞银幕到创作者的智能手机，生成式AI正在重塑媒体和娱乐(1亿美元企业AI支出)。像Runway这样的工具现在是工作室级别的主要工具，而像Captions和Descript这样的应用赋能独立创作者。Black Forest Labs、Higgsfield、Ideogram、Midjourney和Pika等平台推动专业人士的图像和视频创作边界。

深入探讨：基础设施和现代AI技术栈

经过一年的快速演变，现代AI技术栈在2024年趋于稳定，企业在大多数生产AI系统的运行时架构中凝聚在核心构建块上。

Menlo Ventures的现代AI技术栈市场图

基础模型仍然主导。LLM层命令65亿美元的企业投资。然而，通过试错，企业越来越理解数据脚手架和集成在建立复杂的复合AI架构中的重要性，这些架构不仅可以在演示中一次性表现，还可以在生产中可靠运行。

LLM趋势：随着OpenAI让位于Anthropic，多模型策略盛行

企业没有依赖单一提供商，而是采用了务实的多模型方法。我们的研究显示，组织通常在其AI技术栈中部署三个或更多基础模型，根据用例或结果路由到不同的模型。这种策略延伸到开源与闭源的辩论，尽管行业讨论热烈，但偏好保持稳定。闭源解决方案以81%的市场份额支撑绝大多数使用，而开源替代方案(由Meta的Llama 3领导)保持稳定在19%，仅比2023年下降一个百分点。

在闭源模型中，OpenAI的先发优势有所减弱，企业市场份额从50%下降到34%。主要受益者是Anthropic，当新模型成为最先进时，一些企业从GPT-4切换到Claude 3.5 Sonnet，其企业存在从12%翻倍到24%。在转向新LLM时，组织最常提到的动机是安全和安全考虑(46%)、价格(44%)、性能(42%)和扩展功能(41%)。

图表显示2023年vs 2024年LLMs的市场份额

基础模型格局继续快速发展。Anthropic于2024年10月22日发布Claude 3.5 Sonnet，具有突破性功能，包括计算机使用，表明可能进一步获得市场份额。

设计模式趋势：RAG增长，微调罕见，代理突破

企业AI设计模式—用于构建高效、可扩展AI系统的标准化架构—正在快速发展。RAG(检索增强生成)现在以51%的采用率主导，较去年的31%大幅上升。同时，微调—经常被吹捧，特别是在领先应用提供商中—仍然出奇地罕见，只有9%的生产模型进行微调。

今年最大的突破？代理架构首次亮相，已经支持12%的实施。

图表显示2023年vs 2024年主要架构方法

向量数据库、ETL和数据管道：RAG的基础

为了驱动RAG，企业必须高效存储和访问相关查询知识。虽然传统数据库如Postgres(15%)和MongoDB(14%)仍然常见，但AI优先解决方案继续获得进展。AI原生向量数据库Pinecone已经占领18%的市场。数据ETL/准备也发生类似转变。传统ETL平台(如Azure Document Intelligence)仍占部署的28%，但像Unstructured这样专门处理PDF和HTML等文档中非结构化数据细微差别的专业工具正在开辟自己的空间，市场份额为16%。在整个技术栈中，我们看到对专门满足现代AI需求的技术的需求。

我们的预测

2024年是过渡和演变的一年，我们在2023年记录的炒作浪潮让位于实际世界的实施。基于我们今天分享的数据和我们作为投资者观察到的趋势，这是我们对未来的三个预测：

1. 代理将推动下一波转型。

代理自动化将推动下一波AI转型，解决超出当前专注于内容生成和知识检索系统能力的复杂、多步骤任务。像Clay和Forge这样的平台预示了先进代理如何可能颠覆4000亿美元的软件市场—并蚕食10万亿美元的美国服务经济。这种转变将需要新的基础设施：代理认证、工具集成平台、AI浏览器框架和专门用于AI生成代码的运行时。

2. 更多现存企业将倒下。

今年ChatGPT对Chegg和Stack Overflow的颠覆是一个警钟：Chegg失去了85%的市值，而Stack Overflow的网络流量减半。其他类别也容易受到颠覆。像Cognizant这样的IT外包公司和像UiPath这样的传统自动化玩家应该为AI原生挑战者进入他们的市场做好准备。随着时间推移，即使像Salesforce和Autodesk这样的软件巨头也将面临AI原生挑战者。

3. 前方无援：AI人才短缺加剧。

我们正处于大规模人才短缺的边缘。随着AI系统的扩散和变得更加复杂，科技行业将遇到严重的稀缺。这不仅是数据科学家的短缺—这是能够将先进AI能力与领域特定专业知识桥接的专家的关键差距。人才池已经危险地低。为已经高薪的AI技能企业架构师支付2-3倍薪资溢价将成为常态。尽管投资培训计划和AI卓越中心，但差距将超过这些努力，推动对驱动下一波AI创新所需的有限人才的激烈竞争。

这仅仅是开始

AI正在为新时代的转型铺平道路，这种转型由尖端AI工具、赋能的劳动力和将重塑我们经济的变革性商业模式驱动。我们正在通过我们的投资组合亲身目睹这种转型：

• AI使诺贝尔奖获得者、Vilya和Xaira Therapeutics的联合创始人David Baker能够计算生成新的潜在药物并预测其结构和功能，帮助加速开发新的救生治疗方法。
• AI使Continental、Michelin和雀巢等制造商能够捕捉部落知识并维持高标准的工厂工作。使用Squint，他们将指导材料转化为沉浸式增强现实体验，提供实时、循序渐进的指导和验证，以提高安全性、减少操作员错误并确保一致的产出。
• AI使公司能够更快、更可靠地识别顶级工程人才，使用CodeSignal通过自动化编码评估、个性化问题难度和检测抄袭来更准确和高效地评估技术技能。
• AI使Abnormal Security能够保护公司免受钓鱼和商业电子邮件破坏等复杂的电子邮件威胁，通过检测异常并在造成伤害之前阻止攻击，每年可防止高达400万美元的潜在损失。
• AI赋能Nike、星巴克和LG Electronics等公司使用Typeface大规模制作个性化、符合品牌的内容。使用Typeface，品牌可以将其广告产出翻两番，将生产时间减半，每月节省数百小时—同时提供与客户产生共鸣的吸引人内容。

Menlo Ventures团队很高兴能成为这种转型的一部分，支持那些推动AI可能性界限的创始人。我们的投资组合公司—包括Abnormal Security、Anthropic、Cleanlab、Eleos、Genesis Therapeutics、Harness、Higgsfield、Neon、OpenSpace、Pinecone、Recursion、Sana、Squint、Typeface、Unstructured、Vilya和Xaira—展示了AI如何改变行业并创造全新的工具和业务，使数百万人受益。我们正在接近实现智能企业的潜力。如果你是一位准备留下印记的创始人，请联系我们。

Menlo Ventures在AI上全力以赴。让我们一起构建AI的未来。

数据来源和方法论

本报告总结了2024年9月24日至10月8日期间对600位美国拥有50名或以上员工的企业IT决策者进行的调查数据。在这个基础数据之上，我们叠加了我们作为该领域活跃投资者的观点和见解。