洞察:OpenAI 全球宕机,企业应该如何应对 LLM 的不稳定性?

北京时间12月12日上午,OpenAI证实其聊天机器人ChatGPT正经历全球范围的宕机,ChatGPT、Sora及API受到影响。

OpenAI 更新事故报告称,已查明宕机原因,正努力以最快速度恢复正常服务,并对宕机表示歉意。

此次 OpenAI 故障持续了 4小时10分钟,毕竟 ChatGPT 每周活跃用户超过 2.5 亿,严格来说,这是一场 P0 级的生产事故了。

这一问题影响了包括 苹果 iOS 18.2 与 Siri 的集成功能,国内外各种依托 Open AI 的各种 AI 周边产品也是随之停摆半个小时。

然而这已经不是 OpenAI 第一次出现故障了,自 OpenAI 的服务推出以来就经历了多次宕机事故 :

2023年3月20日:OpenAI的ChatGPT历史会话记录出现长时间无法显示的问题,原因是开源库中的一个重大漏洞。OpenAI发表声明表示已经恢复了所有用户的对话历史记录,并解决了潜在问题。

2023年11月7日至8日:OpenAI的ChatGPT和API服务经历了将近2小时的严重故障,被定义为“严重停机”(Major Outage)。故障时间从11月7日开始发现部分服务中断,并一直持续到11月8日凌晨。

2024年6月4日:OpenAI的ChatGPT(包括网站、App和桌面应用)出现系统故障,导致全球数百万用户无法正常使用,持续长达近8个小时。

2024年6月17日至18日:OpenAI的ChatGPT发生故障,美国和英国的移动端和网页版ChatGPT会时不时地无法应答用户的提问。OpenAI迅速确认问题,并在一定时间内解决了问题。

2024年12月5日:API与ChatGPT曾经历短暂性能下降问题,影响时间约为12月5日7:45至7:50(北京时间)。

2024年12月12日:OpenAI证实其聊天机器人ChatGPT正经历全球范围的宕机,ChatGPT、Sora及API受到影响。至当日9时50分,API和ChatGPT服务部分恢复,Sora仍处于瘫痪状态。

从基础设施角度来看,ChatGPT 已逐步成为类似传统云服务的关键组成部分,许多公司已经将 OpenAI 的 API 集成进日常业务也运营获得中,任何服务中断都可能影响到自动化和客户服务等核心功能,AI 的稳定性和可靠性问题越发不容忽视。

虽然故障持续时间较短,如果你的业务刚好就是将 AI 应用在股市、或者即时面试产品、更或者是医疗辅助类等业务的企业,关键业务非故障中断,对用户的印象和企业本身的品牌损害有时候是难以估量的。

对于依赖 AI 技术的各行业来说,如何在创新和稳定性之间找到平衡,势必是要考虑的问题。

同时接入多个大模型避免宕机导致业务中断

〇 为什么接入多款 AI 大模型?

相信很多企业都是仅仅接入一个 LLM,可能是处于对 LLM 的能力考虑,也有是成本考虑。然而在实际生产环境、业务环境过程中“用一个 LLM 就解决所有问题”的设计思路似乎已经难以满足实际需求

比如:某企业借助 AI 做数字图书的业务。整个过程中,对 AI 的能力要求不仅仅是“文生图”,还有长文的理解能力,保证故事前后文连贯性。

这种情况下,可能需要接入多个模型去解决:

A模型负责长文识别,B模型负责生图。另外,如果 A 或 B 模型刚好遇到 Open AI 一样的宕机问题,是否有个备用马上接替 A 模型?

APIPark 开源 LLM 网关解决方案

APIPark 是一款高性能的企业级 LLM 网关,通过简化大模型的调用路径和统一 API 格式,有效降低企业调用大模型的门槛。 

截止目前,APIPark 已经对接多款市面上热门的 AI 大模型,并支持 AI Agent 的快速打通,并且提供 Prompt 与 AI 封装成 API 功能,可搭建自己专属的 API 开放门户,拥有丰富的 API 管理功能,特别适合需要自定义和多样化 AI 应用的团队。

随着企业对 AI 的使用越来越深入,应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案,来确保 AI 基础设施的高可用性、低延迟和无缝扩展。

APIPark 提供高效的负载均衡解决方案,优化了请求在多个大型语言模型实例之间的分配,确保在大型语言模型之间的无缝切换,减少业务因外部因素的影响。

比如: 企业的业务同时接入 OpenAI 和 Anthropic,Gemini 接口上的不同实例。当其中实例访问量大、或者 LLM 宕机、又或者 LLM 额度消耗尽未检测到等等导致的故障,则可以无缝切换到下一个备用的 AI 大模型。

未来,APIPark 还将扩展更多高价值功能,包括且不限于:

  • 智能分流与速率限制:灵活配置不同业务场景下的流量分配策略,保障服务稳定性。

  • 大模型调用 Token 配额:帮助企业精细化管理和优化 LLM 的调用成本,避免资源浪费。

  • API 调用计费:提供透明、可视化的计费管理工具,为企业 API 商业化提供技术支、以及精细计算 LLM 调用成本。

  • 语义缓存:通过智能缓存机制减少LLM的重复调用,降低延迟和成本,同时提高用户请求的响应速度。

  • 更多功能即将到来...

APIPark 致力于通过不断迭代与创新为企业提供更加智能、更加精细化的 LLM 配套管理能力,帮助企业在 AI 时代抢占先机,从容应对复杂的业务需求,提升效率与竞争力。

如果您也对 APIPark 未来的功能感兴趣,并有意向参与我们项目的开源共建,请登录 APIPark Github 仓 给我们开源团队提出您宝贵的建议!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/938286.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

STM32F407ZGT6-UCOSIII笔记2:UCOSIII任务创建实验-Printf 函数卡住 UCOSIII 系统问题解决

今日简单编写熟悉一下UCOSIII系统的任务创建代码,理解一下OS系统: 并发现以及解决了 Printf 函数卡住 UCOSIII 系统问题解决 文章提供测试代码讲解、完整工程下载、测试效果图 目录 文件结构解释: 任务函数文件: 目前各个文件任…

CUDA从入门到精通(三)——CUDA编程示例

CUDA 编程简介 CUDA(Compute Unified Device Architecture)是由 NVIDIA 提供的一种并行计算平台和编程模型。它允许开发者利用 NVIDIA GPU 的并行计算能力,编写可以在 GPU 上高效运行的代码,从而加速计算密集型任务。 CUDA 通过…

【十进制整数转换为其他进制数——短除形式的贪心算法】

之前写过一篇用贪心算法计算十进制转换二进制的方法,详见:用贪心算法计算十进制数转二进制数(整数部分)_短除法求二进制-CSDN博客 经过一段时间的研究,本人又发现两个规律: 1、不仅仅十进制整数转二进制可…

舵机SG90详解

舵机,也叫伺服电机,在嵌入式开发中,舵机作为一种常见的运动控制组件,具有广泛的应用。其中,SG90 舵机以其高效、稳定的性能特点,成为了许多工程师和爱好者的首选,无论是航模、云台、机器人、智能…

如何为IntelliJ IDEA配置JVM参数

在使用IntelliJ IDEA进行Java开发时,合理配置JVM参数对于优化项目性能和资源管理至关重要。IntelliJ IDEA提供了两种方便的方式来设置JVM参数,以确保你的应用程序能够在最佳状态下运行。本文将详细介绍这两种方法:通过工具栏编辑配置和通过服…

跌倒数据集,5345张图片, 使用yolo,coco json,voc xml格式进行标注,平均识别率99.5%以上

跌倒数据集,5345张图片, 使用yolo,coco json,voc xml格式进行标注,平均识别率99.5%以上 ,可用于某些场景下识别人是否跌倒或摔倒并进行告警。 数据集分割 训练组99% 5313图片 有效集0&am…

nods.js之nrm安装及使用

nods.js之nrm安装及使用 一、简介二、安装 nrm与使用三、报错解决 一、简介 nrm 是 Node.js 的一个工具,用于管理和切换 npm 源(Registry)。它使得在不同的 npm 镜像源之间切换变得非常容易,尤其对于那些经常因为网络问题或速度原…

selenium自动化测试基础知识

目录 一、概念知识 (一)三大核心组件 (二)Selenium 自动化测试的工作原理 (三)Selenium 支持的操作 (四)Selenium 自动化测试的优点 (五)Selenium 自动化测试的缺点 (六)Selenium 自动化测试的应用场景 总结 二、实操例子 使用前提--安装步骤 注意事项 (一)浏览器的…

Cisco Packet Tarcer配置计网实验笔记

文章目录 概要整体架构流程网络设备互连基础拓扑图拓扑说明配置步骤 RIP/OSPF混合路由拓扑图拓扑说明配置步骤 BGP协议拓扑图拓扑说明配置步骤 ACL访问控制拓扑图拓扑说明配置步骤 HSRP冗余网关拓扑图拓扑说明配置步骤 小结 概要 一些环境配置笔记 整体架构流程 网络设备互连…

RNN LSTM Seq2Seq Attention

非端到端: data -》 cleaning -》 feature Engining (70%-80%工作 设计特征)-》 分类器 -》预测 端到端 End-to-End: data -》 cleaning -》Deep learning(表示学习,从数据中学习特征) -》…

【AI日记】24.12.17 kaggle 比赛 2-6 | 把做饭看成一种游戏 | 咖喱牛肉

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】 工作 参加:kaggle 比赛 Regression with an Insurance Dataset时间:9 小时睡得好很重要 读书 书名:富兰克林自传时间:0.5 小时阅读原因:100 美元纸…

电脑为什么会提示“msvcr120.dll缺失”?“找不到msvcr120.dll文件”要怎么解决?

电脑故障排查指南:揭秘“msvcr120.dll缺失”的真相与解决方案 在软件开发与日常维护的广阔天地里,遇到系统报错或文件缺失的情况可谓家常便饭。今天,我将带领大家深入探讨一个常见的系统提示——“msvcr120.dll缺失”,并揭秘其背…

Kotlin复习

一、Kotlin类型 1.整数 2.浮点 显示转换: 所有数字类型都支持转换为其他类型,但是转换前会检测长度。 toByte(): Byte toShort(): Short toInt(): Int toLong(): Long toFloat(): Float toDouble(): Double 不同进制的数字表示方法(为了提高…

【BUG】记一次context canceled的报错

文章目录 案例分析gorm源码解读gin context 生命周期context什么时候cancel的什么时候context会被动cancel掉呢? 野生协程如何处理 案例分析 报错信息 {"L":"ERROR","T":"2024-12-17T11:11:33.0050800","file"…

召回系统介绍

一、以Lucene为例介绍召回系统 1、倒排检索 Lucene的倒排索引由 Term Index -> TermDictionary -> Posting List 三层组成,倒排检索实际上就是通过分词Term查询到倒排拉链,然后对所有拉链进行合并。 Term-> Posting List,可以直接…

Ubuntu22.04系统下MVS运行海康威视工业相机

之前的开发环境是Ubuntu16.04,最近因项目需求换到了Ubuntu22.04系统,安装了ROS2-humble,重新记录下开发过程。 Ubuntu16.04系统可参考: VMware虚拟机中Ubuntu16.04系统下通过MVS运行海康威视工业相机 Linux环境中对海康威视工业相…

慧知开源充电桩平台 - OCPP充电桩协议越南充电平台:多语种支持、多元支付、本地化策略

越南充电新体验:多语种支持,便捷支付! 助力充电桩运营本土化落地,为越南市场提供定制化解决方案 随着全球电动汽车市场的迅猛发展,越南作为东南亚新兴的汽车市场,对电动汽车充电基础设施的需求也在急剧增…

基于Clinical BERT的医疗知识图谱自动化构建方法,双层对比框架

基于Clinical BERT的医疗知识图谱自动化构建方法,双层对比框架 论文大纲理解1. 确认目标2. 目标-手段分析3. 实现步骤4. 金手指分析 全流程核心模式核心模式提取压缩后的系统描述核心创新点 数据分析第一步:数据收集第二步:规律挖掘第三步&am…

华为ensp--BGP路径选择-Preferred Value

学习新思想,争做新青年。今天学习的是BGP路径选择-Preferred Value 实验目的 理解BGP路由信息首选值(Preferred Value)的作用 掌握修改Preferred Value属性的方法 掌握通过修改Preferred Value属性来实现流量分担的方法 实验拓扑 实验要求…

如何在OpenCV中运行自定义OCR模型

我们首先介绍如何获取自定义OCR模型,然后介绍如何转换自己的OCR模型以便能够被opencv_dnn模块正确运行,最后我们将提供一些预先训练的模型。 训练你自己的 OCR 模型 此存储库是训练您自己的 OCR 模型的良好起点。在存储库中,MJSynthSynthTe…