迈向百亿亿次人工智能数据基础设施

对我来说,在MinIO已经一个多星期了。沉浸在白板会议、架构审查和客户电话中的最大收获是,产品的简单性既是其显着特征,也是其最具决定性的价值驱动因素之一。在规模上尤其如此。由于人工智能的进步,计算能力的爆炸性增长对数据格局产生了重大影响,将我们带入了百万兆次级数据基础设施的时代。

对于创始人和产品负责人来说,有一些惊人的成功资源/秘诀——但它们都可以被提炼成对大多数初创公司来说仍然难以捉摸的东西——“解决客户愿意支付的紧迫、普遍的问题。

就 MinIO 而言,该问题是关于解决动态工作负载的大规模数据基础设施的挑战。这就是 AI/ML,即 SEIM/威胁搜寻数据湖,即 HDFS 替代品,即数据库持久存储,即高级分析等等。在人工智能方面,每家企业公司,无论公司规模大小,都在尝试使用人工智能重塑自己。关键指标是从 AI 计划中获得价值的时间。要实现这一目标,需要将三件事结合在一起。

  • 在正确的时间窗口内获得正确的数据。

  • 以高性能方式提供、存储和流式传输数据的正确基础架构。

  • 利用这些数据实现预期业务成果的正确 AI 应用程序。

让我们从正确的时间窗口中的正确数据开始。正确的数据具有 X 属性。正确的时间窗口具有 Y 属性。总的来说,它们是你的数据计划的基础 - 人工智能或其他,它们在人工智能世界中的重要性越来越大,因为如果你的数据是错误的,你将延续错误,你将教导错误,你将需要重新开始。

接下来是正确的基础设施。我的同事 Keith Pijanowski 写了一篇关于 AI 数据湖的精彩文章,值得您花时间。人工智能生态系统围绕着对象存储展开。OpenAI 在对象存储上进行训练。Mistral 在对象存储上进行训练。Anthropic 的 Claude 在对象存储中接受训练。

云模型为人工智能的突破铺平了道路。对于提供NAS(网络附加存储)的传统数据存储公司来说,这是令人震惊的。在人工智能时代,他们面临着走磁带之路的风险。因此,他们试图通过文件对象二象性为现有数据提供对象存储接口来保持相关性。从架构上讲,这是错误的方法,因为这种方法会导致文件具有对象存储网关接口,而不是提供真正的本机对象存储。这样的解决方案试图将 AI 工作负载需求改造为 NAS 工作负载功能,但没有成功,但唯一真正的目标是确保数据不会离开他们的设备。无论这些存储设备供应商提供何种硬件,这种操作模式都无法满足 AI 工作负载所需的速度、简单性、成本和规模。现代 AI 应用程序是使用云原生技术构建的。默认情况下,这些 AI 应用程序工作负载中的大多数都需要横向扩展、分布式、高度可用的对象存储,从数据持久性的角度来看,支持非结构化/半结构化数据。MinIO 从头开始构建,正好满足这些云原生 AI 应用程序的需求。无论是裸机还是容器,MinIO Enterprise Object Store 都是真正的软件定义的云原生对象存储,为这些应用程序提供支持。

数字就是证据。MinIO 的 Docker Pull #s 同比增长 84%,创下了每天 1.6M 的记录。让它沉入片刻。每天1.6M。这可能比我们所有非公有云竞争对手在一个季度的总和还要多!这些 Docker Pulls 中有许多来自试图利用 MinIO 的云原生、“正常工作”简单性的企业。

为了达到这种成功水平,它需要更好的捕鼠器。请记住,每家采用 MinIO 的公司都已经拥有某种类型的存储 - 即使它是遗留文件和块。

这里还有另一个动态在起作用,那就是云遣返。企业客户热衷于避免他们在匆忙迁移公有云时所犯的错误 - 锁定和不受控制的账单。在处理这些大型数据集时,训练 AI 所需的数据更大,计算和网络出口成本变得更加昂贵。控制这些云成本,同时为业务提供弹性是要求 - 如今,通过迁移到 Equinix 这样的 colo 提供商或回到客户希望节省成本的私有数据中心,可以实现高达 50% 或更多,同时利用 MinIO 进行云原生对象存储,无论他们将数据从公共云移动到何处。

总之,我们将继续发展并成为 AI 工作负载的主要数据基础设施,帮助客户在运营敏捷性、安全性方面进行创新,并大规模提供新时代 AI 工作负载所需的性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/732740.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

数据集标注研究

主要研究数据集标注存储文件的数据存储格式 目录 0.简介1.coco128-seg数据格式1.1 分割标注格式2.YOLO格式2.1 YOLO目标识别标签2.2 yolov5-seg分割标签2.TT100K数据集标注2.1 TT100K数据集标注文件解析0.简介 1.coco128-seg数据格式 1.1 分割标注格式 如coco128-seg数据集 …

Pikachu靶场--XSS

参考借鉴 Pikachu靶场之XSS漏洞详解_pikachu xss-CSDN博客 一个视频讲清楚XSS跨站脚本&#xff08;CTF教程&#xff0c;Web安全渗透测试入门&#xff09;_bilibili 反射型xss(get) 输入payload&#xff1a;<script>alert(123)</script> 解决一&#xff1a;在URL框内…

展讯-QMI8658和气压传感器驱动调试

1.调试QMI8658 参考demo&#xff0c;添加QMI8610相关内容 当前驱动路径位于&#xff1a;bsp/modules/input/misc/qmi8610/qmi8610.c 编译使用make sockoimage 用fastboot烧录 1.确定驱动被正常加载 代码添加之后&#xff0c;首先确定有没有进入当前驱动文件 dmesg |grep …

Python+Selenium自动化入门

本章内容需有一定Python基础&#xff0c;如何不懂的&#xff0c;请先学习Python。 什么&#xff1f;&#xff1f;没有好的学习资料&#xff0c;给你准备好了&#xff01;&#xff01; Web自动化环境搭建 1、软件准备 python64位安装包chrome64位浏览器&驱动浏览器驱动下…

聚道云软件连接器:打破壁垒,实现数电票与航信的无缝对接

一、客户介绍 某网络科技有限公司是一家专注于数字化解决方案的创新型企业。公司致力于为企业提供高效、便捷的科技服务&#xff0c;尤其在发票管理领域具有深厚的技术积累和丰富的实践经验。该公司凭借先进的软件连接技术和优质的服务&#xff0c;赢得了众多客户的信赖和好评…

TF-IDF在现代搜索引擎优化策略中的作用

TF-IDF&#xff08;Term Frequency-Inverse Document Frequency&#xff09;是一种用于文本挖掘和信息检索的统计方法&#xff0c;用来评估一个词语对于一个文档或一个语料库的重要程度。TF-IDF算法结合了词频&#xff08;TF&#xff09;和逆文档频率&#xff08;IDF&#xff0…

TOPGP-TIPTOP调用外部Webservice

功能要求&#xff1a;ERP作业调用外部系统的webserice更新数据。 演示环境&#xff1a;ERP作业cooi002&#xff08;员工档案&#xff09;录入后更新到外部系统员工档案表。 1、外部系统的WebSerice使用.net搭建 2、在Service.cs中写一个调用方法erp_other erp_other中两个参数…

32.基于分隔符解决黏包和半包

LineBasedFrameDecoder 基于换行/n (linux)或回车换行/r/n(windows)进行分割。 使用LIneBasedFrameDecoder构造方法,需要设定一个最大长度。 如果超过了最大长度,还是没有找到换行符,就这位这个数据段太长了,抛出ToolLongFrameException DelimiterBasedFrameDecoder …

个体核定征收双免个体户0税率大额核定税率全行业筹划

工商银行的会计政策和程序规定 工商银行会计政策和程序规定 工商银行的会计政策和程序规定 https://www.9733.cn/shop/ssch 一、个体工商户核定征收 核定征收是一种简化税收管理方式&#xff0c;适用于簿记不健全、难以准确核算收入和成本的个体。以下是主要特点&#xff1a…

使用Naive UI的级联选择器 Cascader进行省市区选择

序言&#xff1a; 在进行PC版的功能开发时&#xff0c;进行客户管理时老板要让客户便捷的选择自己的省市区等信息&#xff0c;而不是让他们一个个去填写&#xff0c;这时就需要使用级联选择器来进行省市区的选择。 注&#xff1a;element ui/plus的级联选择器也是可以的。 步骤…

美国众议院通过ENFORCE ACT草案:AI领域的潜在冷战?

近日&#xff0c;美国众议院通过了“增强关键出口海外限制国家框架法案”&#xff08;ENFORCE ACT&#xff09;&#xff0c;该法案旨在限制AI/ML技术和人才向中国的流动。这一举动引发了广泛讨论和担忧&#xff0c;许多人认为这将对在美从事AI相关工作的中国人造成重大影响。本…

基于STM32的智能病房监控和人脸识别系统设计(毕业设计)

摘 要 随着技术的不断进步和医疗需求的不断增长&#xff0c;智能病房控制系统有望在医疗领域发挥更大的作用。基于此&#xff0c;本文研究设计了一款低成本、操作简单、适用性强的基于STM32的智能病房监控和人脸识别系统。该系统通过STM32作为控制器和OpenMV对人脸分辨进行门…

微信小程序开发---自定义底部tabBar

自定义tabBar注意事项&#xff1a; 在自定义 tabBar 模式下 &#xff0c;为了保证低版本兼容以及区分哪些页面是 tab 页&#xff0c;app.json文件中 tabBar 的相关配置项需完整声明&#xff0c;但这些字段不会作用于自定义 tabBar 的渲染。所有 tabBar 的样式都由该自定义组件…

实现一个渐进优化的 Linux cp 命令

1&#xff0c;第1版 copy 先写个轮廓 selfcp.c &#xff1a; #include <stdio.h>int main() {FILE *source, *destination;char ch;source fopen("H222.txt", "r");if (source NULL) {printf("Error opening source file!\n");retur…

ISO14001认证:引领企业迈向绿色未来

在当今全球环境日益恶化的背景下&#xff0c;绿色发展已成为企业和社会共同追求的目标。ISO14001环境管理体系作为由国际标准化组织&#xff08;ISO&#xff09;制定的环境管理国际标准&#xff0c;为企业提供了系统和全面的环境管理框架&#xff0c;适用于各种类型和规模的组织…

ubuntu 20.04 访问csdn报错 Secure connection failed

打扰了&#xff0c;csdn服务器的问题&#xff0c;和源没关系&#xff0c;后面又重新测试了一下。刚好那一刻网站连上了。 暂时没有好办法&#xff0c;等待一段时间就连上了&#xff0c;改host似乎也不太行。 问题原因&#xff1a; 我一边更新源 sudo apt update & apt up…

计算机组成原理 —— 存储系统(主存储器基本组成)

计算机组成原理 —— 存储系统&#xff08;主存储器基本组成&#xff09; 0和1的硬件表示整合结构寻址按字寻址和按字节寻址按字寻址按字节寻址区别总结 字寻址到字节寻址转化 我们今天来看一下主存储器的基本组成&#xff1a; 0和1的硬件表示 我们知道一个主存储器是由存储体…

Webstorm vue项目@路径不能跳转到对应资源,提示Cannot find declaration to go to

Webstorm vue项目路径不能跳转到对应资源,提示Cannot find declaration to go to 我们 ctrl加鼠标左键点击方法会失效&#xff0c;看了网上很多教程在说需要在此处配置一下webpack.config.js的文件路径&#xff0c;而且指向了node_modules\vue\cli-service\webpack.config.js 我…

MURF3040CTR-ASEMI智能AI应用MURF3040CTR

编辑&#xff1a;ll MURF3040CTR-ASEMI智能AI应用MURF3040CTR 型号&#xff1a;MURF3040CTR 品牌&#xff1a;ASEMI 封装&#xff1a;TO-220F 恢复时间&#xff1a;35ns 最大平均正向电流&#xff08;IF&#xff09;&#xff1a;30A 最大循环峰值反向电压&#xff08;VR…

优选免单模式:电商销售的新篇章

随着电商市场的日益繁荣&#xff0c;各种创新销售模式层出不穷。其中&#xff0c;优选免单模式以其独特的运作方式和激励机制&#xff0c;吸引了大量消费者的目光。该模式的核心在于通过降低商品售价、引入社交元素以及设计阶梯式奖励&#xff0c;激发消费者的购买热情&#xf…