思腾推出支持大规模深度学习训练的高性能AI服务器

近日人工智能研究公司OpenAI公布了其大型语言模型的最新版本——GPT-4,可10秒钟做出一个网站,60秒做出一个游戏,参加了多种基准考试测试,它的得分高于88%的应试者;随后百度CEO李彦宏宣布正式推出大语言模型“文心一言”,作为百度全新一代知识增强大语言模型,其能够与人对话互动、回答问题、协助创作、高效便捷地帮助人们获取信息、知识和灵感。


 

随着这些应用AIGC应用的发布,人工智能变成了街头巷尾人们热议的话题,英伟达CEO黄仁勋在2023年GTC开发者大会上发表了主题演讲时表示:“我们正处于AI的iPhone时刻。”可见AIGC技术对社会的变革性影响,同时也引爆了AI行业对训练和推理的大模型需求。


 

图片

图片

思腾合力是一家人工智能基础架构解决方案供应商,公司成立于 2009年,在成立之初就一直致力于AI 行业,是英伟达的精英级合作伙伴,拥有自主品牌AI服务器及通用服务器,适用于深度学习训练及推理等场景,尤其是思腾合力自有产品IW4221-8GRs,一款专为AI大模型计算打造的新型GPU集群,接下来给大家介绍一下这款服务器的那些让人不可抗拒的优点:


 

第一 天花板级的算力配置



 

英伟达是行业翘楚,而A800又是英伟达的明星产品,其算力更是行业望其项背的存在,思腾合力IW4221-8GRs这款产品,单台服务就搭载了8个拥有第三代NVIDIA Tensor Core的A800 GPU单机可提供 5PFLOPS 的 AI 计算性能,比传统的双路 CPU 服务器提高 300 倍。


 

任意两个 GPU 之间可以直接进行数据 P2P 交互,GPU 间 P2P 通信速率为 400GB/s;具备更高的带宽和更低的延迟,可以依据不同需求完成GPU-GPU节点内部的高速互联,同时还能在GPU-CPU甚至CPU-CPU之间形成高速互联,特别是GPU与CPU之间的直接互连,提高了系统整体的性能和可扩展性。


 

搭载2颗Intel 高性能CPU原本,在CPU与GPU的极致配合下原本要花费10小时的双精度模拟过程缩短到4小时之内,多任务处理不卡顿,高效完成训练/推理任务,支持大规模的深度学习模型、高性能计算任务和机器学习工作负载。


 

第二 算力资源高效利用合理分配


 


 

运用英伟达的MIG技术可扩展 GPU 的应用范围,单张A800卡最多可被划分为7个实例,每个实例均完全独立于各自的高带宽显存、缓存和计算核心;且能为每项工作负载提供适当规模的 GPU 实例,最终优化利用率并使数据中心投资充分发挥成效。


 

凭借 MIG能确定性延迟和吞吐量,在单个 GPU 上同时运行推理、训练和高性能计算 (HPC) 工作负载;每个 MIG 实例借助专用于计算、内存和缓存的硬件资源,从而能够提供稳定可靠的服务质量 (QoS) 和有效的故障隔离。

图片

第三 极致的扩展性



 

单台服务器集成8通道内存控制器,32个内存插槽,速率最高支持3200,内存容量可扩展至4TB,最大支持 8 个热插拔 NVMe SSD 和 2 个 SATA 总线 M.2 SSD,10个PCIe 4.0 x16插槽,2个PCIe 4.0 x16插槽(PCIe 4.0 x8速率),1个OCP3.0插槽,最大支持 10 个 100G/200G 可远程直接内存访问(RDMA)高速网卡;用户可根据实际需求进行扩展,极大的提高的机器适用性。


 

第四 超强兼容性



 

X86 CPU 市场占有率超过90%,NVIDIA目前占据整个独立显卡市场的多达88%,上层软硬件应用基本与他们兼容为基础而进行开发,所以国内外主流软硬件及AI框架、工具、应用程序等都兼容。


 

第五 全方位的安全呵护



 

整机 6U 标准尺寸,3+3 冗余供电设计,使其适用于 更广泛的数据中心部署环境,为客户提供极高的可靠性和稳定性;支持可信平台模块(TPM 2.0)和可信密码模块(TCM),可提供高级加密功能。


 

支持Intel可信执行技术(Trusted Execution Technology),可基于硬件抵御恶意软 件攻击;支持 Intel SGX 技术(Software Guard Extensions),允许应用运行在自己的独立空间中,避免关键代码和数据被恶意窃取或修改;支持基于数字签名的固件更新机制,防止非授权固件的更新; 支持 UEFI 安全引导,保护系统免受恶意启动加载程序的侵害;支持 BIOS 分级密码保护,保证系统启动及管理安全;支持BIOS Secure Flash及Lock Enable(BLE)功能,消减恶意软件对 BIOS Flash 区域的攻击;支持 BMC、BIOS 双镜像机制,在检测到固件被破坏后进行恢复;支持 BMC 安全启动,防止 BMC 被恶意篡改; 支持灵活的 BMC 访问控制策略,提高 BMC 管理安全性。


 

第六 简约不简单的运维管理



 

技术人员可以通过 BMC Web 管理界面、故障诊断 LED 等指引设备进行整机管理,并 可通过前面板上的 UID 指示灯标记有故障的机器,快速找到已经发生故障(或者即将 发生故障)的组件,从而简化维护工作、加快解决问题的速度,并且提高系统可用性;通过 BMC 监控系统参数,提前发出告警信息,使技术人员能够采取相应措施,保证机器稳定运行; 配备 ISPIM 智能管理软件,实现服务器的集中管理,支持设备部件级资产管理、智能监控告警、自动巡检、故障诊断与报修、能耗管理、固件升级/配置等功能,实现服务器全生命周期管理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/508558.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

element-ui message 组件源码分享

今日简单分享 message 组件的源码,主要从以下四个方面来分享: 1、message 组件的页面结构 2、message 组件的 options 配置 3、mesage 组件的方法 4、个人总结 一、message 组件的页面结构 二、message 组件的 options 配置 前置说明:m…

Meta Pixel:助你实现高效地Facebook广告追踪

Meta Pixel 像素代码是用來衡量Facebook广告效果的一个官方数据工具,只要商家有在Facebook上投放广告就需要串联Meta Pixel 像素代码来查看相关数据。 它本质上是一段 JavaScript 代码,安装后可以让用户在自己网站上查看到访客活动。它的工作原理是加载…

FPGA高端图像处理开发板-->鲲叔4EV:12G-SDI、4K HDMI2.0、MIPI等接口谁敢与我争锋?

目录 前言鲲叔4EV----高端FPGA图像处理开发板核心板描述底板描述配套例程源码描述配套服务描述开发板测试视频演示开发板获取 前言 在CSDN写博客传播FPGA开发经验已经一年多了,帮助了不少人,也得罪了不少人,有的人用我的代码赢得了某些比赛、…

基于FPGA的HDMI视频接口设计

HDMI介绍 HDMI(High-DefinitionMultimedia Interface)又被称为高清晰度多媒体接口,是首个支持在单线缆上传输,不经过压缩的全数字高清晰度、多声道音频和智能格式与控制命令数据的数字接口。HDMI接口由Silicon Image美国晶像公司倡导,联合索尼、日立、松下、飞利浦、汤姆逊、东…

使用 Django 构建简单 Web 应用

当我们在使用Django构建Web应用时,通常将会涉及到多个步骤,从创建项目到编写视图、模板、模型,再到配置URL路由和静态文件,最后部署到服务器上。所以说如果有一个环节出了问题,都是非常棘手的,下面就是我们…

iPhone设备中定位应用程序崩溃问题的日志分析技巧

​ 目录 如何在iPhone设备中查看崩溃日志 摘要 引言 导致iPhone设备崩溃的主要原因是什么? 使用克魔助手查看iPhone设备中的崩溃日志 奔溃日志分析 总结 摘要 本文介绍了如何在iPhone设备中查看崩溃日志,以便调查崩溃的原因。我们将展示三种不同的…

Matlab|【核心复现】同时考虑考虑孤岛与重构的配电网故障恢复运行策略

目录 主要内容 基本知识 1.问题引出 2.可控负荷 3.网络拓扑约束 4.算法流程 结果一览 1.原文结果 2.程序运行结果 下载链接 主要内容 该模型复现文章《同时考虑考虑孤岛与重构的配电网故障恢复运行策略》,以IEEE33配电网为分析对象,…

iPhone设备中通过开发者选项查看应用程序崩溃日志的实用技术

​ 目录 如何在iPhone设备中查看崩溃日志 摘要 引言 导致iPhone设备崩溃的主要原因是什么? 使用克魔助手查看iPhone设备中的崩溃日志 奔溃日志分析 总结 摘要 本文介绍了如何在iPhone设备中查看崩溃日志,以便调查崩溃的原因。我们将展示三种不同的…

基于GaN的半导体光学放大器SOA

摘要 基于GaN的材料可覆盖很宽的光谱范围,以紫外、紫、蓝、绿和红波发射的激光二极管已经商业化。基于GaN的半导体光学放大器(SOA)具有提高激光二极管输出功率的能力,因此SOA将有很多潜在应用。未来需要利用短波、超快脉冲特性的…

Mac安装Parallels Desktop 19 For Mac v19.1.0 PD19虚拟机中文一键激活版

在 Mac 上运行 Windows,简单,强大,无缝。 全新Parallels Desktop 19 for Mac 增强 Mac 的功能,在虚拟机上运行 Windows,同时获得超过 200000 款可用于工作、开发、学习、测试和玩游戏的 Windows 应用。已经获得Microso…

Go-知识协程

Go-知识协程 1. 基本概念1.1 进程1.2 线程1.3 协程 2. 协程的优势3. 调度模型3.1 线程模型3.2 Go调度器模型 4. 调度策略4.1 队列轮转4.2 系统调用4.3 工作量窃取4.4 抢占式调度 5. GOMAXPROCS对性能的影响 一个小活动: https://developer.aliyun.com//topic/lingma…

【Go】十三、面向对象:方法

文章目录 1、面向对象2、结构体实例的创建3、结构体之间的转换4、方法5、结构体值拷贝6、方法的注意点7、方法和函数的区别8、跨包创建结构体实例 1、面向对象 Go的结构体struct ⇒ Java的Class类Go基于struct来实现OOP相比Java,Go去掉了方法重载、构造函数和析构函…

面向对象编程中的StringBuffer类详解

咦咦咦,各位小可爱,我是你们的好伙伴——bug菌,今天又来给大家普及Java SE相关知识点了,别躲起来啊,听我讲干货还不快点赞,赞多了我就有动力讲得更嗨啦!所以呀,养成先点赞后阅读的好…

vulhub中Apache solr XML 实体注入漏洞复现(CVE-2017-12629)

Apache Solr 是一个开源的搜索服务器。Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现。原理大致是文档通过Http利用XML加到一个搜索集合中。查询该集合也是通过 http收到一个XML/JSON响应来实现。此次7.1.0之前版本总共爆出两个漏洞:XML…

VSCode 设置vue2模板

点击设置 > 用户代码片段 > 输入Vue &#xff08;打开vue.json&#xff09;> 将代码复制内 "Print to console": {"prefix": "<","body": ["<template>"," <div class$1></div>"…

AI绘图cuda与stable diffusion安装部署始末与避坑

stable diffusion的安装说起来很讽刺&#xff0c;最难的不是stable diffusion&#xff0c;而是下载安装cuda。下来我就来分享一下我的安装过程&#xff0c;失败了好几次&#xff0c;几近放弃。 一、安装cuda 我们都知道cuda是显卡CPU工作的驱动&#xff08;或者安装官网的解释…

FPGA高端项目:解码索尼IMX327 MIPI相机+图像缩放+HDMI输出,提供开发板+工程源码+技术支持

目录 1、前言2、相关方案推荐本博主所有FPGA工程项目-->汇总目录我这里已有的 MIPI 编解码方案 3、本 MIPI CSI-RX IP 介绍4、个人 FPGA高端图像处理开发板简介5、详细设计方案设计原理框图IMX327 及其配置MIPI CSI RX图像 ISP 处理自研HLS图像缩放详解图像缓存HDMI输出工程…

3d在线虚拟数字展馆让学员通过游戏化体验接受爱国主义教育

随着科技的飞速发展&#xff0c;红色展厅已不再局限于实体空间。现在&#xff0c;借助VR虚拟仿真技术的强大力量&#xff0c;我们与多家党建馆推出一个全新的教育平台——VR红色虚拟展馆。在这里&#xff0c;爱国主题与尖端技术相结合&#xff0c;为广大学生提供一种全新的、互…

iPhone设备中如何分析和解决应用程序崩溃日志的问题

​ 目录 如何在iPhone设备中查看崩溃日志 摘要 引言 导致iPhone设备崩溃的主要原因是什么&#xff1f; 使用克魔助手查看iPhone设备中的崩溃日志 奔溃日志分析 总结 摘要 本文介绍了如何在iPhone设备中查看崩溃日志&#xff0c;以便调查崩溃的原因。我们将展示三种不同的…

目标检测——工业安全生产环境违规使用手机的识别

一、重要性及意义 首先&#xff0c;工业安全生产环境涉及到许多复杂的工艺和设备&#xff0c;这些设备和工艺往往需要高精度的操作和严格的监管。如果员工在生产过程中违规使用手机&#xff0c;不仅可能分散其注意力&#xff0c;降低工作效率&#xff0c;更可能因操作失误导致…