训练大模型的显卡参数辨析

以NVIDIA A100(80GB)为例:

A100中的A是Ampere(安培体系)首字母,100是系列号,除了A100,还有A800

80GB指的是这张显卡的显存为80GB

PCIe:PCIe本身是一种总线协议,这里指的是这种架构的A100只能通过Nvlink Bridge进行两张互联

SXM:一种架构,支持4、8或者16张A100通过Nvlink与NvSwitch芯片进行互联

FP64:双精度型数据

Tensor Core:矩阵运算单元

FP32:单精度

Tensor Float 32:截短的 Float32 数据格式,将 FP32 中 23 个尾数位截短为 10 bits,而指数位仍为 8 bits,总长度为 19 bits

BFLOAT16:全称brain floating point,也是用16位二进制来表示的数

FP16:半精度

INT8:8位整型

TFLOPS:Tera Floating Point Operations Per Second,即每秒执行的万亿次浮点运算

TOPS:Tera Operations Per Second,即每秒执行的万亿次运算

HBM2/e:High Bandwidth Memory-HBM,是一种DRAM形态

MIG:Multi-Instance GPU (MIG)多实例GPU,允许一块物理 GPU 被分割成多个独立的 GPU 实例

7 MIG @ 5GB:分为7个实例,每个显存5GB

7 MIG @ 10GB:分为7个实例,每个显存10GB

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/524146.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

nodejs应用程序不同部署环境下的差异配置方案

一、背景 nodejs应用程序,不同于java语言使用分布式配置,当部署于不同的环境里,因为环境的差异,配置项的值也不尽相同。 最常见的差异就是数据库的连接信息,而代码是一份,不能把生产环境的信息暴露在非生产…

书生·浦语大模型实战营 | 第2次学习笔记

前言 书生浦语大模型应用实战营 第二期正在开营,欢迎大家来学习。(参与链接:课程升级,算力免费,书生浦语实战营第二期学员招募|活动预告https://mp.weixin.qq.com/s/YYSr3re6IduLJCAh-jgZqg) …

多因子量化的框架

基础概念 多因子模型(Multiple-Factor Model, MFM)正是基于 APT 模型的思想发展出来的完整的风险模型。 多因子模型定量刻画了股票预期收益率与股票在每个因子上的因子载荷(风险敞口),以及每个因子每单位因子载荷&am…

什么是数据库?如何安装SQL Server(超详细版)

文章目录 什么是数据库数据库与数据库管理系统数据库系统之间的区别和联系数据库在生活中的应用 安装SQL Server数据库系统要求 安装步骤(超详细)安装前的准备 安装SSMS 什么是数据库 数据库,顾名思义,是存储数据的“仓库”。它不仅仅是简单的数据存储&…

2024年租用阿里云服务器多少钱一年?连夜整理分享

阿里云服务器租用价格表2024年最新,云服务器ECS经济型e实例2核2G、3M固定带宽99元一年,轻量应用服务器2核2G3M带宽轻量服务器一年61元,ECS u1服务器2核4G5M固定带宽199元一年,2核4G4M带宽轻量服务器一年165元12个月,2核…

jdk api之AbstractMethodError基础、应用、实战

博主18年的互联网软件开发经验,从一名程序员小白逐步成为了一名架构师,我想通过平台将经验分享给大家,因此博主每天会在各个大牛网站点赞量超高的博客等寻找该技术栈的资料结合自己的经验,晚上进行用心精简、整理、总结、定稿&…

博客部署002-centos安装nginx

1、centos 如何安装nginx? 在CentOS系统上安装Nginx的过程相对直接,通常可以通过系统自带的Yum包管理器来安装。以下是安装Nginx的最新稳定版的步骤: 1.1 更新系统软件包 在安装Nginx之前,首先确保系统软件包是最新的,运行…

Java——数据类型、运算符、逻辑控制、方法、数组

1.前置知识 Java是一门面向对象的编程语言,不仅吸收了C语言的各种优点,还摒弃了C里难以理解的多继承、指针等概念,因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表,极好地实现了面向对象理论…

精心整理-数据分类分级赋能企业数据安全建设资料合集

以下是资料目录,如需下载请前往知识星球下载:https://t.zsxq.com/18KTZnJMX 企业数据安全建设数据分类分级架构.pdf 企业数据分类分级模板.xls 数据分类分级的实践与挑战.pdf 数据分类分级制度评述.pdf 电信和互联网大数据安全管控分类分级实施指南.pdf …

瑞吉外卖实战学习-17、用户地址簿相关功能

用户地址簿相关功能 效果图1、根据规则创建相关文件2、新增收货地址接口3、列表查询页面以及设置默认地址 效果图 1、根据规则创建相关文件 2、新增收货地址接口 获取到传入的数据然后将id添加进去,然后存储到数据库 3、列表查询页面以及设置默认地址 list接口&am…

GPU部署ChatGLM3

首先,检查一下自己的电脑有没有CUDA环境,没有的话,去安装一个。我的电脑是4060显卡,买回来就自带这些环境了。没有显卡的话,也不要紧,这个懒人安装包支持CPU运行,会自动识别没有GPU,…

智能视频分析边缘AI盒子及应用场景:社区、校园、酒店、商场、餐饮门店、医院、港口等诸多领域

应用场景: 社区、校园、酒店、商场、餐饮门店、医院、港口等诸多领域 一、边缘AI盒子产品介绍 1、基于算法仓丰富算法,可针对不同场景进行算法灵活配置使用和远程实时更新迭代。 2、支持自定义视频通道算法执行计划。 3、支持根据事件名称、时间等进行预警事件视频…

【Easy云盘 | 第十三篇】分享模块(获取目录信息、获取文件信息、创建下载链接)

文章目录 4.4.7获取目录信息4.4.8获取文件信息4.4.9创建下载链接 4.4.7获取目录信息 明天做 4.4.8获取文件信息 明天做 4.4.9创建下载链接 明天做

FreeRTOSFreeRTOS列表和列表项

FreeRTOS列表和列表项 今天继续跟着正点原子学习FreeRTOS列表和列表项的内容。列表和列表项这个知识点用到了C语言链表的知识点。所以必须对C语言中的链表这个数据结构才能更好的理解这部分内容。TIPS:正点原子这节课内容讲的特别好,强烈推荐&#xff1…

08 | Swoole 源码分析之 Timer 定时器模块

原文首发链接:Swoole 源码分析之 Timer 定时器模块 大家好,我是码农先森。 引言 Swoole 中的毫秒精度的定时器。底层基于 epoll_wait 和 setitimer 实现,数据结构使用最小堆,可支持添加大量定时器。 在同步 IO 进程中使用 seti…

数据库系统概论(超详解!!!)第三节 关系数据库标准语言SQL(Ⅵ)

1.空值的处理 空值就是“不知道”或“不存在”或“无意义”的值。 一般有以下几种情况: 该属性应该有一个值,但目前不知道它的具体值 ;该属性不应该有值 ;由于某种原因不便于填写。 1.空值的产生 空值是一个很特殊的值&#x…

什么牌子开放式耳机好用?优选五大高分好物真诚分享

对于习惯长时间佩戴耳机的朋友来说,入耳式耳机固然能够提供较优质的音质体验。但是,由于其较为封闭的设计以及对耳洞的压迫,舒适感较差,长时间佩戴可能会对听力造成一定的影响。因此,开放式耳机的出现为音乐发烧友们提…

青风环境带您了解2024第13届生物发酵展

参展企业介绍 浙江青风环境股份有限公司创立于1998年,是一家集科研、生产及贸易为一体的高新技术企业。公司座落于浙江省丽水市水阁工业区,占地面积120亩,建筑面积近11万平方米,年产值可达20亿元,建有标准的冷&#x…

回归预测 | Matlab实现WOA-GPR鲸鱼算法优化高斯过程回归多变量回归预测

回归预测 | Matlab实现WOA-GPR鲸鱼算法优化高斯过程回归多变量回归预测 目录 回归预测 | Matlab实现WOA-GPR鲸鱼算法优化高斯过程回归多变量回归预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 Matlab实现WOA-GPR鲸鱼算法优化高斯过程回归多变量回归预测 1.Matlab实现…

期货学习笔记-MACD指标学习2

MACD底背离把握买入多单的技巧 底背离的概念及特征 底背离指的是MACD指标与价格低点之间的对比关系,这里需要明白的是MACD指标的涨跌动能和价格形态衰竭形态之间的关系,如果市场价格创新低而出现衰竭形态同时也有底背离形态的出现,此时下跌…