深度学习中的FLOPs补充

 学习了博主的介绍(深度学习中的FLOPs介绍及计算(注意区分FLOPS)-CSDN博客)后,对我不理解的内容做了一点补充。 链接放到下边啦

https://blog.csdn.net/qq_41834400/article/details/120283103


FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。

1 全连接网络中FLOPs的计算 博主说的很详细了就不介绍了

2 解释一下CNN中FLOPs的计算中 我不理解的地方

生成输出特征图的一个通道的 一个像素点的计算过程

        对于每个输入通道,我们有K*K次乘法 和 K^2 - 1次加法。因此,单个输入通道的计算次数为:K^2次乘法+K^2 - 1次加法

注意K^2 - 1是卷积核和输入特征图对应元素相乘后 得到的K*K个数,把他们 对应相加的过程!!!!!!

总共的计算次数为:2K^2 - 1

所有输入通道的计算次数

对于所有C_{in} 个输入通道,还需要将所有通道的结果相加形成输出的一个通道的特征图。因此,每个输出像素点需要额外的 C_{in}-1次加法。因此,总的计算次数为:

C_{in} \times (2K^2 - 1) + (C_{in} - 1) = C_{in} \times 2K^2 - C_{in} + C_{in} - 1 = 2C_{in} \times K^2 - 1

也就是博主提到的下边这个过程

若考虑到偏置,可以看看卷积操作中,偏置是怎么起作用的,参考这个博主的

https://blog.csdn.net/qq_42103167/article/details/105056598?spm=1001.2014.3001.5506

(每个卷积核是和输入特征图的通道是一样的!!!)偏置是在输出特征图的每个像素点的卷积操作完成后(比如三通道,三次卷积操作后),加上的。所以一次卷积操作偏置加1。

整个输出特征图的计算次数

(2C_{in} \times K^2 - 1) \times H \times W

所有输出通道的计算次数

由于有 C_{out}个输出通道,因此总的计算次数为:(2C_{in} \times K^2 - 1) \times H \times W \times C_{out}

卷积层FLOPs的计算公式如下(不考虑bias时有-1,有bias时没有-1):

\text{FLOPs} = (2C_{in} \times K^2 - 1) \times H \times W \times C_{out}

感觉博主推荐的链接也不错 ,有空看看

(60 封私信 / 82 条消息) CNN 模型所需的计算力(flops)和参数(parameters)数量是怎么计算的? - 知乎 (zhihu.com)

分享一个FLOPs计算神器 - 简书 (jianshu.com)

我们可以发现,具有相似的FLOPs的网络,执行的速度却不一样。有的相差还挺大。
使用FLOP作为计算复杂度的唯一指标是不充分的。

为什么不能只用FLOPs作为指标呢?
作者认为有如下几个原因:

  1. FLOPs没有考虑几个对速度有相当大影响的重要因素。 2)计算平台的不同。

  2. FLOPs没有考虑几个对速度有相当大影响的重要因素
    MAC和并行度

链接:https://www.jianshu.com/p/b1ceaa7effa8
 

CNN解说员 (poloclub.github.io)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/796783.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

车流量统计YOLOV8+DEEPSORT

车流量统计,YOLOV8NANODEEPSORT资源-CSDN文库 车流量统计YOLOV8DEEPSORT,目前支持PYTHON,C开发 PYTHON版本,需要YOLOV8,依赖PYTORCH C版本,只需要OPENCV

4K60无缝一体矩阵 HDMI2.0功能介绍

关于GF-HDMI0808S 4K60无缝一体矩阵的功能介绍,由于直接针对GF-HDMI0808S型号的具体信息较少,我将结合类似4K60无缝HDMI矩阵的一般功能特性和可能的GF-HDMI0808系列产品的特点来进行说明。请注意,以下信息可能不完全针对GF-HDMI0808S型号&…

【Vscode】显示多个文件 打开多个文件时实现标签栏多行显示

Vscode显示多个文件&VSCode打开多个文件时实现标签栏多行显示 写在最前面一、解决打开文件的时候只显示一个tab的办法解决办法如下: 二、文件标签栏多行显示设置步骤: 🌈你好呀!我是 是Yu欸 🌌 2024每日百字篆刻时…

记录些Redis题集(3)

分布式锁 分布式锁是一种用于在分布式系统中实现互斥访问的机制,它可以确保在多个节点、或进程同时访问共享资源。如果没有适当的锁机制,就可能导致数据不一致或并发冲突的问题。 分布式锁需要的介质 需要一个多个微服务节点都能访问的存储介质&#…

实战演练-2021年电赛国一之三端口DC-DC变换器

文章目录 前言一、题目二、题目分析1、题目要求解析2、题目方案选定方案一(使用buck-boost电路+双向DC-DC电路(前端))方案二(使用同步整流Boost升压电路+双向DC-DC电路(前端))方案三(使用同步整流Boost升压…

打造你的智能家居指挥中心:基于STM32的多协议(zigbee、http)网关(附代码示例)

1. 项目概述 随着物联网技术的蓬勃发展,智能家居正逐步融入人们的日常生活。然而,市面上琳琅满目的智能家居设备通常采用不同的通信协议,导致不同品牌设备之间难以实现互联互通。为了解决这一难题,本文设计了一种基于STM32的多协…

我的AI音乐梦:ChatGPT帮我做专辑

​🌈个人主页:前端青山 🔥系列专栏:AI篇 🔖人终将被年少不可得之物困其一生 依旧青山,本期给大家带来ChatGPT帮我做音乐专辑 嘿,朋友们! 想象一下,如果有个超级聪明的机器人能帮你写…

【Unity学习笔记】第十九 · 物理引擎约束求解解惑(LCP,最优,拉格朗日乘数法,SI,PGS,基于冲量法)

转载请注明出处: https://blog.csdn.net/weixin_44013533/article/details/140309494 作者:CSDN|Ringleader| 在学习物理引擎过程中,有几大问题一直困扰着我: 约束求解到底是LCP还是带约束最优问题?约束求解过程中拉格朗日乘数法…

春招冲刺百题计划|堆

Java基础复习 Java数组的声明与初始化Java ArrayListJava HashMapJava String 类Java LinkedListJava Deque继承LinkedListJava SetJava 队列优先队列:第二题用到了 第一题:215. 数组中的第K个最大元素 可以直接使用Arrays.sort()快排,然后return nums…

修正版头像上传组件

修正版头像上传组件 文章说明核心源码展示运行效果展示源码下载 文章说明 在头像剪切上传一文中,我采用div做裁剪效果,感觉会有一些小问题,在昨天基于canvas绘制的功能中改进了一版,让代码变得更简洁,而且通用性相对高…

ChatGPT使用姿势

使用上的痛点 用的不好:你经常会感觉到 ChatGPT 回答的好空,没有太多参考价值无处去用:有了 GPT 之后,发现自己好像并没有什么好问的,不知道可以用 GPT 来干嘛。 如何使用AI 核心心法:GPT 生成的答案质量…

纯技术分享:淘宝商品详情原数据接口参数解析

item_get_app-获得淘宝app商品详情原数据 公共参数 名称类型必须描述keyString是调用key(必须以GET方式拼接在URL中)secretString是调用密钥api_nameString是API接口名称(包括在请求地址中)[item_search,item_get,item_search_s…

【机器学习】使用决策树分类器预测汽车安全性的研究与分析

文章目录 一、决策树算法简介决策树的结构分类和回归树 (CART)决策树算法术语决策树算法直觉 二、属性选择度量信息增益熵 基尼指数计算分割基尼指数的步骤 三、决策树算法中的过度拟合避免过度拟合的方法 四、导入库和数据可视化探索性数据分析重命名列名查看数据集的总结信息…

WAF基础介绍

WAF 一、WAF是什么?WAF能够做什么 二 waf的部署三、WAF的工作原理 一、WAF是什么? WAF的全称是(Web Application Firewall)即Web应用防火墙,简称WAF。 国际上公认的一种说法是:Web应用防火墙是通过执行一…

小零食,大智慧!连锁零食店如何选择收银?收银系统源码

近几年专业的散装零食店非常的火热,像百草味、良品铺子、大嘴零食、来伊份等都大受欢迎。而传统超市的散装零食区则是日益冷落,小超市多数干脆放弃了散装。 休闲零食作为快消品的一类,是大家工作闲暇、生活休闲的必备食品。随着人们生活质量…

前端状态管理工具pinia:pinia是什么?相较于Vuex,pinia有什么优势,如何手动添加pinia到Vue3项目中

1.什么是pinia? Pinia是Vue的最新状态管理工具,是Vuex的替代品。 2.相较于Vuex,pinia有什么优势? 1.提供更加简单的API(去掉了mutation) 倘若你学习过vuex,你一定会发现很多很多不合理的地方,实现一个功能可能要在state定义数据,在muta…

【前端】零基础学会编写CSS

一、什么是CSS CSS (Cascading Style Sheets,层叠样式表)是一种是一种用来为结构化文档(如 HTML 文档)添加样式(字体、间距和颜色等)的计算机语言,能够对网页中元素位置的排版进行像素级别的精…

前端练习小项目——方向感应名片

前言:在学习完HTML和CSS之后,我们就可以开始做一些小项目了,本篇文章所讲的小项目为——方向感应名片 ✨✨✨这里是秋刀鱼不做梦的BLOG ✨✨✨想要了解更多内容可以访问我的主页秋刀鱼不做梦-CSDN博客 在开始学习之前,先让我们看一…

卷积神经网络——LeNet——FashionMNIST

目录 一、文件结构二、model.py三、model_train.py四、model_test.py 一、文件结构 二、model.py import torch from torch import nn from torchsummary import summaryclass LeNet(nn.Module):def __init__(self):super(LeNet,self).__init__()self.c1 nn.Conv2d(in_channe…

基于SSM的校园一卡通管理系统的设计与实现

摘 要 本报告全方位、深层次地阐述了校园一卡通管理系统从构思到落地的整个设计与实现历程。此系统凭借前沿的 SSM(Spring、Spring MVC、MyBatis)框架精心打造而成,旨在为学校构建一个兼具高效性、便利性与智能化的一卡通管理服务平台。 该系…