计算机视觉（五）深度学习基础

文章目录

  • 深度学习基础
    • 卷积神经网络与传统神经网络区别
      • 深度学习与神经网络的区别
    • 目标函数
      • 选择合适的目标函数
      • Softmax层
    • 改进的梯度下降
      • 梯度消失的直观解释
      • 激活函数
      • 学习步长
      • SGD的问题
        • Momentum动量
        • Nesterov Momentum
        • Adagrad
        • RMSprop
        • Adam
      • 各种梯度下降算法比较
      • 关于算法选择的建议
      • Batch Normalization的由来
    • 避免过适应
        • 早期停止训练
        • 权重衰减
        • Dropout
          • 测试时权重应减小
  • CNN初步介绍
    • CNN的基本组件
      • CNN卷积层
      • CNN池化层
      • CNN-Softmax层
    • 池化层的误差反向传播
      • 卷积层计算![在这里插入图片描述](https://img-blog.csdnimg.cn/be682bd439e04b999fe2448259bf47e5.png)
      • 卷积层运算的展开表示
    • 卷积层的误差反向传播

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

在这里插入图片描述

目标函数

选择合适的目标函数

在这里插入图片描述
在这里插入图片描述

Softmax层

在这里插入图片描述

改进的梯度下降

梯度消失的直观解释

在这里插入图片描述

激活函数

在这里插入图片描述
在这里插入图片描述

学习步长

在这里插入图片描述

SGD的问题

在这里插入图片描述
存在马鞍面，使我们的训练卡住，于是提出下面方法：

Momentum动量

在这里插入图片描述

Nesterov Momentum

在这里插入图片描述
先利用“惯性”，“走”一步。避免一开始，就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
在这里插入图片描述

RMSprop

改进的Adagrad。使：
小的可以变大，大的可以变小。
在这里插入图片描述

Adam

在这里插入图片描述

各种梯度下降算法比较

在这里插入图片描述
在这里插入图片描述

关于算法选择的建议

在这里插入图片描述

Batch Normalization的由来

在这里插入图片描述
在这里插入图片描述
量纲不同，需要进行归一化处理。

避免过适应

在这里插入图片描述

早期停止训练

在这里插入图片描述

权重衰减

在这里插入图片描述

Dropout

在这里插入图片描述

测试时权重应减小

在这里插入图片描述

CNN初步介绍

CNN的基本组件

在这里插入图片描述

CNN卷积层

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

CNN池化层

在这里插入图片描述
通道数没变，尺度大小变了。

CNN-Softmax层

在这里插入图片描述

池化层的误差反向传播

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

卷积层计算在这里插入图片描述

卷积层运算的展开表示

在这里插入图片描述
与全连接是有区别的。

卷积层的误差反向传播

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
转了180度

在这里插入图片描述
在这里插入图片描述
下面是残差在这里插入图片描述

下面是梯度·在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/58877.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

redis入门2-命令

redis入门2-命令

Redis的基本数据类型 redis的基本数据类型（value）: string,普通字符串 hash（哈希）,适合存储对象 list(列表),按照插入顺序排序，可以由重复的元素 set(无序集合)，没有重复的元素 sorted set(有序集合)&…
阅读更多...
华为数通HCIP-PIM原理与配置

华为数通HCIP-PIM原理与配置

组播网络概念 组播网络由组播源，组播组成员与组播路由器组成。 组播源的主要作用是发送组播数据。 组播组成员的主要作用是接收组播数据，因此需要通过IGMP让组播网络感知组成员位置与加组信息。 组播路由器的主要作用是将数据从组播源发送到组播组成员。…
阅读更多...
【Ansible】Ansible自动化运维工具之playbook剧本搭建LNMP架构

【Ansible】Ansible自动化运维工具之playbook剧本搭建LNMP架构

LNMP 一、playbooks 分布式部署 LNMP1. 环境配置2. 安装 ansble3. 安装 nginx3.1 准备 nginx 相关文件3.2 编写 lnmp.yaml 的 nginx 部分3.3 测试 nginx4. 安装 mysql4.1 准备 mysql 相关文件4.2 编写 lnmp.yaml 的 mysql 部分4.3 测试 mysql5. 安装 php5.1 编写 lnmp.yaml 的 …
阅读更多...
Datax 数据同步-使用总结（一）

Datax 数据同步-使用总结（一）

1，实时同步？ datax 通常做离线数据同步使用。 目前能想到的方案 利用 linux 的定时任务时间戳的方式做增量同步。 2，同步速度快不快？ 单表同步速度还是挺快的 但是如果遇到复杂的 sql 查询，其同步效率&#xff0c…
阅读更多...
opencv-34 图像平滑处理-双边滤波cv2.bilateralFilter()

opencv-34 图像平滑处理-双边滤波cv2.bilateralFilter()

双边滤波（BilateralFiltering）是一种图像处理滤波技术，用于平滑图像并同时保留边缘信息。与其他传统的线性滤波方法不同，双边滤波在考虑像素之间的空间距离之外，还考虑了像素之间的灰度值相似性。这使得双边滤波能够有…
阅读更多...
《面试1v1》ElasticSearch 和 Lucene

《面试1v1》ElasticSearch 和 Lucene

🍅 作者简介：王哥，CSDN2022博客总榜Top100🏆、博客专家💪 🍅 技术交流：定期更新Java硬核干货，不定期送书活动 🍅 王哥多年工作总结：Java学习路线总结&#xf…
阅读更多...
问道管理：沪指窄幅震荡跌0.18%，有色、汽车等板块走低

问道管理：沪指窄幅震荡跌0.18%，有色、汽车等板块走低

3日早盘，沪指盘中窄幅震动下探，创业板逆市上扬；两市半日成交不足5000亿元，北向资金净卖出超15亿元。 到午间收盘，沪指跌0.18%报3255.88点，深成指跌0.23%，创业板指涨0.2%；两市算计成交…
阅读更多...
6.如何用CSV文件生成异构图数据集

6.如何用CSV文件生成异构图数据集

我们将使用GroupLens研究小组收集的MovieLens数据集。 这个数据集描述了MovieLens的五星评级和标记活动。该数据集包含来自600多名用户的9000多部电影的约10万个评分。我们将使用该数据集生成两种节点类型，分别保存电影和用户的数据，以及一种连接…
阅读更多...
两个镜头、视野、分辨率不同的相机（rgb、红外）的视野校正

两个镜头、视野、分辨率不同的相机（rgb、红外）的视野校正

文章目录 背景实际效果查找资料资料1资料2 解决方案最终结果 背景 目前在做的项目用到两个摄像头，一个是热成像摄像头、另一个是普通的rgb摄像头。 一开始的目标是让他们像素级重合，使得点击rgb图像时，即可知道其像素对应的温度。但是在尝试…
阅读更多...
spark history网络流量占用高问题记录

spark history网络流量占用高问题记录

生产环境遇到一台机器网络流量占用高告警 由于监控只有机器总的网络流量，没有具体进程的 于是只能登陆服务器，安装nethogs：yum install nethogs 然后执行nethogs命令查看进程流量 观察到主要是spark history server这个进程占用流量高(最高…
阅读更多...
【树】 二叉树 堆与堆排序 平衡(AVL)树 红黑(RB)树

【树】 二叉树 堆与堆排序 平衡(AVL)树 红黑(RB)树

目录 1 树1.1 认识树1.2 树的相关概念1.3 树的表示孩子兄弟表示法 2 二叉树2.1 概念2. 2 特殊二叉树2.3 二叉树的性质2.4 二叉树的存储结构 3 堆 — 完全二叉树的顺序结构实现3.1 堆的概念3.2 核心代码3.3 堆应用1 堆排序2 TOP-K问题 4 二叉树的链式存储4.1 二叉链结构与初始化…
阅读更多...
4G WWAN设备类型

4G WWAN设备类型

WWAN设备类型 USB dongle是设备接入互联网的重要方式之一，典型的通过USB接口与主设备连接，然后主设备通过4G/5G接入互联网，作为移动宽带设备，它有那些设备类型及暴露方式呢？ 移动宽带设备类型：ModemManage…
阅读更多...
vue-cli3项目优化

vue-cli3项目优化

首先添加两个量化的插件，方便对项目目前的情况进行分析： 1.添加speed-measure-webpack-plugin插件 —量化的指标可以看出前后对比 使用步骤： 安装speed-measure-webpack-plugin依赖 npm install speed-measure-webpack-plugin -D配置vue.c…
阅读更多...
【微信小程序】van-uploader实现文件上传

【微信小程序】van-uploader实现文件上传

使用van-uploader和wx.uploadFile实现文件上传，后端使用ThinkPHP。 1、前端代码 json：引入van-uploader {"usingComponents": {"van-uploader": "vant/weapp/uploader/index"} }wxml：deletedFile是删除文件函…
阅读更多...
【Linux 网络】 传输层协议之TCP协议 TCP的三次握手和四次挥手

【Linux 网络】 传输层协议之TCP协议 TCP的三次握手和四次挥手

TCP协议 TCP协议段格式谈谈什么是 “可靠” 和 “不可靠”TCP协议段——序号与确认序号TCP协议段——窗口大小TCP协议段 —— 六个标志位确认应答机制（ACK）超时重传机制连接管理机制TCP 的三次握手四次挥手TCP三次握手四次挥手总结图 滑动窗口流量控制拥…
阅读更多...
HCIP中期实验

HCIP中期实验

1、该拓扑为公司网络，其中包括公司总部、公司分部以及公司骨干网，不包含运营商公网部分。 2、设备名称均使用拓扑上名称改名，并且区分大小写。 3、整张拓扑均使用私网地址进行配置。 4、整张网络中，运行OSPF协议或者BGP协议的设备…
阅读更多...
LabVIEW深度相机与三维定位实战（下）

LabVIEW深度相机与三维定位实战（下）

‍‍🏡博客主页： virobotics的CSDN博客：LabVIEW深度学习、人工智能博主 🎄所属专栏：『LabVIEW深度学习实战』 🍻上期文章：『LabVIEW深度相机与三维定位实战（上）』 &#…
阅读更多...
Chrome 75不支持保存成mhtml的解决方法

Chrome 75不支持保存成mhtml的解决方法

在Chrome 75之前，可以设置chrome://flags -> save as mhtml来保存网页为mhtml。 升级新版，发现无法另存为/保存网页为MHTML了。 参考https://jingyan.baidu.com/article/a3761b2b7e39ec5576f9aad9.html 在网上搜索无果后，只得从chromium项…
阅读更多...
npm i 报错项目启动不了解决方法

npm i 报错项目启动不了解决方法

1.场景 在另一台电脑低版本node环境跑的react项目，换到另一台电脑node18环境执行npm i时候报错 2.解决方法 脚本前加上set NODE_OPTIONS--openssl-legacy-provider
阅读更多...
医学影像PACS系统源码：多功能服务器和阅片系统

医学影像PACS系统源码：多功能服务器和阅片系统

PACS系统是以最新的IT技术为基础，遵循医疗卫生行业IHE/DICOM3.0和HL7标准，开发的多功能服务器和阅片系统。通过简单高性能的阅片功能，支持繁忙时的影像诊断业务，拥有保存影像的院内Web传输及离线影像等功能，同时具有备…
阅读更多...
最新文章

Copyright @ 2022~2023