5.10.6 用于乳腺癌超声图像分类的Vision Transformer

医学超声(US)成像由于其易用性、低成本和安全性已成为乳腺癌成像的主要方式。卷积神经网络(CNN)有限的局部感受野限制了他们学习全局上下文信息的能力。利用 ViT 对使用不同增强策略的乳房 US 图像进行分类。

卷积神经网络(CNN)已成为自动医学图像分析应用(例如图像分类)中最常见的网络。然而,由于其局部感受野,这些模型在学习长距离信息方面表现不佳,限制了它们执行视觉任务的能力。


用于图像分类应用的 Vision Transformer (ViT) 架构。这些模型中的整体训练过程基于将输入图像分割为 补丁 并将每个嵌入的补丁视为 NLP 中的单词。这些模型使用自注意力模块来学习这些嵌入补丁之间的关系。

为了处理图像数据,某些深度学习模型(特别是基于Transformer的模型)会首先将输入图像分割成一系列较小的、重叠或非重叠的图像块(patches)。这些图像块可以被视为图像的局部区域或特征。然后,每个图像块都会通过一个嵌入层(embedding layer)或类似的转换函数,将其转换成一个固定维度的向量表示。这个向量表示就称为嵌入的补丁。

 2. 相关工作

2.1 基于CNN的分类网络

ViT模型不像CNNs那样具有一些内置的归纳偏置,如平移等价性。这可能使得ViT模型在某些任务上更加灵活和通用。

归纳偏置(Inductive Biases):模型在训练数据前就已经具备的一些先验知识或假设。

平移等价性(Translation Equivalence):这是指无论图像中的某个特征出现在什么位置,CNN都能有效地识别和提取该特征。这是因为CNNs中的卷积操作是局部和权重共享的,使得模型对图像中的平移变换具有不变性。

 2.2 Vision Transformer

Vision Transformer 在大规模训练数据集上进行训练时,在图像分类应用中表现出优于 SOTA CNN 的性能。

3. 方法

3.1 数据集和评价指标

第一个数据集其中包含从 600 名女性收集的 780 张乳房 US 图像(称为 BUSI),平均图像大小为 500 x 500 像素。该数据集包含 133 个正常图像、437 个恶性肿块和 210 个良性肿瘤。

第二个数据集被视为数据集 B,包括 163 个图像,平均大小为 760 x 570 像素,分为两类:110 个良性肿块和 53 个癌肿块。

3.2 VIT 架构

输入图像在 ViT 模型中被分割成多个补丁。一系列一维补丁嵌入被馈送到 Transformer 编码器,其中自注意力模块用于计算每个隐藏层输出的基于关系的加权和。因此,该策略允许 Transformer 学习输入图像中的全局依赖性。

3.3 模型

模型中,Ti、S、B 是微型、小型和基础模型的表示。

3.4 微调细节

将所有数据集分别分成 85% 和 15% 用于训练和测试。所有实验都是在固定的训练和测试数据集上进行的,以进行比较。 

输出层通过具有 softmax 激活函数的分类器进行更改。使用的优化器是 Adam,模型训练了 30 个 epoch。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/618273.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

你知道C++多少——默认成员函数

🌈个人主页:小新_- 🎈个人座右铭:“成功者不是从不失败的人,而是从不放弃的人!”🎈 🎁欢迎各位→点赞👍 收藏⭐️ 留言📝 🏆所属专栏&#xff1…

Linux中gitlab-runner部署使用备忘

环境: 操作系统::CentOS8 gitlab版本:13.11.4 查看gitlab-runner版本 可以从https://packages.gitlab.com/app/runner/gitlab-runner/search找到与安装的gitlab版本相近的gitlab-runner版本以及安装命令等信息,我找到与13.11.4相…

网络 | 应用层-websocket协议概述与握手过程解析

背景:这里为了实现消息实时传输决定引入websocket协议。 不管是发送消息还是接收消息,都需要实时传输,张三发给李四,李四立马就能收到,基于HTTP实现是有些困难的。 但轮询方式也带来了一些问题 1、消耗更多系统资源&…

设计模式——模板设计模式(Template Method)

模板设计-base 什么是模板? 举个简单的例子,以AABB的格式,写出一个词语,你可能会想到,明明白白,干干净净等, 这个AABB就是一个模板,对模板心中有了一个清晰的概念之后,…

draw.text((left, top - 15), text,font=font, fill=“green”)

这是一个Python PIL库中的方法,用于在图片上绘制文本。具体来说,它可以在指定的位置绘制指定的文本,并使用指定的字体、颜色等参数进行渲染。其中,left和top是文本绘制的左上角坐标,text是要绘制的文本内容&#xff0c…

揭秘高效引流获客的艺术:转化技巧大公开

在数字化营销的海洋中,每个企业都如同一艘努力航行的船,而流量便是推动船只前行的风帆。如何有效吸引并获取潜在客户,即所谓的“引流获客”,已成为企业市场营销策略中不可或缺的一环。本文将详细探讨几种实用且高效的引流获客技巧…

Vue从入门到实战Day04

一、组件的三大组成部分(结构/样式/逻辑) 1. scoped样式冲突 默认情况:写在组件中的样式会全局生效 -> 因此很容易造成多个组件之间的样式冲突问题。 1. 全局样式:默认组件中的样式会作用到全局 2. 局部样式:可以…

0X JavaSE-- UML、

# Unified Modeling Language UML 统一建模语言 UML 是一种图形化的语言。 UML 不是专门为 Java 准备的。 只要是面向对象的编程语言,开发前的设计,都需要画 UML 图进行系统设计。 最常用的四个 UML 图是 类图(Class Diagram)&…

微信小程序踩坑,skyline模式下,简易双向绑定无效

工具版本 基础库版本 Skline模式 页面json设置 问题描述 skyline模式下,textarea,input标签设置简易双向绑定 model:value是无效的,关闭skyline模式就正常使用了 截图展示 这里只展示了textarea标签,input标签的简易双向绑定也是无效的 总结 我在文档里面是没找到skyline里面不…

考研踩坑经验分享

文章目录 写在前面自身情况简介自身学习路线优点坑点 学习路线建议1、2和3月份3、4和5月份6、7和8月份9、10月份11、12月份 一些私货建议结尾 写在前面 考研是一件非常有盼头的事,但绝对不是一件容易的事。 如果你不能做好来年三月份出成绩时,坦然接受…

英语复习之英语形近词总结(四)

英语形近词总结复习第四部分: 单词 释义例句 genuine 英 /ˈdʒenjuɪn/ 美 /ˈdʒenjuɪn/ adj.真实的,真正的;诚恳的 1.Only genuine refugees can apply for asylum. 只有真正的难民才能申请政治避难。 《牛津词典》 2.This isnt a genui…

Leaflet.canvaslabel在Ajax异步请求时bindPopup无效的解决办法

目录 前言 一、场景重现 1、遇到问题的代码 2、问题排查 二、通过实验验证猜想 1、排查LayerGroup和FeatureGroup 2、排查Leaflet.canvaslabel.js 三、柳暗花明又一村 1、点聚类的办法 2、歪打正着 总结 前言 在上一篇博客中介绍了基于SpringBoot的全国风景区WebGIS按…

扑克游戏程序代码,使用QT,C++ (price 600 不包含文档)

wx:help-assignment code price: 600 (不包含文档!不包含文档!不包含文档!) 扑克游戏程序代码,使用QT,C 1.作业的目的是 在这个作业中,你将得到一组要求,使用本模块中涵…

java项目之英语知识应用网站源码(springboot+vue+mysql)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的英语知识应用网站。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 英语知识应用网站的主要…

kafka安装及收发消息

kafka需要与zookeeper配合使用,但是从2.8版本kafka引入kraft,也就是说在2.8后,zookeeper和kraft都可以管理kafka集群,这里我们依然采用zookeeper来配合kafka。 1、首先我们下载zookeeper 下载地址为 https://zookeeper.apache.org…

macOS12安装 php8.1和apache

1. 安装php 8.1 macOS12不再自带php brew tap shivammathur/php 查看可安装版本 brew search php 安装指定版本 brew install php8.1 环境配置 vim ~/.zshrc export PATH"/usr/local/opt/php8.1/bin:$PATH" export PATH"/usr/local/opt/php8.1/sbin:$PAT…

《工具分享-整合功能网页》标星5.3k⭐开发人员的在线工具集:it-tools

IT Tools - 为方便开发人员提供的在线工具 部署自己的it-tools: 有两个版本,目前有中文支持。 直接部署使用docker指令获取出来的是英文的: 英文版: docker run -d --name it-tools --restart unless-stopped -p 8080:80 corentinth/it-…

第81天: 代码审计-PHP 项目MVC 注入CNVD 拿 1daySQL监控动态调试

目录 前置知识 正则表达式挖掘思路(通用漏洞思路) 功能点挖掘思路(通用漏洞思路) 案例一:数据库监控-QQ 业务源码系统-(无过滤) 案例二:正则表达式-Bluecms 源码系统-(无过滤) 案例三: CNVD 拿 1DAY-梦想 CMS 源码系统-(有过滤) 梦想 …

二、使用插件一键安装HybridCLR

预告 本专栏将介绍如何使用这个支持热更的AR开发插件,快速地开发AR应用。 专栏: Unity开发AR系列 插件简介 通过热更技术实现动态地加载AR场景,简化了AR开发流程,让用户可更多地关注Unity场景内容的制作。 热更方案 基于Hybri…

STM32系统架构

以下是STM32系统架构中的各个重要组件和功能: 组件描述Cortex-M内核ARM Cortex-M系列内核,如M0、M0、M3、M4、M7等Flash存储器存储程序代码和数据SRAM存储程序运行时数据和堆栈外设接口GPIO、SPI、I2C、UART、TIM、ADC、DAC、USB、CAN、Ethernet等时钟和…