【实战】使用PCA可视化神经网络提取后的特征空间【附源码】

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】48.【基于深度学习的车辆检测追踪与流量计数系统】
49.【基于深度学习的行人检测追踪与双向流量计数系统】50.【基于深度学习的反光衣检测与预警系统】
51.【基于深度学习的危险区域人员闯入检测与报警系统】52.【基于深度学习的高密度人脸智能检测与统计系统】
53.【基于深度学习的CT扫描图像肾结石智能检测系统】54.【基于深度学习的水果智能检测系统】
55.【基于深度学习的水果质量好坏智能检测系统】56.【基于深度学习的蔬菜目标检测与识别系统】
57.【基于深度学习的非机动车驾驶员头盔检测系统】58.【太基于深度学习的阳能电池板检测与分析系统】
59.【基于深度学习的工业螺栓螺母检测】60.【基于深度学习的金属焊缝缺陷检测系统】
61.【基于深度学习的链条缺陷检测与识别系统】62.【基于深度学习的交通信号灯检测识别】
63.【基于深度学习的草莓成熟度检测与识别系统】64.【基于深度学习的水下海生物检测识别系统】
65.【基于深度学习的道路交通事故检测识别系统】66.【基于深度学习的安检X光危险品检测与识别系统】
67.【基于深度学习的农作物类别检测与识别系统】68.【基于深度学习的危险驾驶行为检测识别系统】
69.【基于深度学习的维修工具检测识别系统】70.【基于深度学习的维修工具检测识别系统】
71.【基于深度学习的建筑墙面损伤检测系统】72.【基于深度学习的煤矿传送带异物检测系统】
73.【基于深度学习的老鼠智能检测系统】74.【基于深度学习的水面垃圾智能检测识别系统】
75.【基于深度学习的遥感视角船只智能检测系统】76.【基于深度学习的胃肠道息肉智能检测分割与诊断系统】
77.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】78.【基于深度学习的心脏超声图像间隔壁检测分割与分析系统】
79.【基于深度学习的果园苹果检测与计数系统】80.【基于深度学习的半导体芯片缺陷检测系统】
81.【基于深度学习的糖尿病视网膜病变检测与诊断系统】82.【基于深度学习的运动鞋品牌检测与识别系统】
83.【基于深度学习的苹果叶片病害检测识别系统】84.【基于深度学习的医学X光骨折检测与语音提示系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

目录

  • 引言
  • 什么是PCA？
  • 为什么在计算机视觉中使用PCA？
  • 使用PyTorch实现PCA可视化
  • 步骤1：配置环境
  • 步骤2：加载预训练的ResNet50
  • 步骤3：准备数据集
  • 步骤4：提取特征
  • 步骤5：使用PCA
  • 步骤6：可视化结果
  • PCA可视化分析
  • 结论

引言

主成分分析（PCA）是一种强大的降维技术，用于分析高维数据并可视化其中的模式或变化。在这篇博客中，我们将使用PyTorch在实际环境中探索PCA可视化。通过利用PCA，我们可以更深入地了解特征空间，了解数据分布，并为更好的机器学习模型性能准备数据集。让我们深入了解细节。

img

什么是PCA？

PCA是一种统计方法，它减少了数据的维度，同时保留了尽可能多的可变性。它将数据转换为一组新的正交轴（主成分），其中前几个成分捕获数据中的大部分方差。PCA广泛用于：

  • 数据可视化：将数据还原为2D或3D以进行绘图。
  • 特征缩减：删除冗余特征以简化模型。
  • 领域理解：突出特征分布的差异。

为什么在计算机视觉中使用PCA？

在计算机视觉中，像ResNet50这样的模型从图像中提取高维特征。这些特征由于其复杂性而难以解释。PCA有助于：

  1. 可视化聚类：识别特征空间中的模式和聚类。
  2. 了解可变性：检测特征在类或条件之间的差异。
  3. 数据集：确保有意义的特征表示。

使用PyTorch实现PCA可视化

我们将使用从预训练的ResNet50模型中提取的特征，并使用PCA对其进行可视化。

步骤1：配置环境

首先，安装必要的库：

pip install torch torchvision matplotlib scikit-learn

步骤2：加载预训练的ResNet50

import torch
import torchvision.models as models
import torchvision.transforms as transforms
from torch.utils.data import DataLoader
from torchvision.datasets import ImageFolder
# Load ResNet50 Model
resnet50 = models.resnet50(pretrained=True)
resnet50.eval()  # Set the model to evaluation mode

# Remove the final classification layer to get features
feature_extractor = torch.nn.Sequential(*list(resnet50.children())[:-1])

步骤3：准备数据集

将数据集组织成与PyTorch的ImageFolder兼容的结构：

images/
    class1/
        image1.jpg
        image2.jpg
    class2/
        image3.jpg
        image4.jpg

加载数据集并应用必要的转换：

transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
dataset = ImageFolder('images', transform=transform)
dataloader = DataLoader(dataset, batch_size=16, shuffle=False)

步骤4：提取特征

使用ResNet50迭代数据集并提取特征：

features = []
labels = []
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
feature_extractor = feature_extractor.to(device)
with torch.no_grad():
    for images, targets in dataloader:
        images = images.to(device)
        outputs = feature_extractor(images).squeeze()  # Remove singleton dimensions
        features.append(outputs.cpu().numpy())
        labels.append(targets.numpy())
# Combine features and labels
features = np.concatenate(features, axis=0)
labels = np.concatenate(labels, axis=0)
# Flatten features (2048x1) for PCA
features = features.reshape(features.shape[0], -1)

步骤5：使用PCA

使用sklearn.decomposition.PCA将维度减少到2，以实现可视化：

from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
import numpy as np
# Apply PCA
pca = PCA(n_components=2)
reduced_features = pca.fit_transform(features)

步骤6：可视化结果

绘制简化的特征：

plt.figure(figsize=(10, 8))
scatter = plt.scatter(reduced_features[:, 0], reduced_features[:, 1], c=labels, cmap='viridis', alpha=0.7)
plt.colorbar(scatter, label='Class Labels')
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('PCA Visualization of ResNet50 Features')
plt.show()

img

PCA可视化分析

  1. 聚类分离：PCA有助于识别由不同类别形成的聚类。良好分离的聚类表明ResNet50特征是有意义的和可区分的。
  2. 聚类结果的解释：

举例说明：

  • 由于一致的成像条件，机器人图像可以形成更紧密的集群。
  • 由于环境的变化，无人机图像可能会显示分散的集群。
  1. 数据集验证：
  • 重叠的聚类可能表示跨类的相似特征，需要额外的预处理或数据集细化。
  1. 探索差异：
  • 检查主成分的解释方差比：
print("Explained Variance Ratio:", pca.explained_variance_ratio_)

结论

PCA是分析高维特征空间的宝贵工具，特别是在计算机视觉任务中。通过将PyTorch的ResNet50用于特征提取与PCA可视化相结合，我们可以：

  • 深入了解数据集。
  • 创建要素表达。
  • 识别模式以更好地设计模型。

此工作流程对于分割任务、分类问题和理解不同成像条件下的特征分布特别有用。

在这里插入图片描述

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/978035.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Lumoz Chain正式上线：AI 时代的新算力破局者

Lumoz Chain正式上线：AI 时代的新算力破局者

新的叙事和技术突破永远是推动行业前行的核心动力。当下，AI Agent无疑是最炙手可热的赛道之一。 当加密世界将目光投向AI领域时，大多数项目仍停留在以AI为工具或应用场景的层面，试图通过集成AI模型或优化链上功能来吸引用户。然而&#xff0c…
阅读更多...
《如何利用看板工具提升学习效率？》

《如何利用看板工具提升学习效率？》

从零开始：用看板工具打造高效学习管理系统 在当今这个信息爆炸的时代，知识更新换代的速度快得惊人，无论是学生、职场人士还是终身学习者，都面临着如何有效管理学习过程、提升学习效率的难题。而板栗看板这款软件，或许…
阅读更多...
基于STM32的智能垃圾分类与回收系统

基于STM32的智能垃圾分类与回收系统

1. 引言 传统垃圾处理方式存在分类效率低、资源浪费严重等问题，难以满足城市可持续发展的需求。本文设计了一款基于STM32的智能垃圾分类与回收系统，通过视觉识别、多传感器融合与自动化分拣技术，实现垃圾精准分类、压缩存储与资源回收&#…
阅读更多...
C++：dfs，bfs各两则

C++：dfs，bfs各两则

1.木棒 167. 木棒 - AcWing题库 乔治拿来一组等长的木棒，将它们随机地砍断，使得每一节木棍的长度都不超过 5050 个长度单位。 然后他又想把这些木棍恢复到为裁截前的状态，但忘记了初始时有多少木棒以及木棒的初始长度。 请你设计一个程序…
阅读更多...
Web端——超级马里奥【简化版】

Web端——超级马里奥【简化版】

1.介绍 这是一个简单的受超级马里奥启发的平台游戏演示！这个基于网络的游戏包括： 角色移动：使用箭头键让马里奥向左和向右移动，空格键或向上箭头键跳跃。跳跃平台：游戏中有多个可以跳跃的平台，包括经典的…
阅读更多...
PEFT介绍及其源码解析

PEFT介绍及其源码解析

PEFT库介绍 PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）是由 Hugging Face 开源的一个高效微调库，旨在通过少量可训练参数实现对大型预训练模型的快速适应，从而显著降低计算和存储成本。 核心功能与优势 多…
阅读更多...
osgEarth安装总结

osgEarth安装总结

第一步：安装OSG 直接通过git下载源码，使用cmake进行编译， git clone --depth 1 https://github.com/openscenegraph/OpenSceneGraph.git mkdir build cd build cmake .. make sudo make isntall编译过程中缺什么库，就安装什么库 …
阅读更多...
实体机器人在gazebo中的映射

实体机器人在gazebo中的映射

这一部分目的是将真实的机器人映射到gazebo中，使得gazebo中的其他虚拟机器人能识别到真实世界的wheeltec机器人。 真实机器人的型号的wheeltec旗下的mini_mec。 一、在wheeltec官方百度云文档中找到URDF原始导出功能包.zip 找到对应的包 拷贝到工作空间下 在原有…
阅读更多...
8、HTTP/1.0和HTTP/1.1的区别【高频】

8、HTTP/1.0和HTTP/1.1的区别【高频】

第一个是 长连接： HTTP/1.0 默认 短连接，（它也可以指定 Connection 首部字段的值为 Keep-Alive实现 长连接）而HTTP/1.1 默认支持 长连接，HTTP/1.1是基于 TCP/IP协议的，创建一个TCP连接是需要经过三次握手的…
阅读更多...
kafka-leader -1问题解决

kafka-leader -1问题解决

一. 问题： 在 Kafka 中，leader -1 通常表示分区的领导者副本尚未被选举出来，或者在获取领导者信息时出现了问题。以下是可能导致出现 kafka leader -1 的一些常见原因及相关分析： 1. 副本同步问题： 在 Kafka 集群中&…
阅读更多...
stm32hal库寻迹+蓝牙智能车(STM32F103C8T6)

stm32hal库寻迹+蓝牙智能车(STM32F103C8T6)

简介: 这个小车的芯片是STM32F103C8T6，其他的芯片也可以照猫画虎,基本配置差不多,要注意的就是,管脚复用,管脚的特殊功能,(这点不用担心,hal库每个管脚的功能都会给你罗列,很方便的.)由于我做的比较简单,只是用到了几个简单外设.主要是由带霍尔编码器电机的车模,电机…
阅读更多...
使用DeepSeek/ChatGPT等AI工具辅助编写wireshark过滤器

使用DeepSeek/ChatGPT等AI工具辅助编写wireshark过滤器

随着deepseek,chatgpt等大模型的能力越来越强大，本文将介绍借助deepseek，chatgpt等大模型工具，通过编写提示词，辅助生成全面的Wireshark显示过滤器的能力。 每一种协议的字段众多，流量分析的需求多种多样，…
阅读更多...
飞鱼科技游戏策划岗内推

飞鱼科技游戏策划岗内推

协助策划完成相关工作，包括但不仅限于策划配置，资料搜集，游戏体验； 游戏策划相关作品；游戏大赛经历；游戏demo制作经历；游戏公司策划岗位实习经历优先 内推码 DSZP7YFU
阅读更多...
解决中文乱码：字符编码全攻略 - ASCII、Unicode、UTF-8、GB2312详解

解决中文乱码：字符编码全攻略 - ASCII、Unicode、UTF-8、GB2312详解

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…
阅读更多...
Mesh自组网技术及应用

Mesh自组网技术及应用

前言： Mesh自组网随着无线技术发展，在消费领域最近比较有热度。当然应用的场景不限于普通消费领域，在工业、军事领域被也是越来越重要。 一、什么是无线Mesh技术 1.1 无线自组网概念 无线Mesh是一种智能、自组织、多跳、移动、对等、去中心…
阅读更多...
滑动验证组件-微信小程序

滑动验证组件-微信小程序

微信小程序-滑动验证组件&#xff0c;直接引用就可以了&#xff0c;效果如下&#xff1a; 组件参数&#xff1a; 1.enable-close&#xff1a;是否允许关闭&#xff0c;默认true 2.bind:onsuccess&#xff1a;验证后回调方法 引用方式&#xff1a; <verification wx:if&qu…
阅读更多...
11.Docker 之分布式仓库 Harbor

11.Docker 之分布式仓库 Harbor

Docker 之分布式仓库 Harbor Docker 之分布式仓库 Harbor1. Harbor 组成2. 安装 Harbor Docker 之分布式仓库 Harbor Harbor 是一个用于存储和分发 Docker 镜像的企业级 Registry 服务器&#xff0c;由 VMware 开源&#xff0c;其通过添加一些企业必需的功能特性&#xff0c;例…
阅读更多...
(一)趣学设计模式 之 单例模式！

(一)趣学设计模式 之 单例模式！

目录 一、啥是单例模式&#xff1f;二、为什么要用单例模式&#xff1f;三、单例模式怎么实现&#xff1f;1. 饿汉式&#xff1a;先下手为强&#xff01; &#x1f608;2. 懒汉式&#xff1a;用的时候再创建&#xff01; &#x1f634;3. 枚举&#xff1a;最简单最安全的单例&a…
阅读更多...
Chrome 浏览器（版本号49之后）‌解决跨域问题

Chrome 浏览器（版本号49之后）‌解决跨域问题

谷歌浏览器解决跨域问题 如何查看 Chrome 浏览器版本号 打开 Chrome 浏览器点击右上角的三个点&#xff0c;打开“设置”页面 点击“关于Chrome” 查看版本号 解决跨域操作&#xff1a;windows系统为例 方法一&#xff1a;命令行启动方式&#xff08;最简单&#xff09; …
阅读更多...
python中的JSON数据格式

python中的JSON数据格式

文章目录 什么是json主要功能Python数据和Json数据的相互转化 什么是json JSON是一种轻量级的数据交互格式。可以按照JSON指定的格式去组织和封装数据。JSON本质上是一个带有特定格式的字符串。 主要功能 json就是一种在各个编程语言中流通的数据格式&#xff0c;负责不同编…
阅读更多...
最新文章

Copyright @ 2022~2023