【机器学习系列】M3DM工业缺陷检测部署与训练

一.基础资料

1.Git 地址

地址

2.issues

issues

3.参考

参考 csdn

二.服务器信息

1.GPU 服务器

  • GPU 服务器自带 CUDA 安装(前提是需要勾选上)
  • CUDA 需要选择大于 11.3 的版本
  • 登录服务器后会自动安装 GPU 驱动

2.CUDA 安装

GPU 服务器自带 CUDA

CUDA 版本查看

image-20240303211645896

3.登录信息

删除指定主机的秘钥:

ssh-keygen -R 47.107.139.237

ssh-keygen -R 47.107.139.237 的作用是从 known_hosts 文件中删除指定主机的密钥。known_hosts 文件是 SSH 用来存储已知主机的公钥的文件。通常情况下，当你首次连接到一个主机时，SSH 会将该主机的公钥添加到 known_hosts 文件中，以后的连接中会验证主机的公钥是否匹配，以确保连接的安全性。使用 -R 选项可以从该文件中删除指定主机的条目，这在你知道主机的密钥可能已经发生变化或需要清理旧密钥时很有用。

登录信息:

#
sshpass -p xxxxx ssh -A -g root@47.107.139.237

# 给豪哥的
47.107.139.237
root
xxxxx

4.查询系统信息

[root@lavm-ikopaz5aoj ~]# uname -a
Linux lavm-ikopaz5aoj 3.10.0-1160.el7.x86_64 #1 SMP Mon Oct 19 16:18:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
[root@lavm-ikopaz5aoj ~]# cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)
[root@lavm-ikopaz5aoj ~]#

三.基础环境

1.安装 git

sudo apt update
sudo apt install git
git --version

2.环境准备

Ubuntu 18.04
Python 3.8
Pytorch 1.9.0
CUDA 11.3

3.安装 conda

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh

~/miniconda3/bin/conda init bash
~/miniconda3/bin/conda init zsh

vim ~/.bashrc
export PATH=$PATH:~/miniconda3/bin
source ~/.bashrc

4.Python 安装

建议用 conda 安装 python

# 创建虚拟环境
conda create -n m3dm python=3.8

# 进入虚拟环境
conda activate m3dm

5.Pytorch 安装

# torch版本---github要求的
pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

# 指定cuda==11.3时,pytorch的版本pytorch==1.12.1
pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0 -f https://download.pytorch.org/whl/torch_stable.html

版本对应关系:

版本关系

当已经装好torch包时，pip install torchvision torchaudio会自动寻找对应的版本安装。

6.网络测试

# 会用到的网站
https://huggingface.co/

# 检查是否可以访问
curl https://huggingface.co/

telnet huggingface.co 443

(m3dm) root@iZwz9c1tow6mi9lnah1hrtZ:/kwan/M3DM# telnet huggingface.co 443
Trying 162.125.7.1...
Connected to huggingface.co.
Escape character is '^]'.
Connection closed by foreign host.

四.执行步骤

1.创建目录

mkdir /kwan
cd /kwan
mkdir software

2.代码

git clone https://github.com/nomewang/M3DM.git

3.requirements

cd  M3DM
pip install -r requirements.txt

4.安装其他依赖

pip install ninja
pip install open3d

5.knn_cuda

# install knn_cuda
pip install --upgrade https://github.com/unlimblue/KNN_CUDA/releases/download/0.2/KNN_CUDA-0.2-py3-none-any.whl

6.pointnet2_ops_lib

# install pointnet2_ops_lib
pip install "git+http://github.com/erikwijmans/Pointnet2_PyTorch.git#egg=pointnet2_ops&subdirectory=pointnet2_ops_lib"

7.上传数据集

cd /kwan/M3DM
mkdir -p datasets/mvtec3d

scp  /Users/qinyingjie/Downloads/000-训练/dowel.tar.xz root@47.107.139.237:/kwan/M3DM/datasets/mvtec3d

8.预处理

#进入目录
cd /kwan/M3DM

#解压
cd /kwan/M3DM/datasets/mvtec3d
tar -xvf dowel.tar.xz

#数据集预处理
cd /kwan/M3DM
python utils/preprocessing.py datasets/mvtec3d/

9.权重处理

# 下载权重放入文件夹 /checkpoints
cd /kwan/M3DM
mkdir checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/B_8-i21k-300ep-lr_0.001-aug_medium1-wd_0.1-do_0.0-sd_0.0--imagenet2012-steps_20k-lr_0.01-res_224.npz root@47.107.139.237:/kwan/M3DM/checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/B_8-i21k-300ep-lr_0.001-aug_medium1-wd_0.1-do_0.0-sd_0.0.npz root@47.107.139.237:/kwan/M3DM/checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/dino_deitsmall8_pretrain.pth.zip root@47.107.139.237:/kwan/M3DM/checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/dino_vitbase8_pretrain.pth root@47.107.139.237:/kwan/M3DM/checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/Point-BERT.pth root@47.107.139.237:/kwan/M3DM/checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/pointmae_pretrain.pth root@47.107.139.237:/kwan/M3DM/checkpoints

scp  /Users/qinyingjie/Downloads/001-资源/uff_pretrain.pth root@47.107.139.237:/kwan/M3DM/checkpoints

10.训练

mkdir -p datasets/patch_lib

#开始训练
python3 main.py \
--method_name DINO+Point_MAE \
--memory_bank multiple \
--rgb_backbone_name vit_base_patch8_224_dino \
--xyz_backbone_name Point_MAE \
--save_feature

问题1:

# AttributeError: module 'torch' has no attribute 'frombuffer'
# 升级torch版本
pip install torch==2.0.0+cu117 torchvision==0.15.1+cu117 torchaudio==2.0.1 -f https://download.pytorch.org/whl/torch_stable.html

问题2:

RuntimeError: torch.cat(): expected a non-empty list of Tensors

image-20240304101553703

五.数据集

1.数据集下载

  • The MVTec-3D AD dataset can be download from the Official Website of MVTec-3D AD.
  • 下载地址
  • The Eyecandies dataset can be download from the Official Website of Eyecandies.

After download, put the dataset in dataset folder.

2.数据准备

To run the preprocessing

python utils/preprocessing.py datasets/mvtec3d/

It may take a few hours to run the preprocessing.

六.Checkpoints 与训练

1.Checkpoints

The following table lists the pretrain model used in M3DM:

BackbonePretrain Method
Point TransformerPoint-MAE
Point TransformerPoint-Bert
ViT-b/8DINO
ViT-b/8Supervised ImageNet 1K
ViT-b/8Supervised ImageNet 21K
ViT-s/8DINO
UFFUFF Module

Put the checkpoint files in checkpoints folder.

2.训练

Train and test the double lib version and save the feature for UFF training:

mkdir -p datasets/patch_lib
python3 main.py \
--method_name DINO+Point_MAE \
--memory_bank multiple \
--rgb_backbone_name vit_base_patch8_224_dino \
--xyz_backbone_name Point_MAE \
--save_feature \

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/465578.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

安装Pinia 插件 pinia-plugin-persist 添加 persist 属性时报红线解决方法

安装Pinia 插件 pinia-plugin-persist 添加 persist 属性时报红线解决方法

1，使用全局状态管理pinia 添加persist包红线， 网上很多都没有得到实际的解决方法。 2，接下来给大家梳理一下正确的解决方法； 首先卸载pinia-plugin-persist pnpm uninstall pinia-plugin-persist 安装pinia-plugin-persistedsta…
阅读更多...
Git——修改历史记录详解

Git——修改历史记录详解

目录 Git1、修改历史信息1.1、启动互动模式1.2、修改Commit信息的影响1.3、取消Rebase 2、多个Commit合并位一个Commit3、一个Commit拆解成多个Commit4、在某些Commit之间插入新的Commit5、删除Commit6、调整Commit的顺序7、Revert指令7.1、取消Commit7.2、取消Revert1、再开一…
阅读更多...
【金三银四】掌趣科技24.3.7 H项目 服务端开发笔试题

【金三银四】掌趣科技24.3.7 H项目 服务端开发笔试题

考试题型： 不定项选择题 10 道 ， 填空题 10 道 ， 问答题 2 道 ， 编程题 4 道 目录 不定项选择题 10 道填空题 10 道问答题 2 道编程题 4 道 不定项选择题 10 道 在TCP协议中，发送方的窗口大小是由两个关键因素共同决定…
阅读更多...
Java八股文（MyBatis Plus）

Java八股文（MyBatis Plus）

Java八股文のMyBatis Plus MyBatis Plus MyBatis Plus MyBatis Plus 是什么？它与 MyBatis 有什么区别？ MyBatis Plus 是基于 MyBatis 进行扩展的一款持久层框架，它提供了一系列增强功能，简化了 MyBatis 的使用。 与 MyBatis 相比…
阅读更多...
SpringBoot（文件上传功能，阿里云OSS存储，几种配置文件用法）【详解】

SpringBoot（文件上传功能，阿里云OSS存储，几种配置文件用法）【详解】

目录 一、新增员工 二、文件上传-技术点 1. 文件上传功能 1.客户端上传文件三要素 2 服务端接收文件 Controller接收文件示例 修改允许上传的文件大小 2. 本地存储文件 3. 阿里云OSS存储（这里只写一种，可以用其它的） 1.介绍 2.开通…
阅读更多...
力扣L14--- 415.字符串相加(JAVA版）-2024年3月17日

力扣L14--- 415.字符串相加(JAVA版）-2024年3月17日

1.题目 2.知识点 注1：你可以使用Integer.parseInt()或Double.parseDouble()等方法将字符串转换为整数或浮点数。 public class Main {public static void main(String[] args) {String str "123";int num Integer.parseInt(str);System.out.println(…
阅读更多...
深度序列模型与自然语言处理：基于TensorFlow2实践

深度序列模型与自然语言处理：基于TensorFlow2实践

目录 写在前面 推荐图书 编辑推荐 内容简介 作者简介 推荐理由 写在最后 写在前面 本期博主给大家推荐一本深度学习的好书，对Python深度学习感兴趣的小伙伴快来看看吧！ 推荐图书 《深度序列模型与自然语言处理 基于TensorFlow2实践》 直达链接…
阅读更多...
iOS常见崩溃简介

iOS常见崩溃简介

1. 崩溃 多指在移动设备（如iOS、Android设备）中或不可移动设备（如:Windows、Linux等设备）， 在打开或使用应用程序时出现的突然退出中断的情况（类似于Windows的应用程序崩溃）。 多表现为&#…
阅读更多...
MySQL_数据库图形化界面软件_00000_00001

MySQL_数据库图形化界面软件_00000_00001

目录 NavicatSQLyogDBeaverMySQL Workbench可能出现的问题 Navicat 官网地址： 英文：https://www.navicat.com 中文：https://www.navicat.com.cn SQLyog 官网地址： 英文：https://webyog.com DBeaver 官网地址&…
阅读更多...
使用 opencv 识别答题卡，生成填涂答案

使用 opencv 识别答题卡，生成填涂答案

一般答题卡设计时都在试卷4个角预留4个一样大小的黑块 仅能识别选择题判断题之类的填涂答题的题目，不能识别填空题应用题等其它主观题 使用 opencv 识别试卷图片中所有黑块，再根据黑块大小获取四个角的位置，根据四个黑块位置校正图像 将图…
阅读更多...
【Numpy】练习题100道（51-75题）

【Numpy】练习题100道（51-75题）

🌻个人主页：相洋同学 🥇学习在于行动、总结和坚持，共勉！ #学习笔记# Git-hub链接 目录 1.题目列表 2.题解 1.题目列表 51. 创建一个表示位置（x,y）和颜色（r,g,b）的结…
阅读更多...
chatGLM3+chatchat实现本地知识库

chatGLM3+chatchat实现本地知识库

背景 由于客服存在大量的问题为FAQ问题，需要精准回复客户，所以针对此类精准问题，通过自建同量数量库进行回复。 落地方案 通过chatGLM3-6Blangchain-chatchatbge-large-zh实现本地知识库库。 注意：相关介绍和说明请看官网~ 配置要…
阅读更多...
【解读】NIST网络安全框架CSF 2.0

【解读】NIST网络安全框架CSF 2.0

2014年，NIST（美国国家标准与技术研究所，类似于中国的工信部）首次发布了网络安全框架CSF（Cybersecurity Framework)，十年后，在2024年2月26日发布了重大更新（CSF 2.0）&…
阅读更多...
C++初阶：string的使用与STL

C++初阶：string的使用与STL

目录 1. C标准库与STL2. string是什么3. string的使用3.1 构造与拷贝构造3.2 遍历访问方式3.3 STL中算法操作相关内容3.4 容量相关成员函数3.5 内容修改相关成员函数3.6 string类操作成员函数3.7 string的非成员函数 1. C标准库与STL 编程语言标准库中，有着许多基础…
阅读更多...
wps技巧二实现每一行文字后面统一添加数据

wps技巧二实现每一行文字后面统一添加数据

效果 操作 查找，输入^p 替换，输入 n m p q^p，测试数据，随意替换成你想要的 结果
阅读更多...
MySQL-- B+ 树

MySQL-- B+ 树

一、InnoDB 是如何存储数据的？ InnoDB 的数据是按「数据页」为单位来读写的 数据库的 I/O 操作的最小单位是页，InnoDB 数据页的默认大小是 16KB 单个数据页的结构及作用 多个数据页之间的逻辑连接（双向链表），不需要物…
阅读更多...
STM32/GD32——FreeRTOS任务管理与相关机制

STM32/GD32——FreeRTOS任务管理与相关机制

芯片选型 Ciga Device — GD32F470系列 任务管理 任务处理API 操作 API 动态任务创建 xTaskCreate 任务删除 vTaskDelete 静态任务创建 vTaskCreateStatic 挂起任务 vTaskSuspend 恢复任务 vTaskResume 任务创建 BaseType_t xTaskCreate( TaskFunction_t pxTa…
阅读更多...
vulhub中GIT-SHELL 沙盒绕过漏洞复现（CVE-2017-8386）

vulhub中GIT-SHELL 沙盒绕过漏洞复现（CVE-2017-8386）

GIT-SHELL 沙盒绕过（CVE-2017-8386）导致任意文件读取、可能的任意命令执行漏洞。 测试环境 为了不和docker母机的ssh端口冲突，将容器的ssh端口设置成3322。本目录下我生成了一个id_rsa，这是ssh的私钥，连接的时候请指…
阅读更多...
固态硬盘有缓存和没缓存有什么区别

固态硬盘有缓存和没缓存有什么区别

固态硬盘（SSD）已经成为现代计算机的重要组成部分，它们提供了比传统机械硬盘更快的读写速度，从而显著提升了操作系统的运行速度和应用程序的加载效率。 其中，缓存（Cache）是固态硬盘中一个重要的…
阅读更多...
【SpringCloud】使用Seata实现分布式事务

【SpringCloud】使用Seata实现分布式事务

目录 一、Seata 框架的需求背景二、Seata 事务模式与架构2.1 Seata 组成2.2 Seata 事务模式 三、Seata 实战演示3.1 部署 Seata Server3.1.1 下载 Seata Server3.1.2 更改 Seata Server 配置3.1.3 创建 Seata Server 所需的数据库、数据库表3.1.4 启动 Seata Server 3.2 Seata …
阅读更多...
最新文章

Copyright @ 2022~2023