近红外光谱分析技术与基于深度学习的化学计量学方法

郁磊【副教授】:主要从事AI人工智能与大数据分析等相关研究,长期致力于人工智能与近红外生物医学工程等领域融合,主持并完成多项科研课题。著有《神经网络43个案例分析》等书籍。

//  讲座内容

1、近红外光谱基本理论、近红外光谱仪基本原理

2、近红外光谱数据采集方法 (样品制备、附件选择)

3、近红外光谱预处理方法(去噪、一阶/二阶导数、基线校正等)

4、常用化学计量学方法 (机器学习、深度学习方法)

5、近红外光谱定性/定量分析模型性能评价

6、近红外光谱模型移植/传递方法

图片

 郁磊老师系统课程推荐

基于ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模进阶应用

专题一 ChatGPT4入门基础

1、ChatGPT概述(GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变)

2、ChatGPT对话初体验(注册与充值、购买方法)

3、GPT-4与GPT-3.5的区别,以及与国内大语言模型(文心一言、星火等)的区别

4、ChatGPT科研必备插件(Data Interpreter、Wolfram、WebPilot、MixerBox Scholar、ScholarAI、Show Me、AskYourPDF等)

5、定制自己的专属GPTs(制作专属GPTs的两种方式:聊天/配置参数、利用Knowledge上传本地知识库提升专属GPTs性能、利用Actions通过API获取外界信息、专属GPTs的分享)

6、GPT Store简介

7、案例演示与实操练习

图片

//

专题二  ChatGPT4 提示词使用方法与技巧

1、ChatGPT Prompt (提示词)使用技巧(为ChatGPT设定身份、明确任务内容、提供任务相关的背景、举一个参考范例、指定返回的答案格式等)

2、常用的ChatGPT提示词模板

3、基于模板的ChatGPT提示词优化

4、利用ChatGPT4 及插件优化提示词

5、通过promptperfect.jina.ai优化提示词

6、利用ChatGPT4 及插件生成提示词

7、ChatGPT4突破Token限制实现接收或输出万字长文(什么是Token?Token数与字符数之间的互相换算、五种方法提交超过Token限制的文本、四种方法让ChatGPT的输出突破Token限制)

8、控制ChatGPT的输出长度(使用修饰语、限定回答的范围、通过上下文限定、限定数量等)

9、利用ChatGPT4 及插件保存喜欢的ChatGPT提示词并一键调用

10、案例演示:利用ChatGPT4实现网页版游戏的设计、代码自动生成与运行

11、实操练习

图片

//

专题三  ChatGPT4助力信息检索与总结分析

1、传统信息检索方法与技巧总结(Google Scholar、ResearchGate、Sci-Hub、GitHub、关键词检索+同行检索、文献订阅)

2、利用ChatGPT4 及插件实现联网检索文献

3、利用ChatGPT4及插件总结分析文献内容(三句话摘要、子弹式要点摘要、QA摘要、表格摘要、关键词与关键句提取、页面定位、多文档对比、情感分析)

4、利用ChatGPT4 及插件总结Youtube视频内容

5、案例演示与实操练习

图片

//

专题四  ChatGPT4助力论文写作与投稿

1、利用ChatGPT4自动生成论文的总体框架

2、利用ChatGPT4完成论文翻译(指定翻译角色和翻译的领域、给一些背景提示)

3、利用ChatGPT4实现论文语法校正

4、利用ChatGPT4完成段落结构及句子逻辑润色

5、利用ChatGPT4完成论文评审意见的撰写与回复

6、案例演示与实操练习

图片

//

专题五  ChatGPT4助力Python入门基础

1、Python环境搭建( 下载、安装与版本选择)。

2、如何选择Python编辑器?(IDLE、Notepad++、PyCharm、Jupyter…)

3、Python基础(数据类型和变量、字符串和编码、list和tuple、条件判断、循环、函数的定义与调用等)

4、第三方模块的安装与使用

5、Numpy模块库(Numpy的安装;ndarray类型属性与数组的创建;数组索引与切片;Numpy常用函数简介与使用)

6、Matplotlib基本图形绘制(线形图、柱状图、饼图、气泡图、直方图、箱线图、散点图等)、图形的布局(多个子图绘制、规则与不规则布局绘制、向画布中任意位置添加坐标轴)

7、实操练习

图片

//

专题六 ChatGPT4助力近红外光谱数据预处理

1、近红外光谱数据标准化与归一化(为什么需要标准化与归一化?)

2、近红外光谱数据异常值、缺失值处理

3、近红外光谱数据离散化及编码处理

4、近红外光谱数据一阶导数与二阶导数

5、近红外光谱数据去噪与基线校正

6、近红外光谱数据预处理中的ChatGPT提示词模板讲解

7、实操练习

图片

//

专题七  ChatGPT4助力多元线性回归近红外光谱分析

1、多元线性回归模型(工作原理、最小二乘法)

2、岭回归模型(工作原理、岭参数k的选择、用岭回归选择变量)

3、LASSO模型(工作原理、特征选择、建模预测、超参数调节)

4、Elastic Net模型(工作原理、建模预测、超参数调节)

5、多元线性回归、岭回归、LASSO、Elastic Net的Python代码实现

6、多元线性回归中的ChatGPT提示词模板讲解

7、案例演示:近红外光谱回归拟合建模

图片

//

专题八  ChatGPT4助力BP神经网络近红外光谱分析

1、BP神经网络的基本原理(人工智能发展过程经历了哪些曲折?人工神经网络的分类有哪些?BP神经网络的拓扑结构和训练过程是怎样的?什么是梯度下降法?)

2、训练集和测试集划分?BP神经网络常用激活函数有哪些?如何查看模型参数?

3、BP神经网络参数(隐含层神经元个数、学习率)的优化(交叉验证)

4、值得研究的若干问题(欠拟合与过拟合、评价指标的设计、样本不平衡问题等)

5、BP神经网络的Python代码实现

6、BP神经网络中的ChatGPT提示词模板讲解

7、案例演示:

1)近红外光谱回归拟合建模;

2)近红外光谱分类识别建模

图片

//

专题九  ChatGPT4助力支持向量机(SVM)近红外光谱分析

1、SVM的基本原理(什么是经验误差最小和结构误差最小?SVM的本质是解决什么问题?SVM的四种典型结构是什么?核函数的作用是什么?什么是支持向量?)

2、SVM扩展知识(如何解决多分类问题?SVM的启发:样本重要性排序及样本筛选)

3、SVM的Python代码实现

4、SVM中的ChatGPT提示词模板讲解

5、案例演示:近红外光谱分类识别建模

图片

//

专题十  ChatGPT4助力决策树、随机森林、Adaboost、XGBoost和LightGBM近红外光谱分析

1、决策树的基本原理(什么是信息熵和信息增益?ID3和C4.5算法的区别与联系)

2、随机森林的基本原理与集成学习框架(为什么需要随机森林算法?广义与狭义意义下的“随机森林”分别指的是什么?“随机”提现在哪些地方?随机森林的本质是什么?)

4、Bagging与Boosting集成策略的区别

5、Adaboost算法的基本原理

6、Gradient Boosting Decision Tree (GBDT)模型的基本原理

7、XGBoost与LightGBM简介

8、决策树、随机森林、Adaboost、XGBoost与LightGBM的Python代码实现

9、决策树、随机森林、Adaboost、XGBoost与LightGBM的ChatGPT提示词模板讲解

10、案例演示:近红外光谱回归拟合建模

图片

//

专题十一  ChatGPT4助力遗传算法近红外光谱分析

1、群优化算法概述

2、遗传算法(Genetic Algorithm)的基本原理(什么是个体和种群?什么是适应度函数?选择、交叉与变异算子的原理与启发式策略)

3、遗传算法的Python代码实现

4、遗传算法中的ChatGPT提示词模板讲解

5、案例演示:基于二进制遗传算法的近红外光谱波长筛选

图片

图片

//

专题十二  ChatGPT4助力近红外光谱变量降维与特征选择

1、主成分分析(PCA)的基本原理

2、偏最小二乘(PLS)的基本原理(PCA与PLS的区别与联系;PCA除了降维之外,还可以帮助我们做什么?)

3、近红外光谱波长选择算法的基本原理(Filter和Wrapper;前向与后向选择法;区间法;无信息变量消除法等)

4、PCA、PLS、特征选择算法的Python代码实现

5、PCA、PLS、特征选择算法中的ChatGPT提示词模板讲解

6、案例演示:

  1)基于L1正则化的近红外光谱波长筛选

  2)基于信息熵的近红外光谱波长筛选

  3)基于Recursive feature elimination的近红外光谱波长筛选

  4)基于Forward-SFS的近红外光谱波长筛选

图片

//

专题十三  ChatGPT4助力Pytorch入门基础

1、深度学习框架概述(PyTorch、Tensorflow、Keras等)

2、PyTorch简介(动态计算图与静态计算图机制、PyTorch的优点)

3、PyTorch的安装与环境配置(Pip vs. Conda包管理方式、验证是否安装成功)

4、张量(Tensor)的定义,以及与标量、向量、矩阵的区别与联系)

5、张量(Tensor)的常用属性与方法(dtype、device、requires_grad、cuda等)

6、张量(Tensor)的创建(直接创建、从numpy创建、依据概率分布创建)

7、张量(Tensor)的运算(加法、减法、矩阵乘法、哈达玛积(element wise)、除法、幂、开方、指数与对数、近似、裁剪)

8、张量(Tensor)的索引与切片

9、PyTorch的自动求导(Autograd)机制与计算图的理解

10、PyTorch常用工具包及API简介(torchvision(transforms、datasets、model)、torch.nn、torch.optim、torch.utils(Dataset、DataLoader))

图片

//

专题十四  ChatGPT4助力卷积神经网络近红外光谱分析

1、深度学习与传统机器学习的区别与联系(神经网络的隐含层数越多越好吗?深度学习与传统机器学习的本质区别是什么?)

2、卷积神经网络的基本原理(什么是卷积核?CNN的典型拓扑结构是怎样的?CNN的权值共享机制是什么?CNN提取的特征是怎样的?)

3、卷积神经网络参数调试技巧(卷积核尺寸、卷积核个数、移动步长、补零操作、池化核尺寸等参数与特征图的维度,以及模型参数量之间的关系是怎样的?)

4、卷积神经网络的进化史:LeNet、AlexNet、Vgg-16/19、GoogLeNet、ResNet等经典深度神经网络的区别与联系

5、利用PyTorch构建卷积神经网络(Convolution层、Batch Normalization层、Pooling层、Dropout层、Flatten层等)

6、卷积神经网络中的ChatGPT提示词模板讲解

7、案例演示:

(1)CNN预训练模型实现物体识别;

(2)利用卷积神经网络抽取抽象特征;

(3)自定义卷积神经网络拓扑结构;

(4)基于卷积神经网络的近红外光谱模型建立

图片

//

专题十五  ChatGPT4助力近红外光谱迁移学习

1、迁移学习算法的基本原理(为什么需要迁移学习?为什么可以迁移学习?迁移学习的基本思想是什么?)

2、常用的迁移学习算法简介(基于实例、特征和模型,譬如:TrAdaboost算法)

3、基于卷积神经网络的迁移学习算法

4、迁移学习的Python代码实现

5、案例演示:基于迁移学习的近红外光谱的模型传递(模型移植)

图片

//

专题十六   ChatGPT4助力自编码器近红外光谱分析

1、自编码器(Auto-Encoder的工作原理)

2、常见的自编码器类型简介(降噪自编码器、深度自编码器、掩码自编码器等)

3、自编码器的Python代码实现

4、自编码器中的ChatGPT提示词模板讲解

5、案例演示:

  1)基于自编码器的近红外光谱数据预处理

  2)基于自编码器的近红外光谱数据降维与有效特征提取

图片

//

专题十七  ChatGPT4助力U-Net多光谱图像语义分割

1、语义分割(Semantic Segmentation)简介

2、U-Net模型的基本原理

3、语义分割、U-Net模型中的ChatGPT提示词模板讲解

4、案例演示:基于U-Net的多光谱图像语义分割

图片

//

专题十八  ChatGPT4助力深度学习模型可解释性与可视化方法

1、什么是模型可解释性?为什么需要对深度学习模型进行解释?

2、常用的可视化方法有哪些(特征图可视化、卷积核可视化、类别激活可视化等)?

3、类激活映射CAM(Class Activation Mapping)、梯度类激活映射GRAD-CAM、局部可解释模型-敏感LIME(Local Interpretable Model-agnostic Explanation)等原理讲解

4、t-SNE的基本概念及使用t-SNE可视化深度学习模型的高维特征

5、深度学习模型可解释性与可视化中的ChatGPT提示词模板讲解

6、案例演示

图片

//

专题十九  复习与答疑讨论

1、课程复习与总结、资料分享(图书、在线课程资源、源代码等)

2、科研与创新方法总结(如何利用Google Scholar、Sci-Hub、ResearchGate等工具查阅文献资料、配套的数据和代码?如何更好地撰写论文的Discussion部分?)

3、答疑与讨论(大家提前把问题整理好)

图片

图片

关注科研技术平台获取更多资源

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/319587.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

clickhouse join查询算法

算法对比: 使用方法: SELECT town,max(price) AS max_price,any(population) AS population FROM uk_xxx_paid JOIN uk_xxx_table ON lower(uk_price_paid.town) lower(uk_populations_table.city) GROUP BY town ORDER BY max_price DESC SETTINGS jo…

对接苹果CMS芒果影视APPV1.0(附安装教程+源码支持多端)内置采集脚本

目录 概述1. 演示效果1.1 视频演示1.2 图文演示1.2.1 首页1.2.2 专题页1.2.3 搜索1.2.4 观影 2. 支持功能3. 插件和框架4. 部署方法4.1 后端4.1.1 准备工具4.1.2创建站点4.1.3 上传后端代码到服务器4.1.4 导入数据库4.1.5 配置数据库信息4.1.6访问后台管理系统 4.2 前端4.2.1 准…

影响邮件打开率的因素有哪些?

影响邮件打开率得因素有很多,比如说邮件地址的有效性、邮件标题、定位人群、发送频率或者时间等因素。目前来讲,我们可以通过技术的手段改善邮件的到达率,但是邮件的打开率取决于收件人本身,所以发件人的发送动作如何在很大程度上…

为什么光刻要用黄光

光刻是集成电路(IC或芯片)制造中的重要工艺之一。简单来说,它是通过使用光掩膜和光刻胶在基板上复制电路图案的过程。 基板将涂覆硅二氧化层绝缘层和光刻胶。光刻胶在被紫外光照射后可以容易地用显影剂溶解,然后在腐蚀后&#xf…

MT1138-MT1150总结

1. 判断闰年方法 year%40&&year%400&#xff01;0||year%4000 #include<bits/stdc.h> using namespace std;int day(int year,int mouth){if(mouth1||mouth3||mouth5||mouth7||mouth8||mouth10||mouth12){return 31;}else if(mouth4||mouth6||mouth9||mouth11)…

【促销定价】背后的算法技术 2 - 数据预处理生成

【促销定价】背后的算法技术 2 - 数据预处理生成 01 数据探查02 数据清洗03 数据聚合04 数据补全05 小结参考文献 导读&#xff1a;在日常生活中&#xff0c;我们经常会遇见线上/线下商家推出各类打折、满减、赠品、新人价、优惠券、捆绑销售等促销活动。一次成功的促销对于消费…

【Linux 内核源码分析笔记】系统调用

在Linux内核中&#xff0c;系统调用是用户空间程序与内核之间的接口&#xff0c;它允许用户空间程序请求内核执行特权操作或访问受保护的内核资源。系统调用提供了一种安全可控的方式&#xff0c;使用户程序能够利用内核功能而不直接访问底层硬件。 系统调用&#xff1a; 通过…

Azure Machine Learning - 视频AI技术

Azure AI 视频索引器是构建在 Azure 媒体服务和 Azure AI 服务&#xff08;如人脸检测、翻译器、Azure AI 视觉和语音&#xff09;基础之上的一个云应用程序&#xff0c;是 Azure AI 服务的一部分。 有了 Azure 视频索引器&#xff0c;就可以使用 Azure AI 视频索引器视频和音频…

Fastadmin上传图片服务端压缩图片,实测13.45M压缩为29.91K

先前条件&#xff1a;第一步安装compose&#xff0c;已安装忽略。 先上截图看效果 一、在fastadmin的根目录里面输入命令安装think-image composer require topthink/think-image二、找到公共上传类&#xff0c;application/common/library/Upload.php&#xff0c;在最下面…

Java SE入门及基础(12)

do-while 循环 1. 语法 do { //循环操作 } while ( 循环条件 ); 2. 执行流程图 3. 案例 从控制台录入学生的成绩并计算总成绩&#xff0c;输入0 时退出 4. 代码实现 public static void main ( String [] args ) { Scanner sc new Scanner ( System . in )…

大面积光源HUD阳光倒灌实验装置太阳光模拟器

背景 1.根据现在市场上一些量产的hud的结构和原理可知&#xff0c;hud中最重要的零件之一就是凹面镜(自由曲面)&#xff0c;hud利用凹面镜放大投影的光学原理进行投影成像。当发生阳光倒灌时&#xff0c;太阳光沿着hud正常工作时成像的逆光路&#xff0c;通过挡风玻璃-凹面镜-…

豆包ai介绍

豆包是字节跳动基于云雀模型开发的AI工具&#xff0c;具有强大的语言处理能力和广泛的应用场景&#xff0c;无论是在学习、工作、生活中&#xff0c;都能派上用场。 豆包可以帮助打工人和创作者提升效率&#xff0c;完成各种工作任务&#xff0c;又能扮演各类AI角色进行高情商…

MySQL简介、安装及使用

一、MySQL简介 1、MySQL的介绍 MySQL数据库管理系统由瑞典的DataKonsultAB公司研发&#xff0c;该公司被Sun公司收购&#xff0c;现在Sun公司又被Oracle公司收购&#xff0c;因此MySQL目前属于 Oracle 旗下产品。 MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言…

【Python学习】Python学习17- File(文件) 方法

目录 [TOC](【Python学习】Python学习17- File(文件) 方法) 文章所属专区 Python学习 前言 本章节主要说明Python文件操作的具体说明 open()方法 Python open() 方法用于打开一个文件&#xff0c;并返回文件对象&#xff0c;在对文件进行处理过程都需要使用到这个函数&#…

CnosDB的数据更新和删除

在时序数据中&#xff0c;可能会出现一些数据错误或者异常情况&#xff0c;这时候就需要能够对数据进行清洗修复。如果不支持更新操作&#xff0c;将会变得非常困难。另外&#xff0c;一些业务场景可能会需要对已有数据进行调整&#xff0c;比如设备信息发生变化等。支持数据更…

Python开源项目周排行 2024年第2周

点赞关注转发三连&#xff0c;您的支持是我的动力&#xff01; Python 趋势周报&#xff0c;按周浏览往期 GitHub,Gitee 等最热门的Python开源项目&#xff0c;入选的项目主要参考GitHub Trending,部分参考了Gitee和其他。排名不分先后&#xff0c;都是当周相对热门的项目。 …

12.3在应用层使用SPI总线

在SPI总线驱动框架中提供了一个spidev 的字符设备驱动&#xff0c;在应用层可以通过它来访问SPI总线。 应用层访问SPI总线的步骤 编写spidev设备树节点&#xff0c;在SPI总线的设备树节点下添加spidev设备的树节点&#xff0c;设备树示例如下所示&#xff1a; spidev0: spid…

《射雕三部曲》人物关系可视化及问答系统

背景&#xff1a; 该项目旨在构建一个基于图数据库和知识图谱的《射雕三部曲》人物关系可视化及问答系统。通过分析小说中的人物关系&#xff0c;将其构建成图数据库&#xff0c;并结合问答系统和数据分析技术&#xff0c;提供用户可视化的人物关系展示和相关问题的回答。 介绍…

Altium Desigenr 丝印重叠报错 规则修改1

Altium Desigenr画板时如果两个元件放的太近会变绿违反规则&#xff0c;特别实在有元器件外框同时需要减少PCB面积。两个电阻丝印紧挨报错&#xff0c;本质上不会影响但会报错。 1、首先在规则里面改小 2、如果不满足依旧报错&#xff0c;直接关闭元件放置规则&#xff0c;但…

宠物空气净化器哪个牌子好?实惠的猫用空气净化器牌子推荐

对于养猫的朋友来说&#xff0c;猫咪掉毛绝对是一个让人头痛的问题。猫毛和皮屑会飘散在空气中&#xff0c;不仅会遍布全屋的各个角落&#xff0c;而且打扫起来也麻烦&#xff0c;特别是一些清理不了的猫毛&#xff0c;甚至还可能引起人的过敏反应&#xff0c;例如咳嗽和哮喘。…