GEO数据挖掘从数据下载处理质控到差异分析全流程分析步骤指南

综合的教学视频介绍

GEO数据库挖掘分析作图全流程每晚11点在线教学直播录屏回放视频： https://www.bilibili.com/video/BV1rm42157CT/

GEO数据从下载到各种挖掘分析全流程详解： https://www.bilibili.com/video/BV1nm42157ii/

一篇今年近期发表的转录组生信分析论文复现全流程直播： https://www.bilibili.com/video/BV184421Q7pj/

GEO数据下载教程

1.1根据GEO的GSE数据集编号自动下载和处理GEO数据教程（必须要运行的模块，GEO数据下载要首先运行这个模块）

cc2f4a24610efa85b719f3736fafe618.jpeg

详细教程地址： https://zhuanlan.zhihu.com/p/708053447

下载GEO数据一定要先运行下这个模块，部分数据集不一定能下载提取出表达矩阵，但是一般能下载到非常完整的样本的注释信息等数据文件，这在对GEO数据集临床信息分析或分组差异分析是非常重要的。

对于部分没有下载出表达矩阵的数据集，如果该数据集的GEO网页中有GSEXXX_RAW.tar格式的压缩包，可以运行下面的1.2这一步对RAW.tar的压缩包文件进行提取和处理。

1.2 转录组和基因芯片GSE数据集RAW.tar压缩包下载和多样本整合处理教程 （GEO网页中有RAW.tar压缩包可以用这一步下载处理）

0a9e3f146d201e4a1f2e3e6cddf03081.jpeg

教程地址

教程地址：转录组和基因芯片GSE数据集RAW.tar压缩包下载和多样本整合处理教程 - 邢博士谈科教的文章 : https://zhuanlan.zhihu.com/p/708244032

普通RNAseq转录组的GSEXXX_RAW.tar压缩包的多样本整合处理

c219c69b7c722c297dabb8a8b3d5c797.jpeg

各种不同格式的基因表达芯片的GSEXXX_RAW.tar压缩包的多样本整合处理

0a4bb939eb6136f5262c4fb3beee7766.jpeg

1.3 GEO网页中存在可以手动下载的表达矩阵等文件的下载处理教程

如果在1.1步没有自动下载提取出基因表达矩阵，GEO网页中也没有GSEXXX_RAW.tar压缩包文件，但是存在可以手动下载的一些表达矩阵等数据文件，可以用这一步进行下载和处理。

62506b77209ba73dfd139f1d780f13ef.jpeg

132eb0909a7bf2f70e831ce969bb2634.jpeg

教程视频： https://www.bilibili.com/video/BV1Yf421X7Cj/

GEO数据处理清洗教程

GEO的表达矩阵的探针ID转换成基因名称教程 （提取的表达矩阵里只有基因探针ID,没有正式的基因名称时运行这一步）

教程地址

GEO的表达矩阵的探针ID转换成基因名称教程 - 邢博士谈科教的文章 - 知乎

https://zhuanlan.zhihu.com/p/708404618

2.1.1 从gpl注释文件中提取出基因注释 （优先用这种方法进行基因名称注释）

该节教程:https://www.bilibili.com/video/BV15w4m1q7Dw/

d438d39416301d1e1f43911599debb7a.jpeg

2.1.2 对GPLsoft文件中没有基因名称的探针获取基因注释（第二种基因探针注释方法）

该方法对于一些非编码RNA的GSE数据集的注释可能会非常有用

该节教程:https://www.bilibili.com/video/BV12b421e7SX/

edf6818ea380ae017648c7619d2ff260.jpeg

2.1.3 同一物种不同类型基因id转换

该节教程:https://www.bilibili.com/video/BV1YD421M7qR/

该模块对于基因名称SYMBOL跟ENTREZID,ENSEMBL(为ENSG等开头基因ID),REFSEQ(为NM开头:mRNA,NP开头:蛋白,NR开头:非编码RNA),UNIPROT,UCSCKG(为ENST转录本)这六种类型中的一中或多种类型的基因ID或名称间的互相转换是非常有用的。

2f2ed97cd12b574b5c9e27fb88a0fdbe.jpeg

2.1.4 不同物种间同源基因转换

该节教程:https://www.bilibili.com/video/BV1B1421k7K9/

该方法对于小鼠和人之间的基因名称相互转换或者其它物种的基因名称转成人或小鼠的基因名称从而方法进行某些只能用人或小鼠模式生物才能做的生信分析是非常有用的。

b8d6868915b716397b336930b83385ab.jpeg

2.2 将提取的基因注释信息跟表达矩阵合并

该节教程:https://www.bilibili.com/video/BV12f421Q7nK/

37dbb9398ce9bbb3da575b9408737420.jpeg

2.3 GEO的样本分组信息提取和处理教程

2.3.1 从样本注释文件中提取出分组数据 （优先选择使用这种方法）

该节教程: https://www.bilibili.com/video/BV1rT421v77P/

0963cec408141d5241e7a85e50a271d9.jpeg

2.3.2 从表达矩阵中提取出分组信息 （第2种分组信息提取方法）

该节教程:https://www.bilibili.com/video/BV1sz421h7rc/

92562c5082993deea2824ef54d8b3da4.jpeg

质控和标准化

3.1 基因表达芯片的质控和标准化

3.1.1构建ExpressionSet分析对象 （首先先运行这一步）

基因的芯片的质控需要的数据格式是ExpressionSet这种格式，所以先需要构建个ExpressionSet对象

该节教程:https://www.bilibili.com/video/BV1br421c71A/

71689e7f796c023174fb629aa5f6c95c.jpeg

3.1.2 基因表达芯片的质控

该节教程: https://www.bilibili.com/video/BV1vy411b7yQ/

86e910360c0fff461f71d16e92e355a8.jpeg

3.1.3表达芯片进行归一化处理

该节教程: https://www.bilibili.com/video/BV1fJ4m1u7jX/

234d1d9681816873306e56e27fc15554.jpeg

3.2 普通转录组RNAseq定量的表达矩阵质控和标准化的操作和答疑

3.2.0 普通转录组RNAseq定量的表达矩阵是否需要质控和标准化的答疑

RNAseq测序数据在上游处理分析时候已经经过质控处理，是不需要再进行质控的，我们一般从GEO数据库里下载处理的RNAseq测序数据的表达矩阵要么是counts整数值表达矩阵文件，要么可能是FPKM/RPKM或TPM相对定量且标准化后连续性数值表达矩阵。

在差异分析的时候，转录组的差异分析主流的DESeq2和edgeR这两个差异分析工具是需要用不经过任何处理的原始的counts表达矩阵作为输出数据的，所以我们是不需要对从GEO数据库中下载和提取的counts表达矩阵做任何质控标准化操作的。

如果我们没有counts表达矩阵，只下载到了FPKM/RPKM或TPM相对定量且标准化后连续性数值表达矩阵，这样的数据已经经过了标准化处理，在我们做差异分析的时候，只需要对该类表达矩阵数据取个log2对数处理就可以了，同时这样的数据已经不能使用DESeq2和edgeR做差异分析了，只能用limma这个工具做差异分析。而在我的OmicsTools差异分析模块用limma做差异分析时，是会自动对数据分布和量级差别较大的数据进行取对数处理的。所以，大家也不需要手动对这类数据提取进行取对数处理的。

对于FPKM/RPKM或TPM数据，如果大家在做limma差异分析之前，如果想先看下RNAseq的表达矩阵每个样本所有基因的表达数据的分布情况是否一致，可以用下面的这两个模块进行表达矩阵的可视化作图

3.2.1 使用表达矩阵进行密度图绘制

该绘图模块会绘制每个样本的表达数据的密度曲线，好的连续数据的密度曲线应该近似钟形曲线的正态分布。

视频教程:https://www.bilibili.com/video/BV1yx4y1W7Vb/

4b4bee42db6484c9c7a7e32121e70c96.jpeg

3.2.2 利用表达矩阵进行箱式图绘制

利用表达矩阵进行箱式图绘制(用于查看质控标准化结果) ，质量好的数据应该是所有样本的箱式图中的中位数应该位于同一水平线上，箱式图分布性状也比较近似，没有特别严重的高低不齐的现象。

视频教程： https://www.bilibili.com/video/BV1b1421b7Qx/

dd24beef736ff5f6fa0de9e0441c4eb0.jpeg

样本PCA分群聚类分析和剔除异常样本

样本的PCA聚类分群分析

该节教程:https://www.bilibili.com/video/BV1if421X7pM/

92bfc0ad51e891c61373a824234e11f4.jpeg

删除PCA分群聚类的异常离群样本

该节教程:https://www.bilibili.com/video/BV1Um421N7X8/

e0a194a4dd843fc9205b9875bc50eab6.jpeg

剔除异常离群样本后的再次PCA聚类分群分析

该节教程:https://www.bilibili.com/video/BV1if421X7pM/

3783987e3cc233a44ab6e5f9872b2b34.jpeg

多个数据集的整合和去除批次效应

多个数据集合并 (如何需要整合分析多个数据集，就运行这一步)

该节教程:https://www.bilibili.com/video/BV1j4421X7Ls/

515b6c6b64e83298d698f0d646686527.jpeg

5.2 多数据集合并后一起所有样本表达数据一起做归一化处理（RNAseq counts整型数据不需要做这一步）

该节教程: https://www.bilibili.com/video/BV1fJ4m1u7jX/

2f0ca5b87fc21c632d79e98c61b02de9.jpeg

5.3去除批次效应(即使单个数据集中有多个批次信息，也要运行这一步)

一般我们如果合并了多个数据集，都是需要要去除批次效应的，但是，即使单个数据集中如果有多个批次信息，也要运行这一步

该节教程: https://www.bilibili.com/video/BV1Yy411h78f/

3b8d20aec96b35b4b0872a9568f78853.jpeg

5.4 去除批次效应后的样本PCA聚类分群分析

该节教程:https://www.bilibili.com/video/BV1if421X7pM/

edf6e10089bf561c3d285c9a2ac8579a.jpeg

5.4 删除PCA分群聚类的异常离群样本

该节教程:https://www.bilibili.com/video/BV1Um421N7X8/

8c13542a85b06cd6770102424d7cb555.jpeg

5.5 剔除异常离群样本后的再次PCA聚类分群分析

该节教程:https://www.bilibili.com/video/BV1if421X7pM/

d0c6a48ad792a8cdaf8ea54226424e95.jpeg

差异分析

6.0 不同数据的差异分析方法选择

整个转录组所有基因批量差异分析的数据格式和方法选择

数据格式: counts数据>> TPM数据> >FPKM/RPKM数据

差异分析工具: DESeq2 =edgeR > >(log2对数标准化+limma)

1.有counts数据的时候，优先选择使用counts数据+DESeq2/edgeR工具进行整个转录组的批量差异分析

2.没有counts数据，但是有TPM数据的时候，优先选择使用TPM数据+(log2对数标准化+limma工具)进行整个转录组的批量差异分析

3.没有counts数据，也没有TPM数据的时候，可以选择使用FPKM/RPKM+(log2对数标准化+limma工具)进行整个转录组的批量差异分析。

在我的OmicsTools差异分析模块用limma做差异分析时，是会自动对数据分布和量级差别较大的数据进行取对数处理的。所以，大家也不需要手动对这类数据提取进行取对数处理的。

基因芯片或其它组学或连续数值的表达矩阵的差异分析方面选择

基因芯片或其它组学或连续数值的表达矩阵的差异分析时，一律是log2(表达矩阵）+limma工具差异分析这种方法。在我的OmicsTools差异分析模块用limma做差异分析时，是会自动对数据分布和量级差别较大的数据进行取对数处理的。所以，大家也不需要手动对这类数据提取进行取对数处理的。

通用差异分析 （各种类型的组学数据都适用的差异分析模块）

该节教程:https://www.bilibili.com/video/BV1Lw4m1q71T/

9b6604cf845e65d30c7db27fba7156cd.jpeg

这个差异分析模块是可以做任意物种的差异分析，如果是人，func_org参数就填’human’, 如果不是人，就填不是’human’的任意其它物种名称就行。

因为edgeR差异分析建议，如果是人类的RNAseq数据，bcv生物变异度设置为0.4,如果是非人类的模式生物，bcv设置为0.1，在用edgeR做差异分析时，所有当输入的物种是human的时候，会自动把bcv生物变异度设置为0.4, 非human的时候，bcv会设置为0.1

6.2 通用批量差异分析（可同时对多个数据集文件做差异分析）

该节教程: https://www.bilibili.com/video/BV1vD421g7Vj/

04cb3022d726cab777ea468c85eea119.jpeg

6.3 按照某个基因或特征的高低分组的差异分析

6.3.1 按照某些特征的高低阈值对样本进行分组

该节教程:https://www.bilibili.com/video/BV1CZ421M75J/

2b7776da005e0e7e9f7f3c6e4dc36501.jpeg

6.3.2 按照某个基因或特征的高低分组的差异分析

按照某个基因或特征的高低分组的差异分析

该节教程:https://www.bilibili.com/video/BV18E4m1R7Wp/

efa05ae94f82715ff09ae88fd9439b9c.jpeg

这个差异分析模块也是可以做任意物种的差异分析，如果是人，func_org参数就填’human’, 如果不是人，就填不是’human’的任意其它物种名称就行。

因为edgeR差异分析建议，如果是人类的RNAseq数据，bcv生物变异度设置为0.4,如果是非人类的模式生物，bcv设置为0.1，在用edgeR做差异分析时，所有当输入的物种是human的时候，会自动把bcv生物变异度设置为0.4, 非human的时候，bcv会设置为0.1

6.4 根据logFC和p值等条件对差异分析结果进行筛选

提取出符合条件的特定行列的子数据集

该节教程: https://www.bilibili.com/video/BV1BM4m1Q7Qx/

af4708eb36407d7a75121c1be334da40.jpeg

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/798836.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

[misc]-流量包-wireshark-icmp

[misc]-流量包-wireshark-icmp

wireshark打开，大部分都是icmp,查看data部分 提取data长度： tshark.exe -r 1.pcapng -T fields -e data.len > length.txt 使用python解析这个文件，剔除异常值，每8个取一个值，得到flag ds [] with open(length.tx…
阅读更多...
Pytorch张量

Pytorch张量

在conda的环境中安装Jupyter及其他软件包 Pytorch 建立在张量（tensor）之上，Pytorch张量是一个 n 维数组，类似于 NumPy 数组。专门针对GPU设计，可以运行在GPU上以加快计算效率。换句话说，Pytorch张量是可以运…
阅读更多...
重要特性——链接

重要特性——链接

链接允许你创建对文件或目录的引用，而不必复制其内容。 1.硬链接：硬链接是指向同一文件系统的同一个inode（索引节点）的多个文件名。这意味着每个硬链接实际上是同一个文件的不同名字。改变文件内容将影响所有硬链接，因…
阅读更多...
机器学习——决策树（笔记）

机器学习——决策树（笔记）

目录 一、认识决策树 1. 介绍 2. 决策树生成过程 二、sklearn中的决策树 1. tree.DecisionTreeClassifier（分类树） （1）模型基本参数 （2）模型属性 （3）接口 2. tree.Decision…
阅读更多...
创维汽车与深圳市互充充签订战略合作协议，首批订单100辆超充车型！

创维汽车与深圳市互充充签订战略合作协议，首批订单100辆超充车型！

2024年6月19日，创维汽车与深圳互充充网络科技有限公司于创维汽车徐州基地签订战略合作协议。此次合作旨在通过技术创新和资源整合，在汽车销售、融资租赁、绿色低碳等领域深化合作，拓展合作业务，创新合作模式，共同推动新…
阅读更多...
常用控件(六)

常用控件(六)

布局管理器 布局管理器垂直布局QHBoxLayoutQGridLayoutQFormLayoutQSpacerItem 布局管理器 之前使⽤ Qt 在界⾯上创建的控件, 都是通过 “绝对定位” 的⽅式来设定的. 也就是每个控件所在的位置, 都需要计算坐标, 最终通过 setGeometry 或者 move ⽅式摆放过去.这种设定⽅式其…
阅读更多...
麒麟系统开发笔记（十四）：在国产麒麟系统上编译libmodbus库、搭建基础开发环境和移植测试Demo

麒麟系统开发笔记（十四）：在国产麒麟系统上编译libmodbus库、搭建基础开发环境和移植测试Demo

若该文为原创文章，转载请注明原文出处 本文章博客地址：https://hpzwl.blog.csdn.net/article/details/140387947 长沙红胖子Qt（长沙创微智科）博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV…
阅读更多...
【爱上C++】vector模拟实现

【爱上C++】vector模拟实现

文章目录 前言一：基本框架1.结构的定义2.构造函数①.详解 const T& val T()②.为什么要多加一个int类的带参构造？】 3.析构函数4.size()和capacity()5.push_back尾插6.operator[]operator[]的返回类型为T&有以下几个原因： 二&#x…
阅读更多...
【python】UnboundLocalError报错分析：原因、解决办法与避免策略

【python】UnboundLocalError报错分析：原因、解决办法与避免策略

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…
阅读更多...
Geoserver发布wmts服务

Geoserver发布wmts服务

注意事项：因为这里我安装的是geoserver2.25.2，所以jdk版本换成11，安装17的时候点击浏览文件，右上角转圈，f12打开控制台发现报错500 1、新建网格集 2、把自己新建的网格集添加到Caching Defaults中 3、新建工作空间 4、…
阅读更多...
JVM：运行时数据区

JVM：运行时数据区

文章目录 一、总览二、程序计数器1、介绍2、程序计数器在运行中会出现内存溢出吗？ 三、栈1、介绍2、栈帧的组成部分（1）局部变量表（2）操作数栈（3）帧数据（3）栈内存溢出&…
阅读更多...
Golang | Leetcode Golang题解之第229题多数元素II

Golang | Leetcode Golang题解之第229题多数元素II

题目： 题解： func majorityElement(nums []int) (ans []int) {cnt : map[int]int{}for _, v : range nums {cnt[v]}for v, c : range cnt {if c > len(nums)/3 {ans append(ans, v)}}return }
阅读更多...
知识图谱和 LLM：利用 Neo4j 实现大型语言模型

知识图谱和 LLM：利用 Neo4j 实现大型语言模型

这是关于 Neo4j 的 NaLLM 项目的一篇博客文章。这个项目是为了探索、开发和展示这些 LLM 与 Neo4j 结合的实际用途。 2023 年，ChatGPT 等大型语言模型 (LLM) 因其理解和生成类似人类的文本的能力而风靡全球。它们能够适应不同的对话环境、回答各种主题的问题，甚至模拟创意写…
阅读更多...
【系统架构设计师】十二、系统架构设计(软件架构概述|构件|软件架构风格|软件架构复用)

【系统架构设计师】十二、系统架构设计(软件架构概述|构件|软件架构风格|软件架构复用)

目录 一、软件架构概述 1.1 软件架构定义 1.2 软件架构设计与生命周期 1.3 软件架构的重要性 二、构件 2.1 构件的特性 2.2 对象的特性 2.3 构件接口 2.4 面向构件的编程(COP) 2.5 构件技术 三、软件架构风格 3.1 数据流风格 3.2 调用/返回风格 3.3 独立构件风格…
阅读更多...
Vue3+Vite+TS+Axios整合详细教程

Vue3+Vite+TS+Axios整合详细教程

1. Vite 简介 Vite是新一代的前端构建工具，在尤雨溪开发Vue3.0的时候诞生。类似于Webpack Webpack-dev-server。其主要利用浏览器ESM特性导入组织代码，在服务器端按需编译返回，完全跳过了打包这个概念，服务器随起随用。生产中利用…
阅读更多...
【动态规划】背包问题 {01背包问题；完全背包问题；二维费用背包问题}

【动态规划】背包问题 {01背包问题；完全背包问题；二维费用背包问题}

一、背包问题概述 背包问题(Knapsackproblem)是⼀种组合优化的NP完全问题。 问题可以描述为：给定一组物品，每种物品都有自己的重量和价格，在限定的总重量内，我们如何选择，才能使得物品的总价格最⾼。 根据物品的个数…
阅读更多...
【精品资料】模块化数据中心解决方案（33页PPT）

【精品资料】模块化数据中心解决方案（33页PPT）

引言：模块化数据中心解决方案是一种创新的数据中心设计和部署策略，旨在提高数据中心的灵活性、可扩展性和效率。这种方案通过将数据中心的基础设施、计算、存储和网络资源封装到标准化的模块中，实现了快速部署、易于管理和高效运维的目标 方案…
阅读更多...
数据库管理-第218期 服务器内存（20240711）

数据库管理-第218期 服务器内存（20240711）

数据库管理218期 2024-07-11 数据库管理-第218期 服务器内存（20240711）1 内存2 ECC内存3 原理3.1 多副本传输3.2 纠错码3.3 汉明码 总结 数据库管理-第218期 服务器内存（20240711） 作者：胖头鱼的鱼缸（尹海文…
阅读更多...
【边缘计算网关教程】4.西门子PPI协议对接

【边缘计算网关教程】4.西门子PPI协议对接

前景回顾：【边缘计算网关教程】3.创建第二个流程-CSDN博客 目录 1. 硬件连接 2. PLC串口参数 2.1. 打开STEP7软件 2.2. 查看通信参数 3. 网关设置 3.1. PLC连接设置 3.2. 数据点位设置 3.3. 测试 西门子 PPI 协议 适配PLC：S7-200 西门子S7-200 PLC…
阅读更多...
【学习笔记】无人机（UAV）在3GPP系统中的增强支持(七)-通过无人机实现无线接入的独立部署

【学习笔记】无人机（UAV）在3GPP系统中的增强支持(七)-通过无人机实现无线接入的独立部署

引言 本文是3GPP TR 22.829 V17.1.0技术报告，专注于无人机（UAV）在3GPP系统中的增强支持。文章提出了多个无人机应用场景，分析了相应的能力要求，并建议了新的服务级别要求和关键性能指标（KPIs）。…
阅读更多...
最新文章

Copyright @ 2022~2023