Slurm集群使用基础

Introduction

我们在做生物信息分析时，对于大规模的上游数据的处理，一般需要在大型服务器或集群上进行。我最早接触并使用的是一个基于SLURM调度系统的集群，在此记录一下基础使用方法。

高性能计算集群（High-Performance Computing Cluster，简称HPC集群）是一种计算系统，通过将多台计算机（通常称为节点）连接在一起，协同工作来解决需要大量计算资源的问题。这些集群被广泛应用于科学研究、工程计算、金融建模、大数据分析等领域。

SLURM（Simple Linux Utility for Resource Management）是一种开放源码的资源管理和任务调度系统，广泛应用于高性能计算（HPC）集群。SLURM负责分配计算资源、调度作业、监控系统状态和用户任务等工作，是HPC集群中不可或缺的一部分。

主要功能

  1. 资源分配：SLURM能够根据用户需求和集群资源情况，动态分配计算节点、CPU、内存和其他资源，确保资源的高效利用。

  2. 任务调度：SLURM可以将用户提交的计算任务按照优先级、依赖关系和资源需求进行调度，决定何时在何处执行这些任务。

  3. 任务管理：用户可以通过SLURM提交、监控和管理他们的任务，包括查看任务状态、取消任务、重新排队等操作。

  4. 负载均衡：SLURM通过智能调度算法，尽量均衡各节点的负载，避免资源浪费，提高集群的整体效率。

  5. 作业依赖管理：支持复杂的作业依赖关系管理，例如在一个作业完成后再启动另一个作业，或多个作业之间的依赖关系管理。

工作流程

  1. 提交作业：用户通过sbatch命令提交编写好的作业脚本，描述作业的资源需求（如节点数、CPU数、内存等）和执行命令。
  2. 资源分配：SLURM的调度器（slurmctld）根据当前的资源可用情况和作业队列中的优先级，分配资源给新提交的作业。
  3. 作业执行：分配到资源的作业通过srun命令在指定的节点上启动并运行。
  4. 作业监控：运行中的作业由slurmd守护进程进行监控，用户可以使用squeue命令查看作业的执行状态。
  5. 结果处理：作业完成后，输出结果通常会被保存到用户指定的文件中，用户可以通过slurm提供的命令查看和管理这些结果。

优势

  • 高可扩展性：能够管理从几台到上百万台计算节点的集群。
  • 开源和社区支持：丰富的文档和活跃的用户社区，便于问题解决和功能扩展。
  • 灵活性和可配置性：支持多种调度策略和配置，适应不同的工作负载和需求。

基础使用

常用命令

  1. sinfo: 查看队列状态和信息

    • 用途: 显示集群的分区和节点状态信息。
    • 选项:
      • -s 简要格式输出
      • -N 显示每个节点的信息
      • -p <partition> 只显示特定分区的信息
    • 输出字段:
      • PARTITION: 分区名称
      • AVAIL: 节点可用性状态（up/down）
      • TIMELIMIT: 分区的时间限制
      • NODES: 分区中的节点数量
      • STATE: 节点状态：drain(节点故障)，alloc(节点在用)，idle(节点可用)，down(节点下线)，mix（节点被占用，但仍有剩余资源）
      • NODELIST: 节点名称列表

  2. sacct: 显示用户作业历史

    • 用途: 查询作业历史记录，显示已完成和正在进行的作业信息。
    • 选项:
      • -j <jobid> 查询特定作业
      • -S <YYYY-MM-DD> 查询指定开始日期的作业
      • -u <username> 查询特定用户的作业
    • 输出字段:
      • JobID: 作业ID
      • JobName: 作业名称
      • Partition: 分区名称
      • Account: 用户账户
      • State: 作业状态（COMPLETED、FAILED、CANCELLED等）
      • Elapsed: 作业运行时间

  3. squeue: 显示当前作业状态

    • 用途: 显示当前在队列中排队和运行的作业状态。
    • 选项:
      • -u <username> 只显示特定用户的作业
      • -p <partition> 只显示特定分区的作业
    • 输出字段:
      • JOBID: 作业ID
      • PARTITION: 分区名称
      • NAME: 作业名称
      • USER: 用户名
      • ST: 作业状态（PD排队；R运行；S挂起；CG正在退出）
      • TIME: 作业运行时间
      • NODES: 作业使用的节点数量
      • NODELIST(REASON): 作业所在节点或排队原因

  4. sbatch: 提交作业

    • 用途: 提交批处理作业脚本。
    • 示例:
      sbatch my_job_script.sh
    • 常用选项:
      • --job-name=<name> 设置作业名称
      • --partition=<partition> 指定作业提交的分区
      • --time=<time> 设置作业运行时间限制

  5. scancel: 取消指定作业

    • 用途: 取消一个或多个作业。
    • 示例:
      scancel 12345
    • 选项:
      • -u <username> 取消特定用户的所有作业
      • -p <partition> 取消特定分区中的作业

  6. pestat: 节点使用信息

    • 用途: 显示集群节点的使用情况和状态信息（此命令可能是集群特定的，或者通过管理员定义的别名）。
    • 示例:
      pestat

  7. sacct -j <jobid>: 检查已完成作业的信息

    • 用途: 查看特定作业的详细信息，包括如何完成或失败。
    • 示例:
      sacct -j 12345

  8. seff <jobid>: 查看已完成任务的资源使用情况

    • 用途: 显示特定作业的资源使用效率，包括CPU、内存等。
    • 示例:
      seff 12345

  9. scontrol show job <jobid>: 显示作业细节

    • 用途: 提供有关特定作业的详细信息，包括作业配置和当前状态。
    • 示例:
      scontrol show job 12345

其他有用的SLURM命令

  1. srun: 直接运行并行作业

    • 用途: 在分配的资源上运行一个并行任务，通常用于交互式会话。
    • 示例:
      srun --partition=short --ntasks=4 my_program

  2. scontrol: 管理SLURM系统

    • 用途: 用于查询和更改SLURM系统的配置和状态。
    • 常用命令:
      • scontrol show partition 显示分区信息
      • scontrol update NodeName=<node> State=RESUME 恢复节点

  3. sreport: 生成使用报告

    • 用途: 生成有关作业、用户和账户的资源使用报告。
    • 示例:
      sreport cluster utilization

作业参数

  • #SBATCH --job-name 作业名称
  • #SBATCH --output 标准输出文件：如/share/home/pengchen/work/%x_%A_%a.out
  • #SBATCH --error ERROR输出文件：如/share/home/pengchen/work/%x_%A_%a.err
  • #SBATCH --partition 工作分区，我们用cpu之类的
  • #SBATCH --nodelist 可以制定在哪个节点运行任务
  • #SBATCH --exclude 可以设置不放在某个节点跑任务
  • #SBATCH --nodes 使用nodes数量
  • #SBATCH --ntasks tasks数量，可能分配给不同node
  • #SBATCH --ntasks-per-node 每个节点的tasks数量，由于我们只有1 node，所以ntasks和ntasks-per-node是相同的
  • #SBATCH --cpus-per-task 每个task使用的core的数量（默认 1 core per task），同一个task会在同一个node
  • #SBATCH --mem 这个作业要求的内存 (Specified in MB，GB)
  • #SBATCH --mem-per-cpu 每个core要求的内存 (Specified in MB，GB)

在SLURM中，一个任务（task）被理解为一个进程（process），一个多进程（multi-process）程序由多个任务组成。相反，多线程（multithreaded）程序只有一个任务，但这个任务使用多个logical CPU。更好的理解ntasks，参考what does the ntasks or n tasks does in slurm

例子：

#!/bin/bash
#SBATCH --job-name=myjob
#SBATCH --output=/share/home/pengchen/work/%x_%A_%a.out
#SBATCH --error=/share/home/pengchen/work/%x_%A_%a.err
#SBATCH --partition=cpu
#SBATCH --nodes=1
#SBATCH --tasks-per-node=1
#SBATCH --cpus-per-task=1
#SBATCH --mem-per-cpu=2g
#SBATCH --time=14-00:00:00
echo start: `date +'%Y-%m-%d %T'`
start=`date +%s`
####################

do something

####################
echo end: `date +'%Y-%m-%d %T'`
end=`date +%s`
echo TIME:`expr $end - $start`s

把上面的内容保存为myjob.sh文件，然后使用sbatch即可提交排队。

tmux+srun

tmux是一个 terminal multiplexer（终端复用器），它可以启动一系列终端会话。

在我们使用命令行时,打开一个终端窗口,会话开始,执行某些命令如sleep 100,关闭此终端窗口,会话结束,sleep命令会话随之被关闭而非等到正常结束。

当我们希望运行的程序不会受会话窗口的关闭而随之消失,我们会使用到类似于nohup这样的方式将运行的命令后台化的。

但集群并不可以如此：当我们申请节点资源后到该节点去执行nohup时看上去程序已经后台运行了,但当会话窗口关闭后作业将会被视为结束,节点则会运行相应的清理动作结束掉后台运行的程序;此时tmux的功能便显现出优势。

  1. 申请节点资源（使用SLURM调度器）：

    salloc -N 1 -n 1 --time=01:00:00

    这条命令申请一个节点，时间为1小时。

  2. 在节点上启动tmux会话：

    tmux new-session -s myjob # 新建一个名称为myjob的会话

  3. 运行任务：

    ./run_my_simulation.sh

  4. 分离会话：
    可以在不影响任务运行的情况下关闭终端窗口或断开连接：

    # Ctrl+b，然后按 d 
# 或者
tmux detach

  5. 重新连接到会话（如有需要）：

    tmux ls # 查看所有的会话
tmux attach-session # 默认进入第一个会话
tmux attach-session -t myjob # 进入到名称为myjob的会话

  6. 关闭会话。

会话的使命完成后是一定要关闭的;可以使用exit退出,快捷键Ctrl+d

或者使用tmux配合srun申请资源：

tmux
srun -n 1 --pty /bin/bash
tmux detach

此窗口作业会一直运行，直到手动退出/作业时间限制。

module

在SLURM集群环境中，模块管理系统（如Lmod或Environment Modules）常用于管理和切换不同的软件环境。模块系统可以简化软件依赖和版本控制，允许用户动态加载或卸载软件包和库。

模块系统使用模块文件来描述如何设置环境变量（如PATH、LD_LIBRARY_PATH等），以便使用特定的软件包或库。常用命令包括module load、module unload、module list等。

  1. 查看可用模块：

    module avail

    这将列出所有可用的模块。

  2. 加载模块：

    module load module_name

    例如，加载GCC编译器：

    module load gcc

  3. 卸载模块：

    module unload module_name

    例如，卸载GCC编译器：

    module unload gcc

  4. 显示已加载模块：

    module list

    这将显示当前会话中已加载的模块。

  5. 显示模块信息：

    module show module_name

    例如，查看GCC模块的详细信息：

    module show gcc

在SLURM作业脚本中使用模块

在提交到SLURM的作业脚本中，可以使用模块命令来设置所需的软件环境。以下是一个示例SLURM作业脚本：

#!/bin/bash
#SBATCH --job-name=myjob            # 作业名称
#SBATCH --output=myjob.out          # 标准输出和错误日志
#SBATCH --error=myjob.err           # 错误日志文件
#SBATCH --ntasks=1                  # 运行的任务数
#SBATCH --time=01:00:00             # 运行时间
#SBATCH --partition=compute         # 作业提交的分区

# 加载模块
module load gcc
module load python

# 打印加载的模块
module list

# 运行命令
python my_script.py

在这个脚本中，module load gcc 和 module load python 用于加载所需的GCC编译器和Python环境。module list命令将打印当前加载的模块，方便调试。

conda

集群上一般用户都没有root权限，无法使用普通服务器的sudo安装软件方法，也无法使用docker（但是可以用singularity，下次可以讲讲这个）。建议使用conda进行环境配置和软件安装：

Conda 是一个开源的软件包管理和环境管理系统，支持跨平台使用，包括Linux、macOS和Windows。Conda 可以用于安装、运行和更新各种软件包和依赖，并能在不同环境之间轻松切换。用户可以在自己的家目录中安装Miniconda，这是Conda的一个轻量级版本，只包含包管理系统和Python。

  • 安装Miniconda

  1. 下载Miniconda安装脚本：

    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

  2. 运行安装脚本：

    bash Miniconda3-latest-Linux-x86_64.sh

  3. 按照提示完成安装。安装完成后，您可能需要重启终端或运行以下命令来激活Conda：

    source ~/.bashrc
  • 使用Conda创建和管理环境

  1. 创建新环境：

    conda create --name myenv python=3.8

    这将创建一个名为myenv的新环境，并安装Python 3.8。

  2. 激活环境：

    conda activate myenv

    激活后，所有在此环境下运行的命令都将使用该环境中的软件和库。

  3. 安装软件包：

    conda install numpy scipy

    这将在当前激活的环境中安装NumPy和SciPy。

  4. 列出已安装环境：

    conda env list

  5. 停用环境：

    conda deactivate

  6. 删除环境：

    conda remove --name myenv --all

在提交到SLURM的作业脚本中，可以激活Conda环境以确保作业在正确的软件环境中运行。以下是一个示例SLURM作业脚本：

#!/bin/bash
#SBATCH --job-name=myjob            # 作业名称
#SBATCH --output=myjob.out          # 标准输出和错误日志
#SBATCH --error=myjob.err           # 错误日志文件
#SBATCH --ntasks=1                  # 运行的任务数
#SBATCH --time=01:00:00             # 运行时间
#SBATCH --partition=compute         # 作业提交的分区

# 加载Conda
source ~/miniconda3/etc/profile.d/conda.sh

# 激活环境
conda activate myenv

# 运行命令
python my_script.py

Conda与其他工具的比较

  1. Conda vs. Virtualenv：

    • Conda不仅管理Python包，还能管理非Python软件包和库，如R、C++库等。
    • Virtualenv专注于Python环境，轻量级但功能不如Conda全面。

  2. Conda vs. Docker/Singularity：

    • Conda在不需要root权限的情况下，为用户提供了灵活的软件管理方式。
    • Docker需要root权限，但提供更隔离的容器化环境。集群上通常不能使用。
    • Singularity与Docker类似，但更适合在HPC环境中使用，不需要root权限。将在后续讨论。

关注公众号，获取最新推送

关注公众号 ‘bio llbug’,获取最新推送。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/661173.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

vs工程添加自定义宏

vs工程添加自定义宏

一、简介 用户可以添加自定义宏变量方便工程路径名称的修改和配置 例&#xff1a;$(SolutionDir) 为解决方案路径&#xff0c;$(PojectDir) 为工程所在路径 测试环境&#xff1a;vs2017&#xff0c;qt5.14.0 二、配置 1、打开属性窗口&#xff1a;视图-》其他窗口-》属性管…
阅读更多...
使用Webcam实现摄像头的开启和关闭，并保存和复制图片

使用Webcam实现摄像头的开启和关闭，并保存和复制图片

实现思路 0&#xff0c;将webcam的jar文件传入项目中 1&#xff0c;显示摄像头的地方&#xff1a;创建一个画板&#xff0c;在画板上添加开启和关闭按钮 2&#xff0c;设置开启和关闭功能&#xff1a;创建一个类实现动作监听器&#xff0c;进而实现监听动作按钮 3&#xff…
阅读更多...
豪赌？远见？浙江东方的量子冒险

豪赌？远见？浙江东方的量子冒险

今年4月16日&#xff0c;量子通信概念异动&#xff0c;浙江东方&#xff08;600120&#xff09;拉升涨停。 量子和浙江东方&#xff0c;要把这两个词联系起来似乎并不太容易。 浙江东方&#xff0c;即浙江东方金融控股集团股份有限公司&#xff0c;系浙江省国资委下属浙江省国…
阅读更多...
华发股份：加强业务协同 新政下项目热销

华发股份：加强业务协同 新政下项目热销

“5.17”楼市政策出台后&#xff0c;各地密集落地执行。5月27—28日&#xff0c;上海、广州、深圳三个一线城市跟进落地“517”新政。上海发布《关于优化本市房地产市场平稳健康发展政策措施的通知》&#xff0c;共计9条调整政策&#xff0c;涵盖外地户籍、人才、单身、婚否、企…
阅读更多...
SpringBootWeb 篇-深入了解会话技术与会话跟踪三种技术（Cookie 会话跟踪、Session 会话跟踪与 JWT 令牌会话跟踪）

SpringBootWeb 篇-深入了解会话技术与会话跟踪三种技术（Cookie 会话跟踪、Session 会话跟踪与 JWT 令牌会话跟踪）

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 会话技术 2.0 会话跟踪 2.1 会话跟踪 - Cookie 2.1.1 客户端获取 Cookie 的流程 2.1.2 Cookie 会话跟踪的特点 2.2 会话跟踪 - Session 2.2.1 客户端获取 SESSION…
阅读更多...
【Linux 网络编程】网络的基础知识详解！

【Linux 网络编程】网络的基础知识详解！

文章目录 1. 计算机网络背景2. 认识 "协议" 1. 计算机网络背景 网络互联: 多台计算机连接在一起, 完成数据共享; &#x1f34e;局域网&#xff08;LAN----Local Area Network&#xff09;: 计算机数量更多了, 通过交换机和路由器连接。 &#x1f34e; 广域网WAN: 将…
阅读更多...
猫狗分类识别模型建立②模型建立

猫狗分类识别模型建立②模型建立

一、导入依赖库 pip install opencv-python pip install numpy pip install tensorflow pip install keras 二、模型建立 pip install opencv-python pip install numpy pip install tensorflow pip install kerasimport os import xml.etree.ElementTree as ETimpor…
阅读更多...
Python Selenium 详解：实现高效的UI自动化测试

Python Selenium 详解：实现高效的UI自动化测试

落日余辉&#xff0c;深情不及久伴。大家好&#xff0c;在当今软件开发的世界中&#xff0c;自动化测试已经成为保障软件质量和快速迭代的重要环节。而在自动化测试的领域中&#xff0c;UI自动化测试是不可或缺的一部分&#xff0c;它可以帮助测试团队快速验证用户界面的正确性…
阅读更多...
【RAG论文】文档树：如何提升长上下文、非连续文档、跨文档主题时的检索效果

【RAG论文】文档树：如何提升长上下文、非连续文档、跨文档主题时的检索效果

RAPTOR Recursive Abstractive Processing for Tree-Organized RetrievalICLR 2024 Stanfordhttps://arxiv.org/pdf/2401.18059 RAPTOR&#xff08;Recursive Abstractive Processing for Tree-Organized Retrieval&#xff09;是一种创建新的检索增强型语言模型&#xff0c;它…
阅读更多...
使用NuScenes数据集生成ROS Bag文件：深度学习与机器人操作的桥梁

使用NuScenes数据集生成ROS Bag文件：深度学习与机器人操作的桥梁

在自动驾驶、机器人导航及环境感知的研究中&#xff0c;高质量的数据集是推动算法发展的关键。NuScenes数据集作为一项开源的多模态自动驾驶数据集&#xff0c;提供了丰富的雷达、激光雷达&#xff08;LiDAR&#xff09;、摄像头等多种传感器数据&#xff0c;是进行多传感器融合…
阅读更多...
【PostgreSQL17新特性之-事务级别超时参数transaction_timeout】

【PostgreSQL17新特性之-事务级别超时参数transaction_timeout】

PostgreSQL数据库里有多个和会话相关的参数&#xff0c;PostgreSQL17-beta1版本新增了一个transaction_timeout参数&#xff0c;来限制事务的持续时间。 当前的一些和会话相关的超时参数如下 -----------------------------------------------------------------------------…
阅读更多...
OrangePi Kunpeng Pro 开发板测评 | AI 边缘计算 大模型部署

OrangePi Kunpeng Pro 开发板测评 | AI 边缘计算 大模型部署

0 前言 此次很幸运能够参与 OrangePi Kunpeng Pro 开发板的测评&#xff0c;感谢 CSDN 给予这次机会。 香橙派联合华为发布了基于昇腾的 OrangePi Kunpeng Pro 开发板&#xff0c;具备 8TOPS 的 AI 算力&#xff0c;能覆盖生态开发板者的主流应用场景&#xff0c;具备完善的配…
阅读更多...
el-pagination在删除非第一页的最后一条数据遇到的问题

el-pagination在删除非第一页的最后一条数据遇到的问题

文章目录 前言一、问题展示二、解决方案三、源码解析1、elementui2、elementplus 总结 前言 这个问题是element-ui中的问题&#xff0c;可以从源码中看出来&#xff0c;虽然页码更新了&#xff0c;active也是对的&#xff0c;但是未调用current-change的方法&#xff0c;这里就…
阅读更多...
C#多线程同步lock、Mutex

C#多线程同步lock、Mutex

C#使用多线程可以通过System.Threading命名空间下的Thread类来实现 lock和Mutex用于实现线程同步的机制&#xff1a; 上代码&#xff1a; class People{public People(int idd){id idd;}public int id;public int age;}class TestHelper{public TestHelper() { }List<Peo…
阅读更多...
鸿蒙开发接口图形图像：【WebGL】

鸿蒙开发接口图形图像：【WebGL】

WebGL WebGL提供图形绘制的能力&#xff0c;包括对当前绘制图形的位置、颜色等进行处理。 WebGL标准图形API&#xff0c;对应OpenGL ES 2.0特性集。 说明&#xff1a; 开发前请熟悉鸿蒙开发指导文档&#xff1a; gitee.com/li-shizhen-skin/harmony-os/blob/master/README.md…
阅读更多...
4月平板电脑行业线上销售数据分析

4月平板电脑行业线上销售数据分析

由于全球科技发展趋势&#xff0c;如AI技术的应用&#xff0c;以及厂商新品发布计划&#xff1b;同时&#xff0c;平板电脑作为个人电脑的延伸产品&#xff0c;其便携性和生产力相较于手机具有明显优势&#xff0c;这也为行业的进一步发展提供了动力。 据鲸参谋数据统计&#…
阅读更多...
开一个抖音小店可以经营几个类目？经营几个类目最合适？

开一个抖音小店可以经营几个类目？经营几个类目最合适？

大家好&#xff0c;我是喷火龙。 抖音小店的商品类目和商品数量是没有限制的&#xff0c;只要是在营业执照的经营范围之内的类目都能入驻抖音小店&#xff0c;但是选择的主营类目不能超过三个。 有些商家可能会想&#xff0c;自己经营多个类目&#xff0c;做多种商品种类&…
阅读更多...
C++STL容器系列（三）list的详细用法和底层实现

C++STL容器系列（三）list的详细用法和底层实现

目录 一&#xff1a;介绍二&#xff1a;list的创建和方法创建list方法 三&#xff1a;list的具体用法3.1 push_back、pop_back、push_front、pop_front3.2 insert() 和 erase()3.3 splice 函数 四&#xff1a;list容器底层实现4.1 list 容器节点结构5.2 list容器迭代器的底层实…
阅读更多...
算法的时间复杂度（详解）

算法的时间复杂度（详解）

前言&#xff1a; 算法(Algorithm):就是定义良好的计算过程&#xff0c;他取一个或一组的值为输入&#xff0c;并产生出一个或一组值作为 输出。简单来说算法就是一系列的计算步骤&#xff0c;用来将输入数据转化成输出结果 一、算法效率 1.1 如何衡量一个算法的好坏 如何衡…
阅读更多...
一篇文章搞懂二叉树

一篇文章搞懂二叉树

文章目录 DP 树叶的度树的度节点的层次节点的祖先节点的子孙双亲节点或父节点 树的表示孩子兄弟表示法双亲表示法树和非树树的应用 二叉树满二叉树完全二叉树推论二叉树的存储以数组的方式以链表的方式堆(Heap)堆的分类大根堆和小根堆的作用 二叉树的遍历DFS和BFS DP 动态规划…
阅读更多...
最新文章

Copyright @ 2022~2023