LSF live reconfiguration

背景

LSF的配置管理相对比较原始,通过配置文件设置集群中的各种参数。管理员在修改LSF参数时需要很多的手工操作:先通过编辑器修改配置文件,然后还要运行一个或两个命令才能激活配置,而且配置也不是立即生效,还有几秒中的延迟,因此深受用户的诟病。

后来为了缓解用户的痛点,引入了 live reconfiguration, 即通过 bconf 命令行改变集群参数。但也仅针对 lsb.* 配置中的部分参数,只能说是部分解决了问题。

Live reconfiguration 机制简介

管理员通过 bconf 命令行参数确定要修改的集群参数,命令成功后将修改集群中的参数,同时将系统中的参数缓存到单独的目录中,以便重启后能够恢复配置。

需要注意的是:1)默认缓存目录与安装时默认的配置文件目录不同;安装时默认的配置文件目录为 $LSF_ENVDIR/lsbatch/<cluster name>/configdir/,而默认的缓存目录为 $LSF_ENVDIR/../work/<cluster name>/live_confdir/;2)如果激活了 live reconfiguration,并通过 bconf 修改了相关配置,比如用户组,则手工修改默认配置文件目录下的lsb.users 会引发配置冲突;

要解决以上问题,可行的办法就是将缓存目录设置为默认的配置文件目录。

使用简介

bconf 的语法如下

bconf 操作 对象类型=对象名称 参数

常见操作包括以下几类:

操作说明
create创建对象
delete删除对象
addmember增加成员
rmmember删除成员

常见对象包括以下几种:

对象类型说明
usergroup修改用户组参数
hostgroup修改主机组参数
limit修改资源限额参数

下面给出常见操作的示例

用户组管理

创建用户组 ug_a, 并设置三个初始成员 u1 u2 u3

bconf create usergroup=ug_a "GROUP_MEMBER=u1 u2 u3"

在用户组 ug_a 中增加成员 u4 u5

bconf addmember usergroup=ug_a "GROUP_MEMBER=u4 u5" 

从用户组 ug_a 中移除成员 u1 和 u5

 bconf rmmember hostgroup=ug_a "GROUP_MEMBER=u1 u5" 

删除用户组 ug_a

 bconf delete hostgroup=ug_a

主机组管理

创建主机组 hg_a, 并设置三个初始成员 h1 h2 h3

bconf create hostgroup=hg_a "GROUP_MEMBER=h1 h2 h3"

在主机组 hg_a 中增加成员 h4 h5

bconf addmember hostgroup=ug_a "GROUP_MEMBER=h4 h5" 

从主机组 hg_a 中移除成员 h1 和 h5

 bconf rmmember hostgroup=ug_a "GROUP_MEMBER=h1 h5" 

删除主机组 hg_a

 bconf delete hostgroup=hg_a

资源配额管理

创建资源配额

创建资源限制,限制队列 normal 上最多同时运行 100 个作业

bconf create limit=normal_limit "PER_QUEUE=normal;JOBS=100;"

修改资源限制,限制队列 normal 上最多同时运行 200 个作业

bconf update limit=normal_limit "PER_QUEUE=normal;JOBS=200;"

修改资源限制,限制用户 lsfadmin 在队列 normal 上最多同时运行 100 个作业

bconf update limit=normal_limit "PER_QUEUE=normal;JOBS=100;PER_USER=lsfadmin"

删除资源限制

bconf delete limit=normal_limit

 详细的使用说明请参见LSF手册

Live reconfiguration 介绍

IBM DocumentationUse live reconfiguration to make configuration changes in LSF active memory that takes effect immediately. Live reconfiguration requests use the bconf command, and generate updated configuration files in the directory set by the LSF_LIVE_CONFDIR parameter in the lsf.conf file.icon-default.png?t=N7T8https://www.ibm.com/docs/en/spectrum-lsf/10.1.0?topic=cluster-live-reconfiguration

bconf 使用说明

IBM DocumentationSubmits live reconfiguration requests, updating configuration settings in active memory without restarting daemons.icon-default.png?t=N7T8https://www.ibm.com/docs/en/spectrum-lsf/10.1.0?topic=reference-bconf

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/441057.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【性能测试】Jmeter性能压测-阶梯式/波浪式场景总结(详细)

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 1、阶梯式场景&am…

从huggingface下载模型像本地加载但是UnicodeDecodeError

我自己是在Linux下出现了这个问题 原文&#xff1a;https://github.com/huggingface/transformers/issues/13674 The path for the AutoModel should be to a directory pointing to a pytorch_model.bin and to a config.json. Since you’re pointing to the .bin file dire…

【二】【算法分析与设计】编程练习

数字三角形 链接&#xff1a;登录—专业IT笔试面试备考平台_牛客网 来源&#xff1a;牛客网 时间限制&#xff1a;C/C 1秒&#xff0c;其他语言2秒 空间限制&#xff1a;C/C 32768K&#xff0c;其他语言65536K 64bit IO Format: %lld 题目描述 KiKi学习了循环&#xff0c;BoBo…

代码随想录 回溯算法-排序

目录 46.全排序 47.全排列|| 332.重新安排行程 46.全排序 46. 全排列 中等 给定一个不含重复数字的数组 nums &#xff0c;返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,3] 输出&#xff1a;[[1,2,3],[1,…

Java零基础 - 数组的定义和声明

哈喽&#xff0c;各位小伙伴们&#xff0c;你们好呀&#xff0c;我是喵手。 今天我要给大家分享一些自己日常学习到的一些知识点&#xff0c;并以文字的形式跟大家一起交流&#xff0c;互相学习&#xff0c;一个人虽可以走的更快&#xff0c;但一群人可以走的更远。 我是一名后…

Git 远程操作

1.分布式版本控制系统 我们目前所说的所有内容&#xff08;工作区&#xff0c;暂存区&#xff0c;版本库等等&#xff09;&#xff0c;都是在本地&#xff01;也就是在你的笔记本或者计算机上。而我们的 Git 其实是分布式版本控制系统&#xff01;什么意思呢 可以简单理解为&am…

Windows下PostgreSQL安装教程

一、下载 https://www.enterprisedb.com/downloads/postgres-postgresql-downloads

提醒一下!今年考研的人不要太老实了!!

今年准备计算机考研的同学&#xff0c;别太老实了&#xff01;别人说什么你就信什么 如果你的工作能力不足以支撑找到一个满意的工作&#xff0c;那我建议再沉淀两年&#xff01; 很多同学其实有点眼高手低&#xff0c;在计算机专业&#xff0c;低于1w的工作看不上&#xff0…

论文阅读:Scalable Diffusion Models with Transformers

Scalable Diffusion Models with Transformers 论文链接 介绍 传统的扩散模型基于一个U-Net骨架&#xff0c;这篇文章提出了一种新的扩散模型结构&#xff0c;将U-Net替换为一个transformer&#xff0c;并将这种结构称为Diffusion Transformers (DiTs)。他们还发现&#xff…

【网络】:HTTP服务器

HTTP服务器 一.预备知识二.HTTP的请求和响应三.写一个简单的HTTP服务器四.返回响应五.HTTP方法和状态码 一.预备知识 1.域名 https://www.baidu.com&#xff0c;这是一个域名。在技术角度上&#xff0c;访问一个服务器其实只需要知道它的ip和域名就行了&#xff0c;而域名主要…

电力物联网系统设计

电力物联网系统设计 简介 在新能源行业从业多年&#xff0c;参与和负责过大大小小的的项目&#xff0c;发电侧、电网侧、用户侧系统都有过实际的项目经验&#xff0c;这些项目或多或少都有物联网采集方面的需求&#xff0c;本篇文章将会对电力行业物联网经验做一个总结分享。 …

LeetCode 刷题 [C++] 第3题.无重复字符的最长子串

题目描述 给定一个字符串 s &#xff0c;请你找出其中不含有重复字符的 最长子串 的长度。 题目分析 可以使用滑动窗口加哈希表来实现&#xff1a; 使用start和end两个变脸来表示滑动窗口的头部位置和尾部位置&#xff0c;两者开始均为0&#xff1b;借助哈希表来记录已经遍…

六、长短时记忆网络语言模型(LSTM)

为了解决深度神经网络中的梯度消失问题&#xff0c;提出了一种特殊的RNN模型——长短期记忆网络&#xff08;Long Short-Term Memory networks, LSTM&#xff09;&#xff0c;能够有效的传递和表达长时间序列中的信息并且不会导致长时间前的有用信息被忽略。 长短时记忆网络原理…

vue iis 配置

下载安装两个IIS模块 1). 传送门&#xff1a;URL Rewrite 2). 传送门&#xff1a;Application Request Routing 注 : 只有在 服务器的主页 有Application Request Routing 部署VUE网站 生成网站 在VUE项目打包生成出发布文件,即文件夹 dist,此处忽略 复制到你需要存放网站的…

10 事务控制

文章目录 事务控制事务概述事务操作事务四大特性事务隔离级别 事务控制 事务概述 MySQL 事务主要用于处理操作量大&#xff0c;复杂度高的数据。比如说&#xff0c;在人员管理系统中&#xff0c;你删除一个人员&#xff0c;既需要删除人员的基本资料&#xff0c;也要删除和该…

kafka报文模拟工具的使用

日常项目中经常会碰到消费kafka某个topic的数据&#xff0c;如果知道报文格式&#xff0c;即可使用工具去模拟发送报文&#xff0c;以此测试代码中是否能正常消费到这个数据。 工具资源已上传&#xff0c;可直接访问连接下载&#xff1a;https://download.csdn.net/download/w…

Learn OpenGL 02 你好,三角形

图形渲染管线 图形渲染管线的每个阶段的抽象展示。要注意蓝色部分代表的是我们可以注入自定义的着色器的部分 首先&#xff0c;我们以数组的形式传递3个3D坐标作为图形渲染管线的输入&#xff0c;用来表示一个三角形&#xff0c;这个数组叫做顶点数据(Vertex Data)。 顶点着色…

编译内核错误 multiple definition of `yylloc‘

编译内核错误 # make ARCHarm CROSS_COMPILEarm-mix410-linux- uImageHOSTLD scripts/dtc/dtc /usr/bin/ld: scripts/dtc/dtc-parser.tab.o:(.bss0x10): multiple definition of yylloc; scripts/dtc/dtc-lexer.lex.o:(.bss0x0): first defined here collect2: error: ld ret…

昏暗场景增强-低照度增强-弱光增强(附代码)

引言 随着现代科技的发展&#xff0c;图像采集设备已经渗透到生活的方方面面&#xff0c;然而在昏暗场景、低照度或弱光条件下&#xff0c;图像的质量往往受到严重影响&#xff0c;表现为亮度不足、对比度低下、色彩失真以及细节丢失等问题。这类图像对于人眼识别和计算机视觉…

FPGA IBUFG

IBUFG和IBUFGDS的输入端仅仅与芯片的专用全局时钟输入管脚有物理连接&#xff0c;与普通IO和其它内部CLB等没有物理连接。 所以&#xff0c;IBUFG输入的不能直接接另外信号。 GTH transceiver primitives are called GTHE3_COMMON and GTHE3_CHANNEL in UltraScale FPGAs, an…