Linux和Windows集群中部署HTCondor

目录

 1、集群架构

2、HTCondor版本

3、Linux系统安装

3.1、HTCondor安装

3.2、中央管理节点配置

3.3、其他节点配置

4、Windwos系统安装

5、安全配置

6、参考


 1、集群架构
 

操作系统IP地址
1*Ubuntu22.04192.168.1.74
2Ubuntu22.04192.168.1.60
3Ubuntu22.04192.168.1.67
4Ubuntu20.03192.168.1.136
5Windows10192.168.1.20

2、HTCondor版本

为了兼容Ubuntu22.04,采用了HTCondor10.0.9版本

官网地址:HTCondor DownloadHTCSS is a specialized workload management system for compute-intensive jobs. Built to be flexible, expressive, and compatible with Grid and Cloud computing environments HTCSS was made to increase your Computational Throughput.icon-default.png?t=N7T8https://htcondor.org/htcondor/download/

3、Linux系统安装

采用Ubuntun22.04作为中央管理节点,IP地址为192.168.1.74

其余电脑全部设置为执行点和提交点。

3.1、HTCondor安装

在所有Ubuntu电脑中设置:

wget -qO - https://research.cs.wisc.edu/htcondor/repo/keys/HTCondor-10.0-Key | sudo apt-key add -

如果更换版本,密钥也得更换,此处用的锁10.0版本。

echo "deb [arch=amd64] https://research.cs.wisc.edu/htcondor/repo/ubuntu/10.0 jammy main" | sudo tee /etc/apt/sources.list.d/htcondor.list

apt-get update
apt-get install htcondor

3.2、中央管理节点配置

打开防火墙9618端口

ufw allow 9618/tcp

如果ufw服务没开启:

ufw enable

编辑condor_config文件

vim  /etc/condor/condor_config

在condor_config文件中加上:

ALLOW_WRITE =*

ALLOW_READ=*

CONDOR_HOST=$(FULL_HOSTNAME)

DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD

ALLOW_ADVERTISE_MASTER=$(ALLOW_WRITE)
ALLOW_ADVERTISE_STARTD=$(ALLOW_WRITE)
ALLOW_ADVERTISE_SCHEDD=$(ALLOW_WRITE)

DAEMON_LIST设置机器的进程:
示例:
    中央管理主机(可提交可执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD, STARTD
    中央管理主机(只提交不执行)
    DAEMON_LIST = COLLECTOR, MASTER, NEGOTIATOR, SCHEDD
    作业提交主机
    DAEMON_LIST = MASTER, SCHEDD
    作业执行主机
    DAEMON_LIST = MASTER, STARTD

安全配置最后介绍,Linux、Windows类似

3.3、其他节点配置

在其余节点(执行点、提交点)下载完HTCondor后,编辑condor_config文件,将host指向中央管理节点,我这里是192.168.1.74,再配置相关节点进程。

vim  /etc/condor/condor_config

CONDOR_HOST=192.168.1.74

#下面三个三选一

DAEMON_LIST = MASTER, SCHEDD  #作业提交主机

DAEMON_LIST = MASTER, STARTD #作业执行主机

DAEMON_LIST = MASTER, SCHEDD,STARTD #作业提交+执行主机

安全配置最后介绍,Linux、Windows类似

4、Windwos系统安装

Windows系统直接到官网下载相应版本msi文件即可。我这里是10.0.9版本

https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/icon-default.png?t=N7T8https://research.cs.wisc.edu/htcondor/tarball/10.0/10.0.9/release/Windows详细安装教程参考:

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html注意在第一步选择创建condor池还是加入condor池时,选择join an existing HTCondor Pool.

Hostname of Central  Manager选择中央管理节点ip,我这里填的是192.168.1.74.

后面根上面博客里教程一样即可。

如果后续需要修改节点进程,在安装目录下的condor_config中修改DAEMON_LIST即可。

5、安全配置

安全配置,Linux与Windows一样。

Linux到/etc/condor下修改condor_config文件

Windows到安装目录下修改condor_condif文件。

为了方便,我没有采用IDTOKENSPassword身份验证。所以注释掉在condor_config中所有关于安全的配置,例如:use SECURITY等。

如果需要更安全的验证,请自行去官网参照官方手册配置:
Security — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/admin-manual/security.html#password-authenticationLinux可能会有个config.d文件夹,如何里面有配置文件,编辑这个配置文件看看是否有关于安全的配置,如果有注释掉。

在condor_config中加入:

use SECURITY:HOST_BASED

6、参考

Administrative Quick Start Guide — HTCondor Manual 23.4.0 documentationicon-default.png?t=N7T8https://htcondor.readthedocs.io/en/latest/getting-htcondor/admin-quick-start.html

https://www.cnblogs.com/charlee44/p/12207128.htmlicon-default.png?t=N7T8https://www.cnblogs.com/charlee44/p/12207128.html

https://www.twblogs.net/a/5b8389002b71776c51e37dacicon-default.png?t=N7T8https://www.twblogs.net/a/5b8389002b71776c51e37dac

本文合作作者:感情丶剪不断-CSDN博客感情丶剪不断关注react.js,前端框架,面试,css,node.js,es6,vue.js,https,javascript领域.https://blog.csdn.net/qq_46688918

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/423265.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

python3装饰器

装饰器 它允许你修改函数或类的行为,而不更改其源代码。实质上,装饰器是接受另一个函数作为参数并返回一个包装原始函数的新函数。这样,你可以在不修改原始函数的情况下,添加一些额外的功能或逻辑。 def time_cost(func):"…

Java 数组(详细)

目录 一、数组的概述 1. 数组的理解: 2. 数组相关的概念: 3. 数组的特点: 4. 数组的分类: 5.数据结构: 二、一维数组 1. 一维数组的声明与初始化 2. 一维数组元素的引用: 3. 数组的属性&#xff1…

期货开户金融期货的种类

金融期货概念及其种类有哪些?期货种类分为商品期货、金融期货、和期货期权。金融期货是期货的其中一个种类,它是以证券;货币、汇率,利率等金融产品作为买卖标的的期货品种。金融期货交易产生于本世纪70年代的美国市场,…

项目解决方案: 实时视频拼接方案介绍(中)

目 录 1.实时视频拼接概述 2.适用场景 3.系统介绍 4. 拼接方案介绍 4.1基于4K摄像机的拼接方案 4.2采用1080P平台3.0 横向拼接 4.2.1系统架构 4.2.2系统功能 4.2.3方案特色 4.2.4适用场景 4.2.5设备选型 4.3纵横兼顾,竖屏拼接 4.3.1系统…

从下一代车规MCU厘清存储器的发展(2)

目录 1.概述 2.MCU大厂的选择 2.1 瑞萨自研STT-MRAM 2.2 ST专注PCM 2.3 英飞凌和台积电联手RRAM 2.4 NXP如何计划eNVM 3.小结 1.概述 上篇文章,我们简述了当前主流的存储器技术,现在我们来讲讲各大MCU大厂的技术选择 2.MCU大厂的选择 瑞萨日…

取送货问题(Pickup and Delivery Problem)

取送货问题及其变体 广义取送货问题(General Pickup and Delivery Problems,GPDP)可以分为两类: Vehicle Routing Problems with Backhauls,VRPB:从配送中心(depot)取货运输货物到客…

VUE3:省市区联级选择器

一、实现效果 二、代码展示 <template><div class"page"><select v-model"property.province"><option v-for"item in provinces" :key"item">{{ item }}</option></select><select v-model&…

RabbitMQ-消息队列:优先级队列、惰性队列

20、优先级队列 在我们系统中有一个订单催付的场景&#xff0c;我们的客户在天猫下的订单&#xff0c;淘宝会及时将订单推送给我们&#xff0c;如果在用户设定的时间内未付款那么就会给用户推送一条短信提醒&#xff0c;很简单的一个功能对吧。 但是&#xff0c;天猫商家对我…

Stable Cascade-ComfyUI中文生图、图生图、多图融合基础工作流分享

最近 ComfyUI对于Stable Cascade的支持越来越好了一些&#xff0c;官方也放出来一些工作流供参考。 这里简单分享几个比较常用的基础工作流。 &#xff08;如果还没有下载模型&#xff0c;可以先阅读上一篇Stable Cascade升级&#xff0c;现在只需要两个模型&#xff09; &a…

春游和女儿穿这套,超美

质感满满的牛仔套装&#xff0c;简直不要太好看 出游的时候亲子装考虑一下哈哈 经典版型&#xff0c;线条流畅&#xff0c;洋气又舒适 而且用的是防褪色的牛仔面料&#xff0c;耐脏又实穿 日常外出都可以穿&#xff0c;时髦又闲适 上衣做的真口袋实用又美观&#xff0c;版…

实战 | 使用YOLOv8图像分割实现路面坑洞检测(步骤 + 代码)

导 读 本文主要介绍使用YOLOv8图像分割实现路面坑洞检测&#xff08;步骤 代码&#xff09;。 背 景 如上图所示&#xff0c;现实生活中路面坑洞对车辆和驾驶员安全来说存在巨大隐患&#xff0c;本文将介绍如何使用YoloV8图像分割技术来检测路面坑洞&#xff0c;从而提示驾…

【研发日记】Matlab/Simulink技能解锁(三)——在Stateflow编辑窗口Debug

文章目录 前言 State断点 Transition断点 条件断点 按State步进 Watch Data Value Sequence Viewer 分析和应用 总结 前言 见《【研发日记】Matlab/Simulink技能解锁(一)——在Simulink编辑窗口Debug》 见《【研发日记】Matlab/Simulink技能解锁(二)——在Function编辑…

Leetcode3. 无重复字符的最长子串 -hot100

题目&#xff1a; 代码&#xff08;首刷看解析 2024年3月2日&#xff09;&#xff1a; 没能自解的原因是Alpahash.insert(s[right]); 放在for循环开头了&#xff0c;没能处理边界条件。 class Solution { public:int lengthOfLongestSubstring(string s) {// 滑动窗口int left…

overleaf上传到arxiv 参考文献无法引用(?)

记一下overleaf上传到arxiv的bug 参考文献无法引用&#xff08;&#xff1f;&#xff09; 因为需要上传bbl文件而不是bib 用overleaf生成bbl 另外需要将bbl和txt的文件名设置成一样的

Linux线程【互斥与同步】

目录 1.资源共享问题 1.1多线程并发访问 1.2临界区和临界资源 1.3互斥锁 2.多线程抢票 2.1并发抢票 2.2 引发问题 3.线程互斥 3.1互斥锁相关操作 3.1.1互斥锁创建与销毁 3.1.2、加锁操作 3.1.3 解锁操作 3.2.解决抢票问题 3.2.1互斥锁细节 3.3互斥…

C 嵌入式系统设计模式 18:临界区模式

本书的原著为&#xff1a;《Design Patterns for Embedded Systems in C ——An Embedded Software Engineering Toolkit 》&#xff0c;讲解的是嵌入式系统设计模式&#xff0c;是一本不可多得的好书。 本系列描述我对书中内容的理解。本文章描述嵌入式并发和资源管理模式之四…

Java读取文件

读取文件为String 、访问链接直接跳转html 环境&#xff1a;SpringMVC 、前端jsp InputStreamReader FileInputStream fileInputStream new FileInputStream(formatFile.getHtmlpath());InputStreamReader reader new InputStreamReader(fileInputStream, StandardCharsets…

5GC SBA架构

协议标准&#xff1a;Directory Listing /ftp/Specs/archive/23_series/23.501/ (3gpp.org) NF描述说明NSSFNetwork Slice Selection Function网络切片选择&#xff0c;根据UE的切片选择辅助信息、签约信息等确定UE允许接入的网络切片实例。NEF Network Exposure Function网络开…

gif闪图如何在线生成?仅需三步在线制作gif闪图

Gif动态图片是一种通过连续播放的一系列图片来展示的。Gif动图的优势是体积小、传播速度快且不受限制。当我们想要将多张图片变成带有闪动效果的gif动图时应该怎么操作呢&#xff1f;这时候&#xff0c;只需要使用在线闪图制作&#xff08;https://www.gif.cn/&#xff09;网站…

查找算法——java

顺序查找&#xff08;顺序表查找&#xff09; 顺序查找也称为线形查找&#xff0c;属于无序查找算法。从数据结构线形表的一端开始&#xff0c;顺序扫描&#xff0c;依次将扫描到的结 点关键字与给定值k相比较&#xff0c;若相等则表示查找成功&#xff1b;若扫描结束仍没…