大数据之Linux部署常用命令脚本封装

文章目录

    • 编写集群命令执行脚本
      • xcall集群命令执行
        • 1. 脚本需求
        • 2. 需求分析
        • 3. 脚本实现
          • 3.1 创建脚本存放目录
          • 3.2 编写xcall脚本
          • 3.3 修改脚本执行权限
          • 3.4 测试脚本
    • 编写集群分发脚本
      • xsync集群分发脚本
        • 1. 脚本需求
        • 2. 需求分析
        • 3. 脚本实现
          • 3.1 创建脚本存放目录
          • 3.2 编写xsync脚本
          • 3.3 修改脚本执行权限
          • 3.4 测试脚本

在这里插入图片描述

编写集群命令执行脚本

xcall集群命令执行

1. 脚本需求
  • 需求: 简化对多个远程主机执行相同命令的过程。允许用户通过一个单一的命令行调用,在一组预定义的主机上执行任意命令。方便集群管理和自动化任务,减少重复工作并提高效率。
2. 需求分析
  • 使用xcall 命令进行命令执行, 例如
    xcall ls -al /
    
  • 期望脚本xcall 能够在所有预定义的主机上查看根目录/ 的内容。
3. 脚本实现
  • 脚本存放在/home/bigdata/bin目录下,在~/.bashrc中添加以下内容,以便bigdata用户可以在系统的任何位置直接执行。
    export PATH=$PATH:/home/bigdata/bin
    
  • 使环境变量生效 source ~/.bashrc
3.1 创建脚本存放目录
  • /home/bigdata目录下创建bin文件夹:

    mkdir bin
    
  • 脚本存放在/home/bigdata/bin目录下,以便bigdata用户可以在系统的任何位置直接执行。

3.2 编写xcall脚本
  • /home/bigdata/bin目录下创建xall文件:

    cd /home/bigdata/bin
    vim xcall
    
  • 编写脚本内容:

    #!/bin/bash
    # 定义主机名数组
    hosts=("hadoop101" "hadoop102" "hadoop103")
    # 检查是否有外部参数传递给脚本
    if [ $# -eq 0 ]; then
        echo "Usage: $0 <command>"
        exit 1
    fi
     # 遍历主机数组,对每个主机执行 SSH 命令
    for host in "${hosts[@]}"; do
        echo "-------- $host --------"
        ssh "$host" "$*"
    done
    
3.3 修改脚本执行权限
  • 使xcall脚本具有执行权限:
    chmod +x xcall
    
3.4 测试脚本
  • 测试xcall脚本是否正常工作:
    xcall ls -al /
    

编写集群分发脚本

xsync集群分发脚本

1. 脚本需求
  • 需求:实现循环复制文件到所有节点的相同目录下。
2. 需求分析
  • 使用rsync命令进行原始拷贝,例如:
    rsync -av /opt/module bigdata@hadoop102:/opt/
    
  • 期望脚本xsync能够同步指定的文件名称。
3. 脚本实现
  • 脚本存放在/home/bigdata/bin目录下,以便bigdata用户可以在系统的任何位置直接执行。
3.1 创建脚本存放目录
  • /home/bigdata目录下创建bin文件夹:
    mkdir bin
    
3.2 编写xsync脚本
  • /home/bigdata/bin目录下创建xsync文件:
    cd /home/bigdata/bin
    vim xsync
    
  • 编写脚本内容:
    #!/bin/bash
    
    hosts=("hadoop101" "hadoop102" "hadoop103")
    # 1. 判断参数个数
    if [ $# -lt 1 ]
    then
      echo "Not Enough Arguments!"
      exit 1
    fi
    
    # 2. 遍历集群所有机器
    for host in "${hosts[@]}"; do
      echo "====================  $host  ==================="
      # 3. 遍历所有目录,挨个发送
      for file in "$@"; do
        # 4. 判断文件是否存在
        if [ -e "$file" ]
        then
          # 5. 获取父目录
          pdir=$(cd -P "$(dirname "$file")"; pwd)
          # 6. 获取当前文件的名称
          fname=$(basename "$file")
          ssh $host "mkdir -p \"$pdir\""
          rsync -av "$pdir/$fname" "$host:$pdir"
        else
          echo "$file does not exist!"
        fi
      done
    done
    
3.3 修改脚本执行权限
  • 使xsync脚本具有执行权限:
    chmod +x xsync
    
3.4 测试脚本
  • 测试xsync脚本是否正常工作:
    xsync /path/to/file_or_directory
    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/767966.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

cad由于找不到mfc140u.dll的解决方法,彻底解决mfc140u.dll丢失问题

在计算机辅助设计&#xff08;CAD&#xff09;的时候&#xff0c;我们可能会遇到各种错误和问题。其中&#xff0c;“CAD由于找不到mfc140u.dll&#xff0c;无法继续执行代码”的错误提示。这个问题可能会导致CAD无法启动运行&#xff0c;因此&#xff0c;我希望通过分享我的经…

外籍学员报到,四川眼科医院开启国际屈光手术专科医生培训

“能够来到中国、来到四川眼科医院学习&#xff0c;我真的很幸运&#xff01;”这个夏天&#xff0c;对于马来西亚眼科医生Ivan Cheng En Yoo来说&#xff0c;充满了期待和挑战。他是首位来到四川眼科医院进修学习的马来西亚籍医生&#xff0c;Ivan Cheng将在周进院长的带领下&…

AzureDataFactory 实体间的关联如何处理(Lookup)

使用ADF从外部数据源(例如Sql Server)往D365推数时&#xff0c;实体间的Lookup一定是要做的&#xff0c;本篇以我项目中的设备为例&#xff0c;设备表中有产品的lookup字段 设备表结构如下 msdyn_customerasset 表名ID 设备表guidSerialNumber设备序列号ProductCode设备对应的…

docker部署简单的Kafka

文章目录 1. 拉取镜像2. 运行创建网络运行 ZooKeeper 容器运行 Kafka 容器 3. 简单的校验1. 检查容器状态2. 检查 ZooKeeper 日志3. 检查 Kafka 日志4. 使用 Kafka 命令行工具检查5. 创建和删除测试主题 1. 拉取镜像 选择一组兼容性好的版本。 docker pull bitnami/kafka:3.6…

2024“国培“来也UiBot6.0 RPA数字机器人开发综合应用

前言 (本博客中会有部分课程ppt截屏,如有侵权请及请及时与小北我取得联系~) 国培笔记: 依次读取数组中每个元素 输出调试信息 [ value=[ "vivian", value[0] "老师", "上午好,O(∩_∩)O哈哈~" ], v…

小红书 达芬奇:生活问答 AI 机器人

小红书去年 9 月开始内测的生活问答 AI 机器人&#xff1a;达芬奇&#xff0c;现在可以在小红书 APP 上用了 得益于小红书平台的特性&#xff0c;该助手擅长吃、住、宠、喝、学等等各类生活知识&#xff0c;目前还在搞活动&#xff0c;写评测笔记最高得 666 元

DMA学习笔记

参考文章 https://blog.csdn.net/as480133937/article/details/104927922 DMA简介 DMA&#xff0c;全称Direct Memory Access&#xff0c;即直接存储器访问。DMAC 即 DMA 控制器&#xff0c;提供了一种硬件的数据传输方式&#xff0c;无需 CPU 的介入&#xff0c;可以处理外…

VS Code 常用快捷键大全

Visual Studio Code 是目前最好用的代码编辑器之一。它提供了许多开箱即用的功能以及丰富的第三方扩展&#xff0c;本文将分享常用的 VS Code 快捷键&#xff0c;助你提高开发效率&#xff01; 代码导航 跳转指定行&#xff1a;快速跳转到文件中的指定行&#xff0c;只需按下快…

从0开始transformer代码理解(附带调试和个人原理理解)

代码来源 本次代码来源自github https://github.com/graykode/nlp-tutorial 里面的5.1 transformer代码 本文目录 代码来源第一步 数据准备&#xff08;从main函数开始&#xff09;make_batch函数 **Transformer 主体函数定义代码**Encoder层词向量维度嵌入掩码部分实现多层e…

Linux运维之需掌握的基本Linux命令

前言&#xff1a;本博客仅作记录学习使用&#xff0c;部分图片出自网络&#xff0c;如有侵犯您的权益&#xff0c;请联系删除 目录 一、SHELL 二、执行命令 三、常用系统工作命令 四、系统状态检测命令 五、查找定位文件命令 六、文本文件编辑命令 七、文件目录管理命令…

echarts--Tree的label上添加图片

使用echarts的rich富文本&#xff0c;配合lable的formatter去实现 主要代码&#xff1a;label里 rich: {img1: {backgroundColor: {image: Cloudy,},height: 40}},formatter: function (param) {var res "";res {img1|} param.name;return res;}, 如果想要哪一节…

Python 生成Md文件带超链 和 PDF文件 带分页显示内容

software.md # -*- coding: utf-8 -*- import os f open("software.md", "w", encoding"utf-8") f.write(内部测试版2024 MD版\n) for root, dirs, files in os.walk(path): dax os.path.basename(root)if dax "":print("空白…

大模型补贴政策来了!!!

广州琶洲人工智能与数字经济试验区管理委员会 广州市海珠区科技工业商务和信息化局关于印发广州市海珠区建设人工智能大模型应用示范区实施细则的通知 各有关单位&#xff1a; 为进一步促进海珠区人工智能大模型产业发展&#xff0c;加快建设人工智能大模型应用示范区&#xf…

昇思MindSpore学习总结八——模型保存与加载

在训练网络模型的过程中&#xff0c;实际上我们希望保存中间和最后的结果&#xff0c;用于微调&#xff08;fine-tune&#xff09;和后续的模型推理与部署&#xff0c;接下来将介绍如何保存与加载模型。 1.构建模型 import numpy as np import mindspore from mindspore impo…

【RocketMQ】记录一次RocketMQ消费延迟问题排查思路

文章目录 背景问题排查Consumer负载均衡机制订阅关系的一致 背景 业务团队反馈使用我提供的RocketMQ集群&#xff0c;上游生产的消息&#xff0c;部分消息&#xff0c;消费程序需要等1分钟&#xff0c;甚至几分钟后&#xff0c;才能收到。 问题排查 见怪不怪&#xff0c;大部…

TapData 医疗美容行业数字化白皮书上线

随着颜值经济的发展&#xff0c;人们追求“美”的热情也不断高涨&#xff0c;而作为近年来被资本频频下注的赛道之一&#xff0c;医疗美容逐渐走进大众视野。 一方面&#xff0c;社会对外貌的重视程度不断提升&#xff0c;越来越多的人愿意通过医疗美容来提升自身形象&#xf…

后端加前端Echarts画图示例全流程(折线图,饼图,柱状图)

本文将带领读者通过一个完整的Echarts画图示例项目&#xff0c;演示如何结合后端技术&#xff08;使用Spring Boot框架&#xff09;和前端技术&#xff08;使用Vue.js或React框架&#xff09;来实现数据可视化。我们将实现折线图、饼图和柱状图三种常见的数据展示方式&#xff…

【python】PyQt5事件机制、定时器原理分析和实战演练

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…

哨兵1SAR空间数据包协议数据单元文档(五)

《哨兵1SAR空间数据包协议数据单元》文档对数据包的结构进行了详细描述&#xff0c;并提供了用户数据的格式和解码算法。 原文链接: 哨兵1SAR空间数据包协议数据单元文档英文版 同系列中的其他文章篇链接: 哨兵1SAR空间数据包协议数据单元文档&#xff08;一&#xff09; 哨兵1…

亚太万人eVTOL展!2024深圳eVTOL将于9月登陆鹏城

2024年以来&#xff0c;北京、上海等十多个省市&#xff0c;先后发布了鼓励低空经济发展的行动方案&#xff0c;其中&#xff0c;eVTOL&#xff08;电动垂直起降航空器&#xff09;成为低空经济最火热的细分赛道。2023年&#xff0c;中国eVTOL产业规模达9.8亿元&#xff0c;同比…