大数据快速使用Kerberos认证集群

一、创建安全集群并登录其Manager

  1. 创建安全集群，开启“Kerberos认证“参数开关，并配置“密码“、“确认密码“参数。该密码用于登录Manager，请妥善保管。

  2. 登录MRS管理控制台页面。

  3. 单击“集群列表“，在“现有集群“列表，单击指定的集群名称，进入集群信息页面。

  4. 单击“集群管理页面“后的“前往Manager”，打开Manager页面。

    • 若用户创建集群时已经绑定弹性公网IP。

      1. 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则“。

         说明：

        • 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。
        • 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问Manager服务。

      2. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。“

    • 若用户创建集群时暂未绑定弹性公网IP。

      1. 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP“创建弹性公网IP。

      2. 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请点击“管理安全组规则“。

         说明：

        • 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。
        • 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问Manager服务。

      3. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。“

  5. 单击“确定“，进入Manager登录页面。

  6. 输入创建集群时默认的用户名“admin“及设置的密码，单击“登录“进入Manager页面。

二、创建角色和用户

开启Kerberos认证的集群，必须通过以下步骤创建一个用户并分配相应权限来允许用户执行程序。

  1. 在Manager界面选择“系统 > 权限 > 角色”。

  2. 单击“添加角色“。

    填写如下信息：

    • 填写角色的名称，例如mrrole。
    • 在“配置资源权限”选择待操作的集群，然后选择“Yarn > 调度队列 > root”，勾选“权限”列中的“提交”和“管理”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。
    • 选择“HBase > HBase Scope”，勾选global的“权限”列的“创建”、“读”、“写”和“执行”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。
    • 选择“HDFS > 文件系统 > hdfs://hacluster/”，勾选“权限”列的“读”、“写”和“执行”，勾选完全后，不要单击确认，要单击如下图的待操作的集群名，再进行后面权限的选择。
    • 选择“Hive > Hive读写权限”，勾选“权限”列的“查询”、“删除”、“插入”和“建表”，单击“确定”，完成角色的创建。

  3. 选择“系统 > 权限 > 用户组 > 添加用户组”，为样例工程创建一个用户组，例如mrgroup。

  4. 选择“系统 > 权限 > 用户 > 添加用户”，为样例工程创建一个用户。

    • 填写用户名，例如test，当需要执行Hive程序时，请设置用户名为“hiveuser“。

    • 用户类型为“人机”用户。

    • 输入密码（特别注意该密码在后面运行程序时要用到）。

    • 加入用户组mrgroup和supergroup。

    • 设置其“主组”为supergroup，并绑定角色mrrole取得权限。

      单击“确定”完成用户创建。

  5. 选择“系统 > 权限 > 用户”，选择新建用户test，选择“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。

三、执行MapReduce程序

本小节提供执行MapReduce程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如mapreduce-examples-1.0.jar、input_data1.txt和input_data2.txt。

操作步骤

  1. 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。

  2. 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：

    cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf

  3. 使用上传工具（比如：WinScp）将mapreduce-examples-1.0.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。

  4. 执行如下命令配置环境变量并认证已创建用户，例如test。

    cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test

    然后按照提示输入密码，无异常提示返回（首次登录需按照系统提示修改密码），则完成了用户的kerberos认证。

  5. 执行如下命令将数据导入到HDFS中：

    cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put input_data* /tmp/input

  6. 执行如下命令运行程序：

    yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector /tmp/input /tmp/mapreduce_output

    其中：

    /tmp/input指HDFS文件系统中input的路径。

    /tmp/mapreduce_output指HDFS文件系统中output的路径，该目录必须不存在，否则会报错。

  7. 程序运行成功后，执行 hdfs dfs -ls /tmp/mapreduce_output会显示如下：

    图 1 查看程序运行结果

四、执行Spark程序

本小节提供执行Spark程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如FemaleInfoCollection.jar、input_data1.txt和input_data2.txt。

操作步骤

  1. 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。

  2. 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：

    cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf

  3. 使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。

  4. 执行如下命令配置环境变量并认证已创建用户，例如test。

    cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test

    然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。

  5. 执行如下命令将数据导入到HDFS中：

    cd test
hdfs dfs -mkdir /tmp/input
hdfs dfs -put input_data* /tmp/input

  6. 执行如下命令运行程序：

    cd /opt/Bigdata/client/Spark/spark
bin/spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/Bigdata/client/test/FemaleInfoCollection-1.0.jar /tmp/input

  7. 程序运行成功后，会显示如下：

    图 2 程序运行结果

五、执行Hive程序

本小节提供执行Hive程序的操作指导，旨在指导用户在安全集群模式下运行程序。

前提条件

已编译好待运行的程序及对应的数据文件，如hive-examples-1.0.jar、input_data1.txt和input_data2.txt。

操作步骤

  1. 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。

  2. 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹：

    cd /opt/Bigdata/client
mkdir test
cd test
mkdir conf

  3. 使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户“中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。

  4. 执行如下命令配置环境变量并认证已创建用户，例如test。

    cd /opt/Bigdata/client
source bigdata_env
export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/
kinit test

    然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。

  5. 执行如下命令运行程序：

    chmod +x /opt/hive_examples -R   cd /opt/hive_examples   java -cp .:hive-examples-1.0.jar:/opt/hive_examples/conf:/opt/Bigdata/client/Hive/Beeline/lib/*:/opt/Bigdata/client/HDFS/hadoop/lib/* com.huawei.bigdata.hive.example.ExampleMain

  6. 程序运行成功后，会显示如下：

    图 3 程序运行的结果

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/698182.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【web性能】什么是图层？图层创建的条件？

【web性能】什么是图层？图层创建的条件？

CSS图层 浏览器在渲染一个页面时，会将页面分为很多个图层，图层有大有小，每个图层上有一个或多个节点。在渲染DOM的时候，浏览器所做的工作实际上是： 获取DOM后分割为多个图层；对每个图层的节点计算样式结果…
阅读更多...
thinkphp6.0版本下子查询sql处理

thinkphp6.0版本下子查询sql处理

目录 一：背景 二：查询实例 三：总结 一：背景 我们在实际业务的开发过程中，经常会碰到这样的场景，查询某些部门的客户信息，查询下过订单的客户信息。这里查询客户信息实际上就用到了子查询&…
阅读更多...
打造智慧校园信息系统，提升学校科技实力

打造智慧校园信息系统，提升学校科技实力

在如今数字化的时代，打造智慧校园信息系统已成为提升学校科技实力的关键。随着科技的迅猛发展，学校需要跟上时代步伐，利用先进技术建设一个高效、智能的信息系统，为学生、教师和管理人员提供更好的学习和工作环境。 智慧校园信息系…
阅读更多...
专家解读 | NIST网络安全框架（3）：层级配置

专家解读 | NIST网络安全框架（3）：层级配置

NIST CSF在核心部分提供了六个类别的关键功能和子功能，并围绕CSF的使用提供了层级（Tier）和配置（Profile）两种工具，使不同组织和用户更方便有效地使用CSF，本文将深入探讨CSF层级和配置的主要内容…
阅读更多...
01、Linux网络设置

01、Linux网络设置

目录 1.1 查看及测试网络 1.1.1 查看网络配置 1、查看网络接口地址 2、查看主机状态 3、查看路由表条目 4、查看网络连接qing 1.1.2 测试网络连接 1.测试网络连接 2.跟踪数据包的路由路径 3.测试DNS域名解析 1.2 设置网络地址参数 1.2.1 使用网络配置命令 1.修改网卡…
阅读更多...
干货 | 2024元宇宙技术融合与新质生产力的创新实践（免费下载）

干货 | 2024元宇宙技术融合与新质生产力的创新实践（免费下载）

【1】关注本公众号，转发当前文章到微信朋友圈 【2】私信发送 【3】获取本方案PDF下载链接，直接下载即可。 如需下载本方案PPT/WORD原格式，请加入微信扫描以下方案驿站知识星球，获取上万份PPT/WORD解决方案！&#xff…
阅读更多...
Apple - IOKit Fundamentals

Apple - IOKit Fundamentals

本文翻译整理自：IOKit Fundamentals （Updated: 2014-04-09 https://developer.apple.com/library/archive/documentation/DeviceDrivers/Conceptual/IOKitFundamentals/Introduction/Introduction.html 文章目录 一、I/O Kit 基础知识简介1、谁应该阅读本…
阅读更多...
【Pyqt6 学习笔记】实现串口调试助手，并将接收到数据模拟键盘输出

【Pyqt6 学习笔记】实现串口调试助手，并将接收到数据模拟键盘输出

文章目录 代码示例main.pyscreen_shot_module.pyqrcmd.pyuntitled.pyuntitled.ui 本文内容是 【Pyqt6 学习笔记】DIY一个二维码解析生成小工具的延申，在原来的基础上实现了串口调试助手功能，并利用 pywinauto的 keyboard模块将接收到数据模拟键盘输出…
阅读更多...
计算机网络9——无线网络和移动网络3 蜂窝移动通信网

计算机网络9——无线网络和移动网络3 蜂窝移动通信网

文章目录 一、蜂窝无线通信技术的发展简介1、蜂窝移动通信系统问世2、2G 蜂窝移动通信系统3、数据通信被引入移动通信系统4、3G 蜂窝移动通信系统4、4G 蜂窝移动通信系统 一、蜂窝无线通信技术的发展简介 1、蜂窝移动通信系统问世 移动通信的种类很多，如蜂窝移动通…
阅读更多...
爱德华三坐标软件ACdmis.AC-dmis密码注册机

爱德华三坐标软件ACdmis.AC-dmis密码注册机

爱德华三坐标软件 AC-DMIS 是一款功能强大的三坐标测量软件，具有以下特点： • 支持多种测量模式：包括接触式测量、非接触式测量、复合式测量等，可以满足不同类型工件的测量需求。 • 高精度测量：采用先进的测量算法和…
阅读更多...
选专业，优先考虑个人兴趣还是考虑就业？

选专业，优先考虑个人兴趣还是考虑就业？

2024高考季，站在人生的重要展示点上，不管是家长还是学生都非常紧张，尤其是在面临专业选择的时候，大家既要考虑个人兴趣又要考虑未来的就业需求，所以很多人都会因此陷入纠结。 我们在选择专业的时候，到底是…
阅读更多...
神奇！你见过生成Prompt的Prompt？

神奇！你见过生成Prompt的Prompt？

目录 先上干货 这个Prompt是怎么来的 道路是曲折的 总结 PART/ 01 先上干货 你怎么会想到这些场景呢，比如健身计划、英语学习、旅游规划等等，其实挺不好意思的，大家被我骗了，这些都是我使用一个Prompt解决的。 对&#xf…
阅读更多...
【perl】环境搭建

【perl】环境搭建

1、Vscode Strawberry Perl 此过程与tcl环境搭建很类似，请参考我的这篇文章： 【vscode】 与 【tclsh】 联合搭建tcl开发环境_tclsh软件-CSDN博客 perl语言的解释器可以选择，strawberry perl。Strawberry Perl for Windows - Releases。 …
阅读更多...
硬件开发笔记（十七）：RK3568底板电路串口、485、usb原理图详解

硬件开发笔记（十七）：RK3568底板电路串口、485、usb原理图详解

若该文为原创文章，转载请注明原文出处 本文章博客地址：https://hpzwl.blog.csdn.net/article/details/139589308 红胖子网络科技博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬…
阅读更多...
李廉洋：6.11黄金原油持续震荡上行，今日行情走势分析策略。

李廉洋：6.11黄金原油持续震荡上行，今日行情走势分析策略。

黄金消息面分析：上周黄金市场的走势受到了PCE通胀数据和美联储政策预期的显着影响。尽管市场对黄金的长期看涨情绪依然存在，但短期内金价的波动性预计将持续。4月份的PCE通胀数据显示价格压力有所降温，这一结果与分析师预期一致，但…
阅读更多...
网络AI 大模型十大问题深度分析 2024

网络AI 大模型十大问题深度分析 2024

源自：AI云原生智能算力架构 注：若出现无法显示完全的情况，可搜索“人工智能技术与咨询”查看完整文章 4. 总结与展望 NetGPT 是移动网络和大模型间的双向融合趋势，在这份白皮书中，我们深入探讨了 NetGPT的十大基础问…
阅读更多...
脉动圆形加载动画

脉动圆形加载动画

效果图： 完整代码： <!DOCTYPE html> <html> <head><meta charset="UTF-8" /><title>脉动圆形加载动画</title><style type="text/css">body {background: #ECF0F1;display: flex;justify-content: center;al…
阅读更多...
Qt中解决编译中文乱码和编译失败的问题

Qt中解决编译中文乱码和编译失败的问题

解决方法 1.使用#pragma execution_character_set(“utf-8”) QT5中在cpp中使用#pragma execution_character_set(“utf-8”)解决中文乱码&#xff0c;不过这里要求该源代码必须保存成带Bom的utf-8格式&#xff0c;这也是有些在网上下载的代码&#xff0c;加上这句源代码后还…
阅读更多...
超强 BAAS 神器:支持自动生成API、对象存储、静态托管，云函数!

超强 BAAS 神器:支持自动生成API、对象存储、静态托管，云函数!

想象一下&#xff0c;你是一名开发者&#xff0c;你有一种强大的神器&#xff0c;可以让你摆脱繁琐的服务搭建和接口开发&#xff0c;免费使用众多第三方认证服务、对象存储、云函数和静态部署。这就是MemFire Cloud&#xff01; MemFire Cloud是懒人开发者的福音&#xff0c;一…
阅读更多...
初探RocketMQ

初探RocketMQ

初探RocketMQ 1、引言 Message Queue(消息队列)&#xff0c;从字面上理解&#xff1a;首先它是一个队列。FIFO先进先出的数据结构-队列。消息队列就是所谓的存放消息的队列。 消息队列解决的不是消息的队列的目的&#xff0c;解决的是通信问题。 比如以电商订单系统为例&#…
阅读更多...
最新文章

Copyright @ 2022~2023