权限管理Ranger详解

文章目录

  • 一、Ranger概述与安装
    • 1、Ranger概述
      • 1.1 Ranger介绍
      • 1.2 Ranger的目标
      • 1.3 Ranger支持的框架
      • 1.4 Ranger的架构
      • 1.5 Ranger的工作原理
    • 2、Ranger安装
      • 2.1 创建系统用户和Kerberos主体
      • 2.2 数据库环境准备
      • 2.3 安装RangerAdmin
      • 2.4 启动RangerAdmin
  • 二、Ranger简单使用
    • 1、安装 RangerUsersync
      • 1.1 RangerUsersync简介
      • 1.2 RangerUsersync安装
      • 1.3 RangerUsersync启动
    • 2、安装Ranger Hive-plugin
      • 2.1 Ranger Hive-plugin简介
      • 2.2 Ranger Hive-plugin安装
      • 2.3 在ranger admin上配置hive插件
    • 3、使用Ranger对Hive进行权限管理
      • 3.1 权限控制初体验
      • 3.2 Ranger授权模型

一、Ranger概述与安装

1、Ranger概述

1.1 Ranger介绍

Ranger的官网：https://ranger.apache.org/

Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。

随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生

1.2 Ranger的目标

  • 允许用户使用UI或REST API对所有和安全相关的任务进行集中化的管理
  • 允许用户使用一个管理工具对操作Hadoop体系中的组件和工具的行为进行细粒度的授权
  • 支持Hadoop体系中各个组件的授权认证标准
  • 增强了对不同业务场景需求的授权方法支持，例如基于角色的授权或基于属性的授权
  • 支持对Hadoop组件所有涉及安全的审计行为的集中化管理

1.3 Ranger支持的框架

  • Apache Hadoop
  • Apache Hive
  • Apache HBase
  • Apache Storm
  • Apache Knox
  • Apache Solr
  • Apache Kafka
  • YARN
  • NIFI

1.4 Ranger的架构

1.5 Ranger的工作原理

Ranager的核心是Web应用程序，也称为RangerAdmin模块，此模块由管理策略，审计日志和报告等三部分组成。

管理员角色的用户可以通过RangerAdmin提供的web界面或REST APIS来定制安全策略。这些策略会由Ranger提供的轻量级的针对不同Hadoop体系中组件的插件来执行。插件会在Hadoop的不同组件的核心进程启动后，启动对应的插件进程来进行安全管理

2、Ranger安装

Ranger2.0要求对应的Hadoop为3.x以上，Hive为3.x以上版本，JDK为1.8以上版本。Hadoop及Hive等需开启用户认证功能，本文基于开启Kerberos安全认证的Hadoop和Hive环境。注：本文中所涉及的Ranger相关组件均安装在hadoop102节点

2.1 创建系统用户和Kerberos主体

Ranger的启动和运行需使用特定的用户，故须在Ranger所在节点创建所需系统用户并在Kerberos中创建所需主体

# 创建ranger系统用户
useradd  ranger -G hadoop
echo ranger | passwd --stdin ranger

# 检查HTTP主体是否正常（该主体在Hadoop开启Kerberos时已创建）
# 使用keytab文件认证HTTP主体
kinit -kt /etc/security/keytab/spnego.service.keytab HTTP/hadoop102@EXAMPLE.COM
# 查看认证状态
klist
kdestroy 

# 创建rangeradmin主体
kadmin -padmin/admin -wadmin -q"addprinc -randkey rangeradmin/hadoop102"
kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rangeradmin.keytab rangeradmin/hadoop102"
chown ranger:ranger /etc/security/keytab/rangeradmin.keytab
# 创建rangerlookup主体
kadmin -padmin/admin -wadmin -q"addprinc -randkey rangerlookup/hadoop102"
kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rangerlookup.keytab rangerlookup/hadoop102"
chown ranger:ranger /etc/security/keytab/rangerlookup.keytab
# 创建rangerusersync主体
kadmin -padmin/admin -wadmin -q"addprinc -randkey rangerusersync/hadoop102"
kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rangerusersync.keytab rangerusersync/hadoop102"
chown ranger:ranger /etc/security/keytab/rangerusersync.keytab

2.2 数据库环境准备

mysql -uroot -p123456
# 在MySQL数据库中创建Ranger存储数据的数据库
create database ranger;
# 更改mysql密码策略，为了可以采用比较简单的密码
set global validate_password_length=4;
set global validate_password_policy=0;
# 创建用户
grant all privileges on ranger.* to ranger@'%'  identified by 'ranger';

2.3 安装RangerAdmin

# 官网：https://ranger.apache.org/
# 在hadoop102的/opt/module路径上创建一个ranger
# https://www.apache.org/dyn/closer.lua/ranger/2.0.0/apache-ranger-2.0.0.tar.gz
# 使用Maven命令编译，注意需要python,maven,git,java环境
# 具体编译可以参考：https://blog.csdn.net/weixin_38586230/article/details/105725346
mvn -DskipTests=true clean package
# 资源获取：https://download.csdn.net/download/lemon_TT/87961006
mkdir /opt/module/ranger
tar -zxvf ranger-2.0.0-admin.tar.gz -C /opt/module/ranger
# 进入/opt/module/ranger/ranger-2.0.0-admin路径，对install.properties配置
vim install.properties
# ===================================================
# 修改以下配置内容：
#mysql驱动
SQL_CONNECTOR_JAR=/opt/software/mysql-connector-java-5.1.37.jar

#mysql的主机名和root用户的用户名密码
db_root_user=root
db_root_password=123456
db_host=hadoop102

#ranger需要的数据库名和用户信息，和2.2.1创建的信息要一一对应
db_name=ranger
db_user=ranger
db_password=ranger

#Ranger各组件的admin用户密码
rangerAdmin_password=atguigu123
rangerTagsync_password=atguigu123
rangerUsersync_password=atguigu123
keyadmin_password=atguigu123

#ranger存储审计日志的路径，默认为solr，这里为了方便暂不设置
audit_store=

#策略管理器的url,rangeradmin安装在哪台机器，主机名就为对应的主机名
policymgr_external_url=http://hadoop102:6080

#启动ranger admin进程的linux用户信息
unix_user=ranger
unix_user_pwd=ranger
unix_group=ranger

#Kerberos相关配置
spnego_principal=HTTP/hadoop102@EXAMPLE.COM
spnego_keytab=/etc/security/keytab/spnego.service.keytab
admin_principal=rangeradmin/hadoop102@EXAMPLE.COM
admin_keytab=/etc/security/keytab/rangeradmin.keytab
lookup_principal=rangerlookup/hadoop102@EXAMPLE.COM
lookup_keytab=/etc/security/keytab/rangerlookup.keytab
hadoop_conf=/opt/module/hadoop-3.1.3/etc/hadoop

# ===================================================

# 在/opt/module/ranger/ranger-2.0.0-admin目录下执行安装脚本
./setup.sh
# 若安装过程中发现Error executing: CREATE FUNCTION `getXportalUIdByLoginId`(input_val VARCHAR(100)) RETURNS int(11) BEGIN DECLARE myid INT; SELECT x_portal_user.id into myid FROM x_portal_user WHERE x_portal_user.login_id = input_val; RETURN myid; END
# 导入失败，log_bin_trust_function_creators 为 OFF
# 进入mysql进行设置
show variables like '%func%';
set global log_bin_trust_function_creators=1;
drop database ranger;
create database ranger;
# 最后重新安装

# 修改/opt/module/ranger/ranger-2.0.0-admin/conf/ranger-admin-site.xml配置文件中的以下属性
vim /opt/module/ranger/ranger-2.0.0-admin/conf/ranger-admin-site.xml

修改如下参数

<property>
    <name>ranger.jpa.jdbc.password</name>
    <value>ranger</value>
    <description />
</property>

<property>
    <name>ranger.service.host</name>
    <value>hadoop102</value>
</property>

2.4 启动RangerAdmin

# 启动ranger-admin（以ranger用户启动）
sudo -i -u ranger ranger-admin start
# ranger-admin在安装时已经配设置为开机自启动，因此之后无需再手动启动
jps
# 进程名字为EmbeddedServer
# 访问Ranger的WebUI，地址为：http://hadoop102:6080,账号密码admin/atguigu123
# 停止ranger（此处不用执行）
sudo -i -u ranger ranger-admin stop

二、Ranger简单使用

https://cwiki.apache.org/confluence/display/RANGER/Row-level+filtering+and+column-masking+using+Apache+Ranger+policies+in+Apache+Hive

1、安装 RangerUsersync

1.1 RangerUsersync简介

RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理

1.2 RangerUsersync安装

# 解压
tar -zxvf ranger-2.0.0-usersync.tar.gz -C /opt/module/ranger/
# 在/opt/module/ranger/ranger-2.0.0-usersync目录下修改以下文件
vim install.properties
# ================================
#rangeradmin的url
POLICY_MGR_URL =http://hadoop102:6080

#同步间隔时间，单位(分钟)
SYNC_INTERVAL = 1

#运行此进程的linux用户
unix_user=ranger
unix_group=ranger

#rangerUserSync用户的密码，参考rangeradmin中install.properties的配置
rangerUsersync_password=atguigu123

#Kerberos相关配置
usersync_principal=rangerusersync/hadoop102@EXAMPLE.COM
usersync_keytab=/etc/security/keytab/rangerusersync.keytab
hadoop_conf=/opt/module/hadoop-3.1.3/etc/hadoop

# ================================

# 在/opt/module/ranger/ranger-2.0.0-usersync目录下执行安装脚本
./setup.sh
# 修改/opt/module/ranger/ranger-2.0.0-usersync/conf/ranger-ugsync-site.xml配置文件中的以下参数
<property>
      <name>ranger.usersync.enabled</name>
      <value>true</value>
</property>

1.3 RangerUsersync启动

# 启动之前，在ranger admin的web-UI界面，http://hadoop102:6080/index.html#!/users/usertab
# 启动RangerUserSync（使用ranger用户启动）
sudo -i -u ranger ranger-usersync start
# 启动后，再次查看用户信息
# 说明ranger-usersync工作正常！
# ranger-usersync服务也是开机自启动的，因此之后不需要手动启动

2、安装Ranger Hive-plugin

2.1 Ranger Hive-plugin简介

Ranger Hive-plugin是Ranger对hive进行权限管理的插件。需要注意的是，Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理，hive-cli并不受限制

2.2 Ranger Hive-plugin安装

# 解压软件
tar -zxvf ranger-2.0.0-hive-plugin.tar.gz -C /opt/module/ranger/
# 配置软件
vim install.properties
# 修改以下内容
# ===================================
#策略管理器的url地址
POLICY_MGR_URL=http://hadoop102:6080

#组件名称
REPOSITORY_NAME=hive

#hive的安装目录
COMPONENT_INSTALL_DIR_NAME=/opt/module/hive

#hive组件的启动用户
CUSTOM_USER=hive

#hive组件启动用户所属组
CUSTOM_GROUP=hadoop
# =====================================
# 启用Ranger Hive-plugin，在/opt/module/ranger/ranger-2.0.0-hive-plugin下执行以下命令
./enable-hive-plugin.sh
# 查看$HIVE_HOME/conf目录是否出现以下配置文件，如出现则表示Hive插件启用成功。
ls $HIVE_HOME/conf | grep -E hiveserver2\|ranger
# 重启Hiveserver2，需使用hive用户启动
sudo -i -u hive hiveserver2

2.3 在ranger admin上配置hive插件

谁启动hiveserver2谁设置为admin角色，我这里hive启动，将角色设置为Admin

配置Hive插件，点击Access Manager，添加Hive Manager，配置服务详情

Service Name：hive
Username：rangerlookup
Password：rangerlookup
jdbc.driverClassName：org.apache.hive.jdbc.HiveDriver
jdbc.url：jdbc:hive2://hadoop102:10000/;principal=hive/hadoop102@EXAMPLE.COM

先进行add，如何在编辑进行测试，可以发现成功连接了

3、使用Ranger对Hive进行权限管理

3.1 权限控制初体验

查看默认的访问策略，此时只有rangerlookup用户拥有对所有库、表和函数的访问权限，故理论上其余用户是不能访问任何Hive资源的

# 验证：使用atguigu用户尝试进行认证，认证成功后，使用beeline客户端连接Hiveserver2
# 首先进行认证
kinit atguigu
beeline -u "jdbc:hive2://hadoop102:10000/;principal=hive/hadoop102@EXAMPLE.COM"
# 执行以下sql语句，验证当前用户为atguigu
select current_user();
# 执行use gmall语句，结果atguigu用户没有对gmall库的使用权限
use gmall;
# 赋予atguigu用户对gmall数据库的访问权限
# 点击hive->点击Add New Policy
# 配置授权策略,将gmall库的所有表的所有权限均授予给了atguigu用户

等待片刻，在回到beeline客户端，重新执行use gmall语句，此时atguigu用户已经能够使用gmall库，并且可访问gmall库下的所有表了

3.2 Ranger授权模型

Ranger所采用的权限管理模型可归类为RBAC（Role-Based Access Control ）基于角色的访问控制。基础的RBAC模型共包含三个实体，分别是用户（user）、角色（role）和权限（permission）。用户需划分为某个角色，权限的授予对象也是角色，例如用户张三为管理角色，那他就拥有了管理员角色的所有权限。

Ranger的权限管理模型比基础的RBAC模型要更加灵活，以下是Ranger的权限管理模型。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/550050.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

使用代理IP实现Python爬虫中的随机IP请求

使用代理IP实现Python爬虫中的随机IP请求

目录 前言 一、什么是代理IP&#xff1f; 二、 随机IP请求的实现步骤 1. 获取代理IP列表 2. 随机选择代理IP 3. 发送请求 4. 处理响应 总结 前言 在网络爬虫中&#xff0c;使用代理IP是一种常见的技术手段&#xff0c;它可以帮助我们隐藏真实IP地址&#xff0c;提高爬取…
阅读更多...
python生成二维码

python生成二维码

要在Python中生成二维码&#xff0c;可以使用第三方库qrcode。首先&#xff0c;确保已经安装了qrcode库&#xff1a; pip install qrcode然后&#xff0c;使用以下代码生成二维码&#xff1a; import qrcodedata "https://mp.csdn.net/mp_blog/creation/editor?spm100…
阅读更多...
static+单例模式+类的复合继承

static+单例模式+类的复合继承

汇编语言 汇编语言是最靠谱的验证“编程语言相关知识点”正确性的方式 汇编语言与机器语言一一对应&#xff0c;每一条机器语言都有与之对应的汇编指令 机器语言是计算机使用的语言&#xff0c;它是一串二进制数字 汇编语言可以通过汇编得到机器语言机器语言可以通过反汇编得到…
阅读更多...
LoRA:大模型的低阶自适用（使用BERT在IMDB数据集上运用LoRA微调）

LoRA:大模型的低阶自适用（使用BERT在IMDB数据集上运用LoRA微调）

文章目录 简介LoRA文章主要贡献LoRA技术模型图技术细节论文实验结果LoRA在bert的运用LoRA核心代码实战分析 简介 论文链接https://arxiv.org/pdf/2106.09685v2.pdf 本文将先介绍论文中的LoRA技术&#xff0c;然后以BERT为例在IMDB数据集上代码实现运用这项微调技术。 代码数…
阅读更多...
Day 14 网络协议

Day 14 网络协议

常见网络设备&#xff1a;交换机 路由器 中继器 多协议网关&#xff08;路由器的前身&#xff09; 交换机&#xff1a;用于连接统一网络的设备&#xff0c;实现内网设备通信。 从广义上分为&#xff1a;局域网交换机&#xff0c;广域网交换机 从网络构成分为&#xff1a;接…
阅读更多...
Prompt提示工程上手指南:基础原理及实践-思维树 (ToT)策略下的Prompt

Prompt提示工程上手指南:基础原理及实践-思维树 (ToT)策略下的Prompt

前言 此篇文章已经是本系列的第五篇文章&#xff0c;之前我们已经将检索增强生成(RAG)策略&#xff0c;逐渐我们掌握的知识和技术都在不断提高&#xff0c;对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计基…
阅读更多...
通过adb 命令打印安装在第三方模拟器上的log

通过adb 命令打印安装在第三方模拟器上的log

1&#xff0c;环境&#xff1a;Windows 11 &#xff0c;第三方模拟器 网易的MuMu 步骤&#xff1a; 1&#xff0c;打开cmd&#xff0c;输入 adb connect 172.0.0.1:7555 2&#xff0c;在cmd&#xff0c;再次输入adb logcat 回车
阅读更多...
【Web】陇原战“疫“2021网络安全大赛 题解

【Web】陇原战“疫“2021网络安全大赛 题解

目录 CheckIN eaaasyphp EasyJaba CheckIN 拿到附件&#xff0c;贴出关键代码 func getController(c *gin.Context) {cmd : exec.Command("/bin/wget", c.QueryArray("argv")[1:]...)err : cmd.Run()if err ! nil {fmt.Println("error: ", …
阅读更多...
【HCIP】OSPF的高级特性

【HCIP】OSPF的高级特性

OSPF的高级特性1 --- 不规则区域 一、OSPF不规则区域类型 产生原因&#xff1a;区域划分不合理&#xff0c;导致的问题 1、非骨干区域无法和骨干区域保持连通 2、骨干区域被分割 造成后果&#xff1a;非骨干区域没和骨干区域相连&#xff0c;导致ABR将不会帮忙转发区域间的路由…
阅读更多...
element-ui设置弹窗等级最高

element-ui设置弹窗等级最高

通过参数:appendToBody"true"设置弹窗等级最高 主要是 :appendToBody“true”&#xff0c;其他参数可根据自己需求配置 <el-dialog :title"title" :visible.sync"isShow" top"5vh" :appendToBody"true"><el-image…
阅读更多...
Web前端开发——Ajax，Axios概述及在Vue框架中的使用

Web前端开发——Ajax，Axios概述及在Vue框架中的使用

前言&#xff1a; 整理下学习笔记&#xff0c;打好基础&#xff0c;daydayup!!! Ajax Ajax是什么&#xff1f; Ajax全称Asynchromous JavaScript And Xml&#xff0c;是异步的JavaScript和Xml。 Ajax的作用&#xff1f; 1&#xff0c;数据交换&#xff1a;通过Ajax可以给服务器…
阅读更多...
uniapp 当前系统没有安装苹果根证书，是否打开证书目录(打开后依次安装证书

uniapp 当前系统没有安装苹果根证书，是否打开证书目录(打开后依次安装证书

当你遇到这类问题时&#xff0c;说明你也极其的困惑&#xff01;这就是为啥大抵国内这些货色搞的东西总是不尽人意&#xff01;连开发者生态都搞不好&#xff0c;就急着吹嘘。 这是官方给的技术说明方案&#xff1a; 恭喜你&#xff0c;当你按照这个搞之后&#xff0c;你的问题…
阅读更多...
Map与Set的模拟实现封装

Map与Set的模拟实现封装

目录 一. 底层原理 二. 红黑树节点的定义 三. 仿函数封装 四. 基本函数的封装 五. 迭代器的封装 5.1 迭代器的基本定义 5.2 *与->操作 5.3 迭代器的操作 5.3.1 右子树不为空 5.3.2 右子树为空 5.4 迭代器的--操作 5.4.1 当前节点的父节点…
阅读更多...
CSS基础：最详细 padding的 4 种用法解析

CSS基础：最详细 padding的 4 种用法解析

你好&#xff0c;我是云桃桃。 一个希望帮助更多朋友快速入门 WEB 前端的程序媛。 云桃桃&#xff0c;大专生&#xff0c;一枚程序媛&#xff0c;感谢关注。回复 “前端基础题”&#xff0c;可免费获得前端基础 100 题汇总&#xff0c;回复 “前端工具”&#xff0c;可获取 We…
阅读更多...
Adobe Premiere Pro将加入AI生成式功能，以提高视频编辑的效率；OpenAI宣布在东京设立亚洲首个办事处

Adobe Premiere Pro将加入AI生成式功能，以提高视频编辑的效率；OpenAI宣布在东京设立亚洲首个办事处

&#x1f989; AI新闻 &#x1f680; Adobe Premiere Pro将加入AI生成式功能&#xff0c;以提高视频编辑的效率 摘要&#xff1a;Adobe宣布&#xff0c;将为Premiere Pro引入由生成式AI驱动的新功能&#xff0c;以提高视频编辑的效率。这些功能包括“生成扩展”&#xff0c;能…
阅读更多...
免费开源多客圈子婚恋社交校园跑腿线上线下陪玩 源码交付 可打包小程序 支持二开！

免费开源多客圈子婚恋社交校园跑腿线上线下陪玩 源码交付 可打包小程序 支持二开！

聊天软件作为一种现代化的通讯工具&#xff0c;其好处可以总结如下&#xff1a; 1.方便快捷&#xff1a;聊天软件只要有网络连接&#xff0c;就可以随时随地与他人进行交流&#xff0c;不受时间和地点的限制&#xff0c;可以随时随地进行沟通&#xff0c;大大方便了人们的日常…
阅读更多...
【结构型模式】装饰器模式

【结构型模式】装饰器模式

​一、装饰器模式概述 装饰器模式&#xff08;装饰者模式&#xff09;定义&#xff1a;装饰器模式动态地将责任附加到对象上。若要拓展功能&#xff0c;装饰者提供了比继承更有弹性地替代方案。&#xff08;对象结构型模型&#xff09;通俗点来说&#xff1a;动态的给一个对象增…
阅读更多...
适用于 Windows 的 10 个顶级 PDF 编辑器 [免费和付费]

适用于 Windows 的 10 个顶级 PDF 编辑器 [免费和付费]

曾经打开PDF文件&#xff0c;感觉自己被困在数字迷宫中吗&#xff1f;无法编辑的文本、无法调整大小的图像以及签署感觉像是一件苦差事的文档&#xff1f;好吧&#xff0c;不用再担心了&#xff01;本指南解开了在 Windows 上掌握 PDF 的秘密&#xff0c;其中包含 10 款适用于 …
阅读更多...
vscode vue template模板中 tab键无法快速补全

vscode vue template模板中 tab键无法快速补全

之前记得一直可以的突然不知道咋的就不行了… 解决办法: 菜单栏 - 文件 - 首选项 - 设置- emmet:tab ✔就好了
阅读更多...
Flink CDC 的 debezium-json 格式和 debezium 原生格式是一回事吗？

Flink CDC 的 debezium-json 格式和 debezium 原生格式是一回事吗？

博主历时三年精心创作的《大数据平台架构与原型实现&#xff1a;数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行&#xff0c;点击《重磅推荐&#xff1a;建大数据平台太难了&#xff01;给我发个工程原型吧&#xff01;》了解图书详情&#xff0c;…
阅读更多...
最新文章

Copyright @ 2022~2023