【快捷部署】023_HBase（2.3.6）

ITHW023.jpg


📣【快捷部署系列】023期信息

编号选型版本操作系统部署形式部署模式复检时间
023HBase2.3.6Ubuntu 20.04tar包单机2024-05-07

注意：本脚本非全自动化脚本，有2次人工干预，第一次是确认内网IP，如正确直接回车即可，第二次是连接验证提示信息，输入yes即可。


一、快捷部署

#!/bin/bash
#################################################################################
# 作者：cxy@toc 2024-04-29                                                 
# 功能：快捷部署 HBase
# 说明：                                                                 
#################################################################################
info(){
  echo -e "\033[34m 【`date '+%Y-%m-%d %H:%M:%S'`】\033[0m" "\033[35m$1\033[0m "
}

proj_base_name=cxy

g_inner_ip=$(hostname -I)
info "参考IP地址："${g_inner_ip}

read -p "请问，您当前服务器的内网IP地址是？(默认为：${g_inner_ip}):" inner_ip

inner_ip="${inner_ip:-${g_inner_ip}}"

echo ${inner_ip}


# 配置/etc/hosts
cat >> /etc/hosts <<EOF

${inner_ip}		hadoop001	hadoop001
${inner_ip}		zk001	zk001
${inner_ip}		hbase001	hbase001

EOF


# 安装JDK
install_jdk(){
mkdir -p /${proj_base_name}/bao 
mkdir -p /${proj_base_name}/jdk
cd /${proj_base_name}/bao
wget https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz
 
tar xf /${proj_base_name}/bao/jdk-8u151-linux-x64.tar.gz -C /${proj_base_name}/jdk
cat >> /etc/profile <<EOF
export JAVA_HOME=/${proj_base_name}/jdk/jdk1.8.0_151
export JRE_HOME=\${JAVA_HOME}/jre
export CLASSPATH=.:\${JAVA_HOME}/lib:\${JRE_HOME}/lib
export PATH=.:\${JAVA_HOME}/bin:\$PATH
EOF

source /etc/profile
info "JDK部署完毕 ..."
}


#自定义Hadoop配置文件
diy_custom_config_hadoop(){

cd /${proj_base_name}/hadoop/hadoop-3.3.2

#备份要改动的文件
cp etc/hadoop/hadoop-env.sh etc/hadoop/hadoop-env.sh.bak
cp etc/hadoop/core-site.xml etc/hadoop/core-site.xml.bak
cp etc/hadoop/hdfs-site.xml etc/hadoop/hdfs-site.xml.bak
 
#修改 hadoop-env.sh
sed -i '42aexport JAVA_HOME='/${proj_base_name}/jdk'/jdk1.8.0_151' etc/hadoop/hadoop-env.sh

#修改 core-site.xml
rm -f etc/hadoop/core-site.xml
touch etc/hadoop/core-site.xml
cat >> etc/hadoop/core-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
   		<name>fs.defaultFS</name>
   		<value>hdfs://hadoop001:8020</value>
 	</property>
 	<!-- 数据存储目录 -->
  	<property>
   		<name>hadoop.tmp.dir</name>
   		<value>/${proj_base_name}/hadoop/data/tmp</value>
 	</property>
 	<property>
   		<name>hadoop.http.staticuser.user</name>
   		<value>root</value>
 	</property>
</configuration>
EOF

#修改 hdfs-site.xml
rm -f etc/hadoop/hdfs-site.xml
touch etc/hadoop/hdfs-site.xml
cat >> etc/hadoop/hdfs-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/${proj_base_name}/hadoop/data/hdfs/name</value>
	</property>
	<property>
	    <name>dfs.datanode.data.dir</name>
	    <value>file:/${proj_base_name}/hadoop/data/hdfs/data</value>
	</property>
	<property>
	     <name>dfs.replication</name>
	     <value>1</value>
	</property>
</configuration>
EOF

}
# 部署Hadoop（Standalone）
install_Hadoop(){

mkdir /${proj_base_name}/hadoop
cd /${proj_base_name}/bao
wget https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz --no-check-certificate
tar zxvf hadoop-3.3.2.tar.gz -C /${proj_base_name}/hadoop

cat >> /etc/profile <<EOF
#Hadoop
export HADOOP_HOME=/${proj_base_name}/hadoop/hadoop-3.3.2
export PATH=\$PATH:\$HADOOP_HOME/bin
export PATH=\$PATH:\$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
EOF
 
source /etc/profile
hadoop version
 
diy_custom_config_hadoop

#配置免密登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
# 初始化文件系统
bin/hdfs namenode -format
 
# 启动服务
sbin/start-dfs.sh

info "安装完成，访问：http://$(curl ifconfig.me/ip):9870/"
}

# 部署ZooKeeper（Standalone）
install_ZooKeeper(){

mkdir /${proj_base_name}/zk
cd /${proj_base_name}/bao
wget https://repo.huaweicloud.com/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz --no-check-certificate
tar zxvf apache-zookeeper-3.5.8-bin.tar.gz -C /${proj_base_name}/zk

cd /${proj_base_name}/zk/apache-zookeeper-3.5.8-bin
cp conf/zoo_sample.cfg conf/zoo.cfg
sed -i 's/dataDir=\/tmp\/zookeeper/dataDir=\/cxy\/zk\/data/g' conf/zoo.cfg

bin/zkServer.sh start

info "ZooKeeper部署完毕~"
}


#自定义HBase配置文件
diy_custom_config_HBase()
{

cat >> /etc/profile <<EOF

#HBase
export HBASE_HOME=/${proj_base_name}/hbase/hbase-2.3.6
export PATH=\$PATH:\$HBASE_HOME/bin
export PATH=\$PATH:\$HBASE_HOME/sbin
EOF
 
source /etc/profile


cd /${proj_base_name}/hbase/hbase-2.3.6

# 修改 hbase-env.sh 
cat >> conf/hbase-env.sh <<EOF

export JAVA_HOME=/${proj_base_name}/jdk/jdk1.8.0_151
export HBASE_MANAGES_ZK=false     #禁用自带zk
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"	#不加这个可能会报找不到object的错误

EOF

# 修改hbase-site.xml
cp conf/hbase-site.xml conf/hbase-site.xml.bak
rm -f conf/hbase-site.xml
touch conf/hbase-site.xml
cat >> conf/hbase-site.xml <<EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop001:8020/HBase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>zk001</value>
  </property>
  <!-- ZooKeeper端口 -->
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>  
    <value>/${proj_base_name}/zk/data</value>
  </property>
</configuration>
EOF


sed -i 's/localhost/hbase001/g' vim conf/regionservers


./bin/start-hbase.sh

}


#安装 HBase
install_HBase(){

mkdir /${proj_base_name}/hbase
cd /${proj_base_name}/bao

wget https://repo.huaweicloud.com/apache/hbase/2.3.6/hbase-2.3.6-bin.tar.gz --no-check-certificate
tar zxvf hbase-2.3.6-bin.tar.gz -C /${proj_base_name}/hbase

diy_custom_config_HBase

}


install_jdk
install_Hadoop
install_ZooKeeper
install_HBase

使用方法：

$ vim install-HBase-Ubuntu20.sh
$ chmod +x install-HBase-Ubuntu20.sh
$ ./install-HBase-Ubuntu20.sh
# 感谢淘客科技提供的实验资源环境

二、验证

#方式一：查看端口监听，以确定服务正常启动
$ netstat -apn | grep 16000
$ netstat -apn | grep 16010



#方式二：查看java进程
$ source /etc/profile
$ jps | grep "HMaster\|HRegionServer"
# 正常情况下应当有HMaster、HRegionServer等进程。



#方式三：进入zk目录，并连接，查看zk中的相关数据信息
cd /cxy/zk/apache-zookeeper-3.5.8-bin
bin/zkCli.sh -server 127.0.0.1:2181
ls /hbase
quit

#hdfs中的HBase数据
访问：http://公网IP:9870/explorer.html#/HBase


#方式四：UI界面访问，请参看控制台信息
访问：http://公网IP:16010

HBase-webui.png


三、入门体验

#连接HBase
hbase shell

#创建表
create 'test', 'cf'

#确认表是否存在
list 'test'

#查看表详细信息
describe 'test'


#put数据
put 'test', 'row1', 'cf:a', 'value1'
put 'test', 'row2', 'cf:b', 'value2'
put 'test', 'row3', 'cf:c', 'value3'


#scan表数据
scan 'test'



#根据主键获取一行数据
get 'test', 'row1'


#禁用/启用表
disable 'test'
enable 'test'


#drop删除表，务必要先disable
disable 'test'
drop 'test'


#退出hbase shell
exit

更多信息可访问官网：https://hbase.apache.org/index.html
当然，您也可以关注我，关注后续相关博文。



往期精彩内容推荐

云原生：10分钟了解一下Kubernetes架构
云原生：5分钟了解一下Kubernetes是什么
「快速部署」第二期清单
「快速部署」第一期清单

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/614059.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【6大模型让你的沟通汇报更有条理】项目管理常见问题大揭秘 03

【6大模型让你的沟通汇报更有条理】项目管理常见问题大揭秘 03

6大模型让你的沟通汇报更有条理 虽然头脑中构思众多&#xff0c;一开口却发现空白一片&#xff1f; 工作表现出色&#xff0c;汇报时却总是支支吾吾不知从何说起&#xff1f; 生性腼腆&#xff0c;却难以避免需要站在众人面前发言&#xff1f; 阿道掐指一算&#xff1a;你需…
阅读更多...
头歌实践教学平台：CG1-v2.0-直线绘制

头歌实践教学平台：CG1-v2.0-直线绘制

第4关&#xff1a;直线光栅化-任意斜率的Bresenham画线算法 一.任务描述 1.本关任务 (1)根据直线Bresenham算法补全line函数以绘制白色直线&#xff0c;其中直线斜率为任意情况。 (2)当直线方程恰好经过P(x,y)和T(x,y1)的中点M时&#xff0c;统一选取直线上方的T点为显示的像…
阅读更多...
springboot引入security，测试接口报Unauthorized

springboot引入security，测试接口报Unauthorized

1、报错截图 2、当前项目pom文件引入security <dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-security</artifactId><version>2.2.2.RELEASE</version> </dependency> 3、解决…
阅读更多...
基于springboot实现毕业设计系统项目【项目源码+论文说明】

基于springboot实现毕业设计系统项目【项目源码+论文说明】

基于springboot实现毕业设计系统演示 摘要 在如今社会上&#xff0c;关于信息上面的处理&#xff0c;没有任何一个企业或者个人会忽视&#xff0c;如何让信息急速传递&#xff0c;并且归档储存查询&#xff0c;采用之前的纸张记录模式已经不符合当前使用要求了。所以&#xff…
阅读更多...
MySQL —— 约束

MySQL —— 约束

一、概念介绍 MySQL是数据管理的最后一层防线&#xff0c;因此在对数据进行各种操作的时候&#xff0c;我们尽可能的从技术的角度去对用户进行各种合理的约束&#xff0c;使得各种数据的操作尽可能的合理&#xff0c;这就是约束的概念&#xff0c;本篇将整理常见的基本约束&am…
阅读更多...
论文解读--Resolving Target Ambiguities in Automotive Radar Using DDMA Techniques

论文解读--Resolving Target Ambiguities in Automotive Radar Using DDMA Techniques

使用DDMA技术解决汽车雷达中的目标模糊 摘要 多普勒分多址(DDMA)是一种慢时相位编码技术&#xff0c;可以使用传统相控阵硬件实现多输入多输出(MIMO)雷达。然而&#xff0c;众所周知&#xff0c;DDMA会在接收到的多普勒频谱中引起模糊。虽然非对称DDMA已经被提出来缓解目标模糊…
阅读更多...
基于Vant UI的微信小程序开发（随时更新的写手）

基于Vant UI的微信小程序开发（随时更新的写手）

基于Vant UI的微信小程序开发✨ &#xff08;一&#xff09;悬浮浮动1、效果图&#xff1a;只要无脑引用样式就可以了2、页面代码3、js代码4、样式代码 &#xff08;二&#xff09;底部跳转1、效果图&#xff1a;点击我要发布跳转到发布的页面2、js代码3、页面代码4、app.json代…
阅读更多...
SQL注入（sqli-labs第一关）

SQL注入（sqli-labs第一关）

sqli-labs第一关 方法一&#xff1a;手工注入 来到第一关&#xff0c;图上说我们需要一个数字的参数 于是我们先手工注入?id1 and 11 跟?id1 and 12发现页面没有报错 每张截图上面页面中有select查询语句&#xff0c;这是我在第一关的源码中加上了echo "$sql ";…
阅读更多...
Linux下安装mysql8.0（以tar.xz包安装--编译安装）

Linux下安装mysql8.0（以tar.xz包安装--编译安装）

前言&#xff1a;原文在我的博客网站中&#xff0c;持续更新数通、系统方面的知识&#xff0c;欢迎来访&#xff01; Linux下安装mysql8.0&#xff08;以tar.xz包安装--编译安装&#xff09;https://myweb.myskillstree.cn/126.html 目录 一、下载对应自己glic版本的MySQL …
阅读更多...
VS远程调试

VS远程调试

因为是做工厂应用的客制化项目&#xff0c;在客户现场出现异常&#xff0c;本地又很难复现&#xff0c;而且重启软件可能又自动恢复了&#xff0c;此时可以用VisualStudio自带的远程调试功能进行调试&#xff0c;不需要重启软件&#xff0c;能较好的定位问题。客户电脑上不需要…
阅读更多...
上位机图像处理和嵌入式模块部署（树莓派4b和电源供给）

上位机图像处理和嵌入式模块部署（树莓派4b和电源供给）

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 前面&#xff0c;我们说过pc电脑和嵌入式设备&#xff0c;两者都可以实现相同的软件功能。但是和pc相比较&#xff0c;嵌入式设备不仅价格更便宜&a…
阅读更多...
【Java】高效解决 非降序数组合并 两种方法

【Java】高效解决 非降序数组合并 两种方法

欢迎浏览高耳机的博客 希望我们彼此都有更好的收获 感谢三连支持&#xff01; oj&#xff1a;https://leetcode.cn/problems/merge-sorted-array/submissions/ 合并两个有序数组是个经典问题&#xff0c;它不仅在算法学习中频繁出现&#xff0c;也在实际开发中经常遇到。合并数…
阅读更多...
「51媒体」邀请媒体参会报道和媒体发稿有啥不同

「51媒体」邀请媒体参会报道和媒体发稿有啥不同

传媒如春雨&#xff0c;润物细无声&#xff0c;大家好&#xff0c;我是51媒体网胡老师。 媒体参会报道和媒体发稿是新闻报道的两种不同形式&#xff0c;它们的主要区别在于内容来源、报道方式和目的。 内容来源&#xff1a; 媒体参会报道&#xff1a;通常指的是记者或媒体代…
阅读更多...
【配置】IT-Tools部署

【配置】IT-Tools部署

github地址 docker运行如下&#xff0c;记得打开云服务器的9090端口 docker run -d --name it-tools --restart unless-stopped -p 9090:80 corentinth/it-tools:latestip:9090查看&#xff0c;很香大部分工具都有
阅读更多...
在ＷＨＭ面板中启用两要素验证

在ＷＨＭ面板中启用两要素验证

我使用的Hostease的美国独立服务器产品也购买了cPanel面板&#xff0c;但是发现只要获取服务器密码就可以登陆我的cPanel面板&#xff0c;这种给我的感觉不安全&#xff0c;因此联系Hostease的咨询了Hostease技术支持&#xff0c;寻求帮助了解到可以在cPanel面板中开启安全验证…
阅读更多...
【ZYNQ】Vivado 封装自定义 IP

【ZYNQ】Vivado 封装自定义 IP

在 FPGA 开发设计中&#xff0c;IP 核的使用通常是不可缺少的。FPGA IP 核是指一些已经过验证的、可重用的模块或者组件&#xff0c;可以帮助构建更加复杂的系统。本文主要介绍如何使用 Vivado 创建与封装用户自定义 IP 核&#xff0c;并使用创建的 IP 核进行串口回环测试。 目…
阅读更多...
【高阶数据结构】图--最短路径问题

【高阶数据结构】图--最短路径问题

图--最短路径问题 一、单源最短路径--Dijkstra算法1、简介2、解析3、代码4、测试用例5、打印最小路径代码和测试6、缺陷&#xff1a;不能使用负路径 二、单源最短路径--Bellman-Ford算法1、简介2、解析&#xff08;1&#xff09;详情i、负权问题&#xff1a;一个点只跑一趟找最…
阅读更多...
Git操作GitHub全记录

Git操作GitHub全记录

目录 一. GitHub ssh-key配置二. 添加GitHub仓库Git提交本地代码到Github仓库远程克隆仓库到本地的文件夹再上传本地的无.git的文件夹上传到远程仓库 三. Git删除Github仓库或某个文件或文件夹1.删除已有Github仓库2.删除Github中的某个文件或文件夹①如果没有建立本地库或者克…
阅读更多...
力扣例题（循环队列）

力扣例题（循环队列）

链接 . - 力扣&#xff08;LeetCode&#xff09; 描述 思路 我们使用数组来创建循环队列 数组的大小我们就额外对开辟一块空间 MyCircularQueue(k) 开辟一个结构体&#xff0c;存放队列的相关数据 分别为size,数组指针_a,起始位置head,结束位置tail 注意&#xff1a;我们…
阅读更多...
代码质量检查jacoco环境搭建

代码质量检查jacoco环境搭建

这里主要介绍集成和系统测试覆盖率环境搭建&#xff0c;并简单介绍各个工具。 关于单元测试的覆盖率监控(只需要修改ant或maven配置即可)&#xff0c;下一篇说明 环境准备 需要环境 jdk1.8centos 7posgresql 9.6 工具下载 jacoco 0.8.2 https://www.eclemma.org/jacoco/ a…
阅读更多...
最新文章

Copyright @ 2022~2023