HBase详解（1）

HBase

简介

概述

  1. HBase是Yahoo!公司开发的后来贡献给了Apache的一套开源的、分布式的、可扩展的、基于Hadoop的非关系型数据库(Non-Relational Database)，因此HBase并不支持SQL(几乎所有的非关系型数据库都不支持SQL)，而是提供了一套单独的命令和API操作

  2. 关系型数据库和非关系型数据库针对的数据是不同的

    1. 关系型数据库存储的数据都是结构化数据，即同一个表中所有的数据的结构都是完全相同的，所以此时可以采用SQL(Structed Query Language，结构化查询语言)来进行查询

    2. 非关系型数据库不只是可以存储结构化数据，还可以存储半结构化数据(数据本身可以拆分成基本组成单位，但是拆分完成之后，每条数据的结构不一定相同)甚至可以存储非结构化数据(数据本身没有结构)

  3. HBase本身是仿照了Google的<The Big Table>来实现的，因此HBase和Big Table的原理几乎一致，只是Big Table使用的是C语言实现的，HBase使用的是Java

  4. HBase支持对大量的数据进行随机且实时的读写，就意味着支持对数据进行修改

  5. HBase基于集群的硬件可以管理非常大的表：billions of rows X millions of columns

  6. 到目前为止，HBase一共提供了4个版本：HBase0.X~HBase3.X

    1. 其中HBase0.X和HBase1.X已经停止更新，所以市面上也几乎不再使用

    2. HBase2.x版本目前一直处在更新维护状态，所以市面上使用的比较多

    3. HBase3.x还处在测试状态，不推荐于生产环境使用

  7. HBase是使用Java语言实现的，还基于HDFS来完成数据的存储，所以在选择HBase的时候，必须考虑和JDK以及Hadoop版本的兼容性！

    1. HBase和JDK版本的兼容性

    2. HBase和Hadoop版本的兼容性

安装

  1. 环境：JDK8，Hadoop3.2.3+，Zookeeper

  2. 进入预安装目录

    cd /opt/presoftware/
# 上传或者下载HBase的安装包

  3. 解压

    tar -xvf hbase-2.5.5-bin.tar.gz -C /opt/software/

  4. 进入HBase的配置目录

    cd /opt/software/hbase-2.5.5/conf/

  5. 编辑文件

    vim hbase-env.sh
# 在文件中添加
export JAVA_HOME=/opt/software/jdk1.8
export HBASE_MANAGES_ZK=false
# 保存退出，生效
source hbase-env.sh

  6. 编辑文件

    vim hbase-site.xml

    在文件中添加

     <!-- 开启HBase的分布式 -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <!-- 指定HBase在HDFS上的存储位置 -->
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://hadoop01:9000/hbase</value>
  </property>
  <!-- 指定Zookeeper的连接地址 -->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>hadoop01,hadoop02,hadoop03</value>
  </property>
  <!-- 指定WAL存放方式 -->
  <property>
    <name>hbase.wal.provider</name>
    <value>filesystem</value>
  </property>

  7. 指定子节点

    vim regionservers

    在文件中添加三台主机的主机名

    # 删除掉原来的localhost，添加自己的主机名
hadoop01
hadoop02
hadoop03

  8. 将Hadoop的核心配置文件拷贝到HBase的配置目录下

    cp $HADOOP_HOME/etc/hadoop/core-site.xml ./

  9. 远程分发

    cd /opt/software/
scp -r hbase-2.5.5/ root@hadoop02:$PWD
scp -r hbase-2.5.5/ root@hadoop03:$PWD

  10. 配置环境变量

    # 编辑文件
vim /etc/profile.d/hbasehome.sh
# 在文件中添加
export HBASE_HOME=/opt/software/hbase-2.5.5
export PATH=$PATH:$HBASE_HOME/bin
# 保存退出，生效
source /etc/profile.d/hbasehome.sh

  11. 远程分发环境变量

    scp /etc/profile.d/hbasehome.sh root@hadoop02:/etc/profile.d/
scp /etc/profile.d/hbasehome.sh root@hadoop03:/etc/profile.d/

  12. 分发完成之后，另外两个节点进行source

    [root@hadoop02 ~]# source /etc/profile.d/hbasehome.sh
[root@hadoop03 ~]# source /etc/profile.d/hbasehome.sh

  13. 测试

    hbase version

  14. 三个节点上启动zookeeper

    # 启动zookeeper
zkServer.sh start
# 查看zookeeper状态
zkServer.sh status

  15. 启动HDFS

    start-dfs.sh

  16. 启动HBase

    start-hbase.sh

  17. 通过jps命令查看，在第一个节点上应该出现HMaster，三个节点上都应该出现HRegioServer

  18. HBase同样提供了对外访问的端口：http://主机名或者IP:16010

基本操作

基本概念

  1. RowKey：行键

    1. 在HBase中，没有主键的概念，取而代之的是Rowkey

    2. 不同于关系型数据库，在HBase中，建表的时候不需要指定行键，而是在添加数据的时候手动指定行键

    3. 行键是表示数据是同一行的唯一标记

  2. Column Family：列族/列簇

    1. 在HBase中，没有表关联的概念，取而代之的是列族

    2. 一个表中可以包含1到多个列族，每一个列族中可以包含0到多个列

    3. 在HBase中，建表的时候，需要指定列族，且列族指定之后不可变，但是不关心列，列是可以动态增删的

  3. VERSION：版本

    1. 时间戳被称之为数据的版本

    2. 在HBase中，如果不指定，默认会存储数据的一个版本，也只会给用户返回一个版本

    3. 如果需要获取多个版本的数据，那么在建表的时候需要指定这个表中每一个列族能够存储数据的版本数，以及获取数据的时候需要指定获取版本的数量

  4. Cell：单元(格)。在HBase中，如果需要锁定唯一的一条数据，需要通过行键+列族名+列名+版本号/时间戳来锁定，这个结构称之为Cell

  5. namespace：名称空间

    1. 在HBase中，没有database的说法，取而代之的是namespace

    2. Hase启动的时候，自带了两个名称空间：hbase和default。hbase空间下放的是HBase的元数据信息，所以hbase不要动！在建表的时候，如果不指定，表是放在default空间下

  6. DML和DDL

    1. DDL(Data Defined Language)：数据定义语言，用于定义数据的结构的，例如create，drop等

    2. DML(Data Manipulation Language)：数据操纵语言，用于操作表中的数据的，例如put，get等

注意问题

  1. 在HBase中，所有的数据默认要么是数字，要么是字符串，如果是字符串，必须使用单引号引起来

  2. HBase适合于存储结构化和半结构化数据，或者也支持非结构化数据 - HBase中的数据的结构是稀疏的

  3. HBase中的表需要先禁用才能被删除

  4. HBase本身作为数据库，提供了完整的增删改查的功能。HBase是将数据存储到HDFS上，但是HDFS的特点之一是简化的一致性模型(允许一次写入多次读取不允许修改，但是允许追加写入)。那么HBase是如何实现数据的"修改"的？HBase的修改功能，并没有违反HDFS的特点，而是在文件尾部追加写入，并且HBase默认会给每一条数据添加一个时间戳。当用户试图获取数据的时候，此时HBase默认会返回时间戳最大的一条数据给用户，那么从用户角度而言，就感觉数据被修改了

基本命令

  1. 进入HBase的命令行

    hbase shell

  2. 建表。建立person表，表中包含了3个列族：basic，info，extend

    create 'person', {NAME => 'basic'}, {NAME => 'info'}, {NAME => 'extend'}
# 如果建表的时候不需要修改其他属性，那么可以简化
create 'person', 'basic', 'info', 'extend'

  3. 在添加数据的时候，指定这个数据对应的行键和列。put命令既可以添加数据也可以修改数据

    put 'person', 'p1', 'basic:name', 'Bob'
put 'person', 'p1', 'basic:age', 18
put 'person', 'p1', 'info:height', 179.9
put 'person', 'p2', 'basic:name', 'Amy'
put 'person', 'p2', 'basic:gender', 'female'
put 'person', 'p2', 'info:weight', 59.8

  4. 扫描整表

    scan 'person'

  5. 禁用表

    disable 'person'

  6. 删除表

    drop 'person'

  7. 添加数据

    append 'person', 'p1', 'basic:name', 'tom'

  8. 查询数据

    # get命令不能直接对整表进行查询，在使用的时候，必须指定表名和行键
# 获取person表中p1行键对应的数据
get 'person', 'p1'
# 获取person表中p1行键对应的basic列族的数据
get 'person', 'p1', {COLUMNS => 'basic'}
get 'person', 'p1', 'basic'
# 获取指定行键指定列的数据
get 'person', 'p1', {COLUMNS => 'basic:name'}
get 'person', 'p1', 'basic:name'
get 'person', 'p1', {COLUMNS => ['basic:name', 'info:height']}
get 'person', 'p1', 'basic:name', 'info:heignt'

  9. 获取指定列族的数据

    scan 'person', {COLUMNS => 'basic'}

  10. 获取指定列的数据

    scan 'person', {COLUMNS => 'basic:name'}
scan 'person', {COLUMNS => ['basic:name', 'info:height']}

  11. 删除数据

    # 删除指定行键指定列的数据 - 不能删除一个列族的数据，也不能删除一行数据
delete 'person', 'p2', 'basic:name'
deleteall 'person', 'p2', 'basic:name'
# 删除一行数据
deleteall 'person', 'p1'

  12. 建表，指定版本数量

    # basic列族中的数据保留三个版本，info列族中的数据保留四个版本，extend列族中的数据保留1个版本
create 'person', {NAME => 'basic', VERSIONS => 3}, {NAME => 'info', VERSIONS => 4}, {NAME => 'extend'}

  13. 获取数据

    get 'person', 'ab', {COLUMN => 'basic:age', VERSIONS => 3}
# 获取指定时间范围内的数据
get 'person', 'ab', {COLUMN => 'basic:age', TIMERANGE=>[0, 10000000000000]}
get 'person', 'ab', {COLUMN => 'basic:age', TIMESTAMP => 100000000}

  14. 查看所有的表

    list

  15. 描述表

    desc 'person'
# 或者
describe 'person'

  16. 查看所有的名称空间

    list_namespace

  17. 创建名称空间

    create_namespace 'demo'

  18. 在demo空间下新建users表

    create 'demo:users', 'basic'
# 添加数据
put 'demo:users', 'u1', 'basic:name', 'hack'

  19. 查看demo空间下的表

    list_namespace_tables 'demo'

  20. 删除空间

    # 要求空间为空(不包含任何表)
drop_namespace 'demo'

  21. 查看在运行的任务列表

    processlist

  22. 查看HBase集群的状态

    status

  23. 查看HBase的版本

    version

  24. 查看当前用户

    whoami

  25. 描述名称空间

    describe_namespace 'demo'

  26. 修改名称空间的信息

    # METHOD属性表示要执行set还是unset操作
alter_namespace 'demo', {METHOD => 'set', 'create_date' => '2024-04-02' }

  27. 统计表中的行键个数

    count 'person'

  28. 获取表的HRegion的个数

    get_splits 'person'

  29. 摧毁重建表

    truncate 'person'

  30. 修改表中列族的属性

    alter 'person', { NAME => 'basic', VERSIONS => 5 }

  31. 启用表

    enable 'person'

  32. 判断表是否存在

    exists 'orders'

  33. 判断表是启用还是禁用

    # 判断表是否禁用
is_disabled 'person'
# 判断表是否启用
is_enabled 'person'

  34. 定义行键所在的HRegion的位置

    locate_region 'person', 'p1'

  35. 查看所有的过滤器

    show_filters

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/511142.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

海豚调度任务类型Apache SeaTunnel部署指南

海豚调度任务类型Apache SeaTunnel部署指南

Apache DolphinScheduler已支持Apache SeaTunnel任务类型&#xff0c;本文介绍了SeaTunnel任务类型如何创建&#xff0c;任务参数&#xff0c;以及任务样例。 一、Apache SeaTunnel SeaTunnel 任务类型&#xff0c;用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时…
阅读更多...
Unity类银河恶魔城学习记录12-1 p123 UI menu源代码

Unity类银河恶魔城学习记录12-1 p123 UI menu源代码

Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释&#xff0c;可供学习Alex教程的人参考 此代码仅为较上一P有所改变的代码 【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibili UI.cs using System.Collections; using System.Collections.Generic; usin…
阅读更多...
文献速递：深度学习胰腺癌诊断--深度学习算法用于从疾病轨迹预测胰腺癌风险

文献速递：深度学习胰腺癌诊断--深度学习算法用于从疾病轨迹预测胰腺癌风险

文献速递&#xff1a;深度学习胰腺癌诊断--深度学习算法用于从疾病轨迹预测胰腺癌风险 麦田医学 美好事物中转站 2024-04-02 14:36 Title 题目 A deep learning algorithm to predict risk of pancreatic cancer from disease trajectories 深度学习算法用于从疾病轨迹预测…
阅读更多...
最新AI工具系统ChatGPT网站运营源码SparkAi系统V6.0版本，GPTs应用、AI绘画、AI换脸、垫图混图、Suno-v3-AI音乐生成大模型全支持

最新AI工具系统ChatGPT网站运营源码SparkAi系统V6.0版本，GPTs应用、AI绘画、AI换脸、垫图混图、Suno-v3-AI音乐生成大模型全支持

一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统&#xff0c;支持OpenAI-GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美&#xff0c;那么如何搭建部署AI创作ChatGPT&#xff1f;小编这里写一个详细图文教程吧。已支持GPT…
阅读更多...
V R灭火演练的用处|V R互动体验店加盟|虚拟现实元宇宙

V R灭火演练的用处|V R互动体验店加盟|虚拟现实元宇宙

VR&#xff08;虚拟现实&#xff09;灭火演练具有多种用途和重要意义&#xff0c;以下是其中一些主要的用处&#xff1a; 安全培训&#xff1a; VR灭火演练可以用作员工和消防人员的安全培训工具。通过虚拟环境&#xff0c;他们可以接受到真实且生动的灭火训练&#xff0c;学习…
阅读更多...
OpenHarmony实战：轻量级系统之安全子系统移植

OpenHarmony实战：轻量级系统之安全子系统移植

安全子系统提供网络设备连接、认证鉴权等功能&#xff0c;依赖mbedtls实现硬件随机数以及联网功能。 由于每个厂商芯片硬件与实现硬件随机数的方式不同&#xff0c;需要适配硬件随机数接口。 移植指导 OpenHarmony提供了mbedtls的开源三方库&#xff0c;路径为“//third_par…
阅读更多...
http: server gave HTTP response to HTTPS client 分析一下这个问题如何解决中文告诉我详细的解决方案

http: server gave HTTP response to HTTPS client 分析一下这个问题如何解决中文告诉我详细的解决方案

这个错误信息表明 Docker 客户端在尝试通过 HTTPS 协议连接到 Docker 仓库时&#xff0c;但是服务器却返回了一个 HTTP 响应。这通常意味着 Docker 仓库没有正确配置为使用 HTTPS&#xff0c;或者客户端没有正确配置以信任仓库的 SSL 证书。以下是几种可能的解决方案&#xff1…
阅读更多...
Taro + vue3 小程序封装标题组件

Taro + vue3 小程序封装标题组件

分为没有跳转页面的title组件和 有跳转页面的title组件 我们可以把这个封装成一个组件 直接上代码 <template><div class"fixed-title-container"><div class"box"><div class"icon" v-if"isShow" click"…
阅读更多...
c++的学习之路：8、内存管理与模板

c++的学习之路：8、内存管理与模板

一、 C/C内存分布 首先在c语言的动态内存管理中我知道了代码是如何存储数据的&#xff0c;然后c是根据c语言底层变化来的&#xff0c;那么c语言的内存管理就是适用c的内存管理&#xff0c;在c语言中程序是分为几个部分存储&#xff0c;例如在栈堆等等&#xff0c;他们的分布如…
阅读更多...
谷粒商城实战(008 缓存)

谷粒商城实战(008 缓存)

Java项目《谷粒商城》架构师级Java项目实战&#xff0c;对标阿里P6-P7&#xff0c;全网最强 总时长 104:45:00 共408P 此文章包含第151p-第p157的内容 简介 数据库承担落盘&#xff08;持久化&#xff09;工作 拿map做缓存 这种是本地缓存&#xff0c;会有一些问题 分布…
阅读更多...
在idea中使用sql语言提醒

在idea中使用sql语言提醒

1.Settings中设置 2. 配置好数据库名字 3. altenter 注入方言 注入后是下面这样
阅读更多...
2023.4.7 机器学习周报

2023.4.7 机器学习周报

目录 引言 Abstract 文献阅读 1、题目 2、引言 3、过去方案和Motivation 4、Segment Anything模型 5、创新点 6、实验过程 7、实验结果 1、评价绩效 2、检测评价 3、跟踪评价 8、 结论 总结 引言 本周阅读了一篇关于高效的任意分割模型的文献&#xff0c;用于自…
阅读更多...
QT背景介绍

QT背景介绍

&#x1f40c;博主主页&#xff1a;&#x1f40c;​倔强的大蜗牛&#x1f40c;​ &#x1f4da;专栏分类&#xff1a;QT❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 目录 一、QT背景 1.1什么是QT 1.2QT的发展历史 1.3什么是框架、库 1.4QT支持的平台 1.5QT的优点 1.6QT的…
阅读更多...
【随笔】Git 基础篇 -- 分支与合并（九）

【随笔】Git 基础篇 -- 分支与合并（九）

&#x1f48c; 所属专栏&#xff1a;【Git】 &#x1f600; 作  者&#xff1a;我是夜阑的狗&#x1f436; &#x1f680; 个人简介&#xff1a;一个正在努力学技术的CV工程师&#xff0c;专注基础和实战分享 &#xff0c;欢迎咨询&#xff01; &#x1f496; 欢迎大…
阅读更多...
【Frida】【Android】09_爬虫之Socket

【Frida】【Android】09_爬虫之Socket

&#x1f6eb; 系列文章导航 【Frida】【Android】01_手把手教你环境搭建 https://blog.csdn.net/kinghzking/article/details/136986950【Frida】【Android】02_JAVA层HOOK https://blog.csdn.net/kinghzking/article/details/137008446【Frida】【Android】03_RPC https://bl…
阅读更多...
如何开发创建自己的npm包并成功发布、维护至npm官方网站

如何开发创建自己的npm包并成功发布、维护至npm官方网站

npm&#xff0c;全称为Node Package Manager&#xff0c;是专为JavaScript生态系统设计的软件包管理系统&#xff0c;尤其与Node.js平台紧密关联。作为Node.js的默认包管理工具&#xff0c;npm为开发者提供了便捷的方式来安装、共享、分发和管理代码模块。 npm作为JavaScript世…
阅读更多...
xilinx fpga程序固化

xilinx fpga程序固化

一、前言 xilinx 旗下的产品主要有包含有处理器的SOC系列&#xff0c;也有只有纯逻辑的fpga&#xff0c;两者的程序固化的方法并不相同&#xff0c;本文介绍只包含纯逻辑而不涉及处理器的fpga的代码固化。 二、固化流程 将工程综合&#xff0c;实现&#xff0c;并得到比特流…
阅读更多...
顶顶通呼叫中心中间件-话术编辑器机器人转人工坐席配置(mod_cti基于FreeSWITCH)

顶顶通呼叫中心中间件-话术编辑器机器人转人工坐席配置(mod_cti基于FreeSWITCH)

顶顶通呼叫中心中间件-话术编辑器机器人转人工座席配置(mod_cti基于FreeSWITCH) 配置方法 一、ACD排队转接 二、伴随转接 比如你设置的通知规则是任意满足一个就通知那么通话时间设置为10 秒那样他只要通话时间到10秒他就会转坐席。 如果要转人工的时侯转手机可以这样配置 把…
阅读更多...
Android 360度全景图功能

Android 360度全景图功能

方法一&#xff1a;OpenGL ES 1.在build.gradle文件中添加依赖 allprojects {repositories {maven { url https://jitpack.io }} } 高版本AS中settings.gradle.kts&#xff1a; dependencyResolutionManagement {repositoriesMode.set(RepositoriesMode.FAIL_ON_PROJECT_RE…
阅读更多...
基于DCT和扩频的音频水印嵌入提取算法matlab仿真

基于DCT和扩频的音频水印嵌入提取算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 ......................................................................... N 10; %嵌入一…
阅读更多...
最新文章

Copyright @ 2022~2023