HBase 系统架构

• HBase 的系统架构包括客户端、ZooKeeper 服务器、Master 主服务器、Region服务器
• HBase 一般采用 HDFS 作为底层数据存储系统
  

客户端

• 客户端包含访问 HBase 的接口，同时在缓存中维护着已经访问过的 Region 位置信息，用来加快后续数据访问过程。HBase 客户端使用 HBase 的 RPC 机制与 Master 和 Region 服务器进行通信。
• 对于管理类操作，客户端与 Master 进行 RPC；而对于数据读写类操作，客户端会与Region 服务器进行 RPC。

ZooKeeper 服务器

• HBase 服务器集群包含一个 Master 主服务器和多个 Region 服务器。Master是HBase 集群的“总管”，它必须知道 Region 服务器的状态。ZooKeeper 服务器就可以轻松做到这一点，每个 Region 服务器都需要到 ZooKeeper 服务器中进行注册，ZooKeeper 服务器会实时监控每个 Region 服务器的状态并通知 Master 主服务器，这样，Master 主服务器就可以通过 ZooKeeper服务器随时感知到各个 Region 服务器的工作状态。
• ZooKeeper 服务器并非一台单一的机器，可能是由多台机器构成的集群来提供稳定可靠的协同服务。ZooKeeper 服务器能够很容易地实现集群管理的功能，如果有多台服务器组成一个服务器集群，那么必须有一个Master知道当前集群中每台机器的服务状态，一旦某台机器不能提供服务，集群中其他机器必须知道，从而做出调整、重新分配服务策略。同样，当增加一台或多台服务器，也必须让Master知道。
• ZooKeeper 服务器不仅能够帮助维护当前的集群中机器的服务状态，而且能够帮助选出一个“总管”，让总管来管理集群。HBase 中可以启动多个 Master，但是 ZooKeeper 服务器可以帮助选举出一个 Master 主服务器作为集群的总管，并保证在任何时刻总有唯一一个 Master 主服务器在运行，避免 Master 主服务器的“单点失效”问题。
• ZooKeeper 服务器中保存-ROOT-表的地址和 Master 主服务器的地址，客户端可以通过访问ZooKeeper 服务器获得-ROOT-表的地址，并最终通过“三级寻址”找到所需的数据。ZooKeeper服务器中还存储 HBase的模式，包括 Hbase的表，每个表的列族。

Master 主服务器

Master 主服务器主要负责表和 Region 的管理工作。

• 管理用户对表的增加、删除、修改、查询
• 实现不同 Region 服务器之间的负载均衡
• 在 Region 分裂或合并后，负责重新调整 Region 的分布
• 对发生故障失效的 Region服务器上的Region 进行迁移

---

• 客户端访问 HBase 上数据的过程不需要 Master 主服务器的参与，客户端访问ZooKeeper 服务器获取-ROOT-表的地址，并最终到相应的 Region 服务器进行数据读写，Master主服务器仅维护着表和 Region 的元数据信息，因此负载很低。

• 一个 Region 只能分配给一个 Region 服务器。Master 主服务器维护当前可用的Region 服务器列表,以及Reginon的分布情况。当存在未被分配的 Region，并且有一个 Region 服务器上有可用空间时，Master 主服务器就给这个 Region 服务器发送一个请求，把该 Region 分配给它。Region 服务器接收请求并完成数据加载后，就开始负责管理该 Region 对象，并对外提供服务。

Region 服务器

• Region 服务器是 HBase 中最核心的模块，负责维护分配给自己的 Region，并响应用户的读写请求。
• HBase一般采用 HDFS 作为底层存储的文件系统，因此 Region 服务器需要向HDFS 中读写数据。采用 HDFS 作为底层存储系统，可以为 HBase 提供可靠稳定的数据存储，HBase自身并不具备数据复制和维护数据副本的功能，HDFS可以为HBase提供这些支持。

Region 服务器工作原理

• Region 服务器内部管理一系列 Region 对象和一个 HLog 文件。HLog是磁盘上面的记录文件，它记录着所有的更新操作。每个 Region 对象由多个 Store 组成，每个 Store 对应表中的一个列族的存储。每个 Store 又包含一个 MemStore 和若干个 StoreFile。其中，MemStore 是在内存中的缓存，保存最近更新的数据；StoreFile 是磁盘中的文件，文件是 B 树结构的，方便快速读取。
  

用户读写数据的过程

• 当用户写入数据时，会被分配到相应的 Region 服务器去执行操作。用户数据首先被写入MemStore 和 HLog 中，当操作写入 HLog 之后，commit()调用才会将其返回给客户端。当用户读取数据时，Region 服务器会首先访问 MemStore 缓存，如果数据不在缓存中，才会到磁盘上面的 StoreFile 中去寻找。

缓存的刷新

• MemStore 缓存的容量有限，系统会周期性地调用 Region.flushcache()把 MemStore 缓存里面的内容写到磁盘的 StoreFile 文件中，清空缓存，并在 HLog 文件中写入一个标记，用来表示缓存中的内容已经被写入 StoreFile 文件中。每次缓存刷新操作都会在磁盘上生成一个新的 StoreFile 文件，因此每个 Store 会包含多个 StoreFile 文件
• 每个Region服务器都有一个自己的 HLog 文件。在启动的时候，每个Region服务器会检查自己的 HLog 文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作。如果没有更新，说明所有数据已经被永久保存到磁盘的 StoreFile 文件中；如果发现更新，就先把这些更新写入 MemStore，然后刷新缓存，写入磁盘的StoreFile文件中。最后删除旧的 HLog 文件，并开始为用户提供数据访问服务。

StoreFile合并

• 每次 MemStore 缓存的刷新操作都会在磁盘上生成一个新的 StoreFile 文件，系统中的每个 Store 可能存在多个 StoreFile 文件。当需要访问某个 Store 中的某个值时，必须查找所有StoreFile文件，非常耗费时间。因此，为了减少查找时间，系统一般会调用 Store.compact()把多个StoreFile文件合并成一个大文件。由于合并操作比较耗费资源，因此只会在StoreFile文件的数量达到一个阈值的时候才会触发合并操作。

Store 的工作原理

• Region 服务器是 HBase 的核心模块，而 Store 是 Region 服务器的核心。每个 Store 对应了表中的一个列族的存储。每个 Store 包含一个 MemStore 缓存和若干个 StoreFile 文件。

• MemStore 是排序的内存缓冲区，当用户写入数据，系统首先把数据放入 MemStore 缓存，当 MemStore 缓存满时，就会刷新到磁盘中的一个 StoreFile 文件中。随着 StoreFile 文件数量的不断增加，当达到事先设定的数量时，就会触发文件合并操作，多个 StoreFile 文件会被合并成一个大的 StoreFile 文件。当多个 StoreFile 文件合并后，会逐步形成越来越大的 StoreFile 文件，当单个StoreFile 文件大小超过一定阈值时，就会触发文件分裂操作。同时，当前的一个父 Region 会被分裂成两个子 Region，父 Region 会下线，新分裂出的两个子 Region 会被 Master 主服务器分配到相应的 Region 服务器上
  

HLog 的工作原理

• HBase 系统为每个 Region 服务器配置了一个 HLog 文件，它是一种预写式日志（Write Ahead Log），也就是说，用户更新数据必须首先被记入日志才能写入 MemStore 缓存，并且直到 MemStore缓存内容对应的日志已经被写入磁盘之后，该缓存内容才会被刷新写入磁盘。

• ZooKeeper 服务器会实时监测每个 Region 服务器的状态，当某个 Region 服务器发生故障时，ZooKeeper 服务器会通知 Master 主服务器。Master 主服务器首先会处理该故障 Region 服务器上面遗留的 HLog 文件，由于一个 Region 服务器上面可能会维护多个 Region 对象，这些 Region 对象共用一个 HLog 文件，因此遗留的 HLog 文件中包含来自多个 Region 对象的日志记录。

• 系统根据每条日志记录所属的 Region 对象对 HLog 数据进行拆分，分别放到相应 Region 对象的目录下，然后将失效的 Region 重新分配到可用的 Region 服务器中，并把与该 Region 对象相关的HLog 日志记录也发送给相应的 Region 服务器。Region 服务器领取分配给自己的 Region 对象以及与之相关的 HLog 日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入 MemStore 缓存，然后刷新到磁盘的 StoreFile 文件中，完成数据恢复。

• HBase 系统中，每个 Region 服务器只需维护一个 HLog 文件，所有Region 对象共用一个 HLog，而不是每个 Region 对象使用一个 HLog。在这种 Region 对象共用一个 HLog 的方式中，多个 Region 对象的更新操作所发生的日志修改，只需要不断把日志记录追加到单个日志文件中，而不需要同时打开、写入多个日志文件中，可以减少磁盘寻址次数，提高对表的写操作性能。这种方式的缺点：如果一个 Region 服务器发生故障，为恢复其上的Region 对象，需要将 Region 服务器上的 HLog 按照其所属的 Region 对象进行拆分，然后分发到其他 Region 服务器上执行恢复操作。