HBASE的基本简介

发布于:2022-12-21 ⋅ 阅读:(426) ⋅ 点赞:(0)

hbase 是bigtable的开源java版本。是建立在hdfs之上,提供高可靠,高性能,高存储,可伸缩,实时读写nosql的数据库系统。

它是介于nosql和RDBMS之间,仅通过主键(rowkey)和主键的range来检索数据,仅支持单行事物,可通过hive支持来实现多表join等复杂操作。

主要用来存储结构化和半结构化的松散数据。

Hbase 查询数据功能简单,不仅支持join等复杂操作,不支持复杂的事物行级的事物。

Hbase中支持的数据类型:byte[]

与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。

Hbase钟表一般有这样的特点:

大,一个表可以有上十亿行,上百万列。

面向列:面向列族的存储和权限控制,列族独立检索

稀疏:对于为空null的列,并不占用存储空间,因此,表可以设计得非常稀疏。

HBase的发展历程

HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。

官方网站:http://hbase.apache.org

* 2006年Google发表BigTable白皮书

* 2006年开始开发HBase

* 2008 HBase成为了 Hadoop的子项目

* 2010年HBase成为Apache顶级项目

Hbase和Hadoop的关系

HDFS

为分布式存储提供文件系统

针对存储大尺寸的文件进行优化,不需要对HDFS上的文件进行随机读写

直接使用文件

数据模型不灵活

使用文件系统和处理框架

优化一次写入,多次读写的方式

Hbase
提供表状的面向列的数据存储

针对表状数据的随机读写进行优化

使用key-value操作数据

提供灵活的数据模型

使用表状存储,支持MapReduce 依赖HDFS

优化了多次读,以及多次写

RDBMS与Hbase的对比:

关系型数据库;

结构:

数据库以表的形式存在

支持FAT,NTFS,EXT,文件系统

使用Commit log存贮日志

参考系统是坐标系统

使用主键 PK

支持分区

使用行 列 单元格

功能:

支持向上扩展

使用SQL查询

面向行,即每一行都是一个连续单元

数据总量依赖于服务器配置

具有ACID支持

适合结构化数据

传统关系型数据库一般都是中心化的

支持事物

支持join

Hbase

结构:

  1. 数据库以region的形式存在
  2. 支持HDFS文件系统
  3. 使用WAL Write - Ahead Logs 存储日志
  4. 参考系统zookeeper
  5. 使用行建 row key
  6. 支持分片
  7. 使用行,列,列族和单元格

功能:

  1. 支持向外扩展
  2. 使用API和MapReduce来访问Hbase表数据
  3. 面向列,即每一列都是一个连续的单元
  4. 数据总量不依赖具体某台机器,而取决于机器数量
  5. Hbase 不支持ACID
  6. 适合结构化数据和非结构化数据
  7. 一般都是分布式的
  8. Hbase不支持事物,支持的是单行数据的事物操作
  9. 不支持join

HBase特征简要

1)海量存储

Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正是因为Hbase良好的扩展性,才为海量数据的存储提供了便利。

2)列式存储

这里的列式存储其实说的是列族存储,Hbase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。

3)极易扩展

Hbase的扩展性主要体现在两个方面,一个是基于上层处理能力(RegionServer)的扩展,一个是基于存储的扩展(HDFS)。
通过横向添加RegionSever的机器,进行水平扩展,提升Hbase上层的处理能力,提升Hbsae服务更多Region的能力。

备注:RegionServer的作用是管理region、承接业务的访问,这个后面会详细地介绍通过横向添加Datanode的机器,进行存储层扩容,提升Hbase的数据存储能力和提升后端存储的读写能力。

4)高并发

由于目前大部分使用Hbase的架构,都是采用的廉价PC,因此单个IO的延迟其实并不小,一般在几十到上百ms之间。这里说的高并发,主要是在并发的情况下,Hbase的单个IO延迟下降并不多。能获得高并发、低延迟的服务。

5)稀疏

稀疏主要是针对Hbase列的灵活性,在列族中,你可以指定任意多的列,在列数据为空的情况下,是不会占用存储空间的。

5、HBase的基础架构

 

HMaster

功能:

1) 监控RegionServer

2) 处理RegionServer故障转移

3) 处理元数据的变更

4) 处理region的分配或移除

5) 在空闲时间进行数据的负载均衡

6) 通过Zookeeper发布自己的位置给客户端

2、RegionServer

功能:

1) 负责存储HBase的实际数据

2) 处理分配给它的Region

3) 刷新缓存到HDFS

4) 维护HLog

5) 执行压缩

6) 负责处理Region分片

2、RegionServer

功能:

1) 负责存储HBase的实际数据

2) 处理分配给它的Region

3) 刷新缓存到HDFS

4) 维护HLog

5) 执行压缩

6) 负责处理Region分片


网站公告

今日签到

点亮在社区的每一天
去签到