我要评论
【图解大数据技术】hive、hbase
hive
hive是基于hadoop的一个数据仓库工具，hive的数据存储在hdfs上，底层基于mapreduce进行数据计算。hive将hdfs中结构化的数据文件映射成一张表，然后提供类sql的查询功能，然后将sql翻译成mapreduce并执行，可以解决海量结构化日志的统计查询。
数据仓库
数据仓库的作用是存储大量的历史数据，然后给各种bi报表、其他图形化界面或生成各种报告的系统提供数据分析统计的功能。
数据仓库的数据来源一般是各种业务系统的日志文件或者数据库的历史数据等，经过数据清洗后到导入到数据仓库。然后使用bi报表等各种非实时性的统计分析应用对数据仓库中的数据做统计分析。
数据仓库本质也是数据库，但是它和传统的关系型数据库还是有区别的。关系型数据库一般给业务系统对数据进行crud等oltp操作，而数据仓库则更多的是给分析型应用进行olap操作。
而且关系型数据库一般不会存储大量的历史数据，而是存储近期某个时间范围内的业务数据；而数据仓库则会存储大量的历史数据。
hive的执行流程
hive内部封装了各种mapreduce模板，每个mapreduce都与一种sql类型相对于。当客户端提交sql到hive执行时，hive会根据sql匹配出对应的mapreduce类型，然后执行mapreduce程序，获取返回结果，然后把返回结果返回给客户端。
hive架构
大体架构和mysql还是有几分相似。
- client：客户端工具，比如cli命令行工具，jdbc等。
- metastore：存储hive的元数据信息，比如表信息，表的列信息，还有表对应的数据在hdfs中的目录。
- 解析器：解析器解析sql为抽象语法树ast。
- 编译器：根据ast生成执行计划。
- 优化器：对执行计划进行优化。
- 执行器：根据执行计划生成相应的mapreduce并执行。
数据导入hive
我们需要把数据导入到hive中，使其在hive中映射为表，才能通过hive对数据进行统计分析。
导入的方式有好几种，可以是本地文件，hdfs文件，或者通过sqoop等类似的工具从其他数据源导入。
其中sqoop是hadoop和关系型数据库间的传输工具，比如可以把mysql中的数据导入到hive中。
hbase
hbase简介
hbase是一个用于存储海量非结构化或半结构化数据的列示存储数据库，支持高性能写入，准实时查询。
- hbase底层基于hdfs实现了pb级别的海量数据存储。
- 通过缓存和预写日志技术实现了高性能写入和低延迟查询。
- 通过zookeeper的监控通知hmaster故障转移实现了高可靠性。
- 通hmaster接收regionserver注册以及hmaster的regionserver集群负载均衡能力实现高扩展性。
hbase架构
hbase的架构与组件间的关系如下图：
大体由client、zookeeper、hmaster、hregionserver四个角色组成，加上hdfs就是五个。
client会通过zk读取meta表region所在的位置，然后请求对应该region所在regionserver获取元数据信息，然后通过元数据得知目标region所在位置，再对目标region所在regionserver发起读写操作。
hregionserver负责数据的存储和处理客户端的读写请求。hregionserver中有多个hregion，每个region对应一个表的一个分片，region中又有多个store，每个stroe对应表中一个列族。然后stroe中有一个memstore是store的缓存，会缓存客户端读写的数据。storefile封装了hfile，hfile通过hdfs客户端工具把具有一定格式的文件数据写入到hdfs中。hlog是预写日志，当hregionserver接收到客户端的写请求时，把数据存储到memstore中，然后在hlog中记录日志，由于hlog是顺序写，速度很快。
hregionserver启动时向hmaster注册，hmaster接收hregionserver的注册并进行hregionserver的数据存储的负载均衡；hmaster接收到zookeeper发来的某个hregionserver故障的通知后，负责hregionserver的故障转移；hmaster接收到client的建表请求后，写入元数据到meta表对应的region，然后记录region所在位置的hregionserver到zookeeper。
zookeeper负责监控hmaster和hregionserver，保证它们的高可用；当hregionserver故障时会通知hmaster；zookeeper还存储meta表region的位置，client可以通过zookeeper得知meta表region所在的hregionserver。
hbase的列式存储
- rowkey：相当于是mysql中的主键，表中的数据根据rowkey进行排序；我们可以通过rowkey查询指定的某一行或进行范围查询。
- columnfamily：列族，在建表的时候需要预先声明列族，一个列族对应一个物理文件。
- column：列，列无需在建表的时候预先指定，可以随意增加；并且查询的时候可以指定列名进行查询。
timestamp：时间戳，同一个rowkey的不同版本的数据。
hbase建表流程
- client通过rpc调用hmaster进行表创建。
- hmaster根据集群存储情况确定一个regionserver存储新建表的数据，然后通知该regionserver创建region。
- hmaster把表的元数据信息写入meta表对应的region中；同时如果该region是新建的话，会在zk中更新meta表所在位置的信息。
hbase数据写入流程
- client通过zk得知meta表所在位置。
- client访问meta表对应的region，获取目标用户表的元数据，得知该表数据存储在哪个region上。
- client访问目标region写入数据。
- 数据写入memstore并记录hlog日志，当memstore达到阈值后才会flush到storefile中，storefile通过hfile把数据写入到hdfs。
hbase数据读取流程
- client通过zk得知meta表所在位置。
- client访问meta表对应的region，获取目标用户表的元数据，得知该表数据存储在哪个region上。
- client访问目标region读取数据，先尝试从memstore中读取要查询的数据，如果没有再从blockcache中读取（blockcache存储了之前查询返回的数据），还是没有那就要通过hfile从hdfs中取了。
发表评论