当前位置: 代码网 > it编程>数据库>Mysql > HBase基础知识(六):HBase 对接 Hive

HBase基础知识(六):HBase 对接 Hive

2024年08月05日 Mysql 我要评论
1.Hive(1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以 方便使用 HQL 去管理查询。(2) 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗,延迟较高。(3) 基于 HDFS、MapReduce Hive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执 行。2.HBase(1) 数据库 是一种面向列族存储的非关系型数据库。

1. hbase 与 hive 的对比

(1) 数据仓库 hive 的本质其实就相当于将 hdfs 中已经存储的文件在 mysql 中做了一个双射关系,以 方便使用 hql 去管理查询。

(2) 用于数据分析、清洗 hive 适用于离线的数据分析和清洗,延迟较高。

(3) 基于 hdfs、mapreduce hive 存储的数据依旧在 datanode 上,编写的 hql 语句终将是转换为 mapreduce 代码执 行。

(1) 数据库 是一种面向列族存储的非关系型数据库。

(2) 用于存储结构化和非结构化的数据 适用于单表非关系型数据的存储,不适合做关联查询,类似 join 等操作。

(3) 基于 hdfs 数据持久化存储的体现形式是 hfile,存放于 datanode 中,被 resionserver 以 region 的形 式进行管理。

(4) 延迟较低,接入在线业务使用 面对大量的企业数据,hbase 可以直线单表大量数据的存储,同时提供了高效的数据访问 速度。

2. hbase 与 hive 集成使用

尖叫提示:hbase 与 hive 的集成在最新的两个版本中无法兼容。所以,我们只能含着泪勇 敢的重新编译:hive-hbase-handler-1.2.2.jar!!好气!!

<property>
    <name>hive.zookeeper.quorum</name>
    <value>hadoop100,hadoop101,hadoop102</value>
    <description>the list of zookeeper servers to talk to. this is only needed for read/write locks.</description>
</property>
​
<property>
    <name>hive.zookeeper.client.port</name>
    <value>2181</value>
    <description>the port of zookeeper servers to talk to. this is only needed for read/write locks.</description>
</property>

配置好后分发到其他服务器上

分步实现:

(1) 在 hive 中创建表同时关联 hbase

create table hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
stored by 'org.apache.hadoop.hive.hbase.hbasestoragehandler'
with serdeproperties ("hbase.columns.mapping" = 
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
tblproperties ("hbase.table.name" = "hbase_emp_table");

提示:完成之后,可以分别进入 hive 和 hbase 查看,都生成了对应的表

提示:不能将数据直接 load 进 hive 所关联 hbase 的那张表中

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com