当前位置: 代码网 > it编程>数据库>大数据 > Hive数据导出详解

Hive数据导出详解

2024年05月18日 大数据 我要评论
一、数据导出是什么?hive是一个依赖hadoop集群的数据处理平台,我们不仅需要对数据进行筛选处理,更需要进行导出,供我们多次重复使用。二、六大帮派1.insertinsert有两种形式,加loca

一、数据导出是什么?

hive是一个依赖hadoop集群的数据处理平台,我们不仅需要对数据进行筛选处理,更需要进行导出,供我们多次重复使用。

二、六大帮派

1.insert

insert有两种形式,加local上传到本地路径,不加local上传到集群

代码如下(示例):

insert加local

insert overwrite local directory '/root/export/data/student' select * from student;

insert不加local(并将数据格式化)
insert overwrite directory '/student' row format delimited fields terminated by ',' select * from student;

2.hadoop命令导出到本地

代码如下(示例):

hadoop dfs -get /user/hive/warehouse/hive.db/student/student.txt /root/export/data/student/

3.hive shell命令导出

一个 > 是覆盖,两个>是追加

代码如下(示例):

bin/hive -e 'select * from hive.student' >> /root/export/data/student/student.txt

4.export导出到hdfs上

当该hdfs路径下有文件时或表存在,都不可导,与import连用。

代码如下(示例):

export table hive.student to '/user/hive/warehouse/hive.db/student';

5.sqoop导出

将数据导出到window系统的mysql,并进行可视化操作

6.清除表中的数据(truncate)——删库跑路

truncate只能删除管理表,不能删除外部表的数据(但可以将外部表转为内部表哦,嘿嘿嘿)只是删除内部表的hdfs数据,元数据还在

内部转为外部表
alter table student set tblproperties('external'='true')一定大写

截断表
truncate table student; 

总结

六大派别与五大帮派共同统治着数码武林,侠义精神深入人心,hive语句妇孺皆知。街头小巷上谈论着他们的英雄事迹,再一次掀起了学习hive秘籍的狂潮。或许现在人们学习的已经不再是傍身之计,更多的是对天下武功,为快不灭的热爱。有人的地方就会就有江湖,大数据时代亦是如此。

到此这篇关于hive数据导出详解的文章就介绍到这了,更多相关hive数据导出内容请搜索代码网以前的文章或继续浏览下面的相关文章希望大家以后多多支持代码网!

(0)

相关文章:

版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。

发表评论

验证码:
Copyright © 2017-2025  代码网 保留所有权利. 粤ICP备2024248653号
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com