大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
大数据篇 | Hadoop、HDFS、HIVE、HBase、Spark之间的联系与区别
1、hadoop
- hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它提供了一个可扩展的分布式文件系统（hdfs）和一个分布式计算框架（mapreduce），可以在大量廉价硬件上进行并行计算。
2、hdfs
- hdfs（hadoop distributed file system）是hadoop的分布式文件系统。它被设计用于在集群中存储和管理大规模数据集。hdfs将数据分割成块，并将这些块复制到不同的计算节点上，以提供容错性和高可用性。
- 据我了解，大部分公司一般将模型需要的数据例如csv/libsvm格式的文件都会保存成hive表并存放在hdfs上。
3、hive
- hive是基于hadoop的数据仓库基础设施，提供了一种类似于sql的查询语言（hiveql），用于查询和分析存储在hadoop上的数据。hive可以将结构化数据映射到hadoop的分布式文件系统上hdsf上，并提供高层抽象，使用户能够使用类sql语法进行查询和分析。
- hive构建在hdfs之上，本质上可看作是一个翻译器，将hivesql语言翻译成mapreduce程序或spark程序。
- 据我了解，大部分公司一般将模型需要的数据例如csv/libsvm格式的文件都会保存成hive表并存放在hdfs上。一般利用tensorflow的tfrecords来大规模的读取hdfs上的数据。tensorflow提供了一种解决方法：spark-tensorflow-connector，支持将spark dataframe格式数据直接保存为tfr
相关文章:
-
大数据，你可能就简单理解为数据量大，那是多大才算大数据呢？如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发， 那么起码要满足下面的5大特征。5大特征1.数据量大需…
-
本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。最近遍览了各种网络安全类的文章，内容参差…
-
在 HBase 表中，一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)，一列或多列组成一个列族(Column Family)，同一个列族中列的数据在物理上…
-
-
本文旨在探讨ES、HBase、Redis、MySQL和MongoDB这五种技术的核心特性和优势，通过分析它们在不同应用场景下的表现，为技术选型提供指导和建议。…
-
Hive 组件需要基于 Hadoop 系统进行安装。因此，在安装 Hive 组件前，需要确保 Hadoop系统能够正常运行Hive 组件的部署规划和软件包路径如下：（1）当前环境中…
版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2386932994@qq.com 举报，一经查实将立刻删除。
我要评论
发表评论