在Hadoop 2.0及以上版本中，start-all.sh 已被拆分为 start-dfs.sh 和 start-yarn.sh，但在旧版本中，start-all.sh 可以启动这两个服务。1.Hadoop 是一个能够对大量数据进行分布式处理的软件框架，并 且是以一种可靠、高效、可伸缩的方式进行处理的，一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据。一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。D) 伪分布式安装是在一台机器上模拟一个小的集群。
一、概念
二、hadoop生态系统（要求熟读）
| 组件 | 功能 |
| hdfs | 分布式文件系统 |
| mapreduce | 分布式并行编程模型 |
| yarn | 资源管理和调度器 |
| tez | 运行在yarn之上的下一代hadoop查询处理框架 |
| hive | hadoop上的数据仓库 |
| hbase | hadoop上的非关系型的分布式数据库 |
| pig | 一个基于hadoop的大规模数据分析平台，提供类似sql的查询语言pig latin |
| sqoop | 用于在hadoop与传统数据库之间进行数据传递 |
| oozie | hadoop上的工作流管理系统 |
| zookeeper | 提供分布式协调一致性服务 |
| storm | 流计算框架 |
| flume | 一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 |
| ambari | hadoop快速部署工具，支持apache hadoop集群的供应、管理和监控 |
| kafka | 一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据 |
| spark | 类似于hadoop mapreduce的通用并行框架 |
三、习题
相关文章:
-
-
stable diffusion是一个AI绘画工具，比较好用，而且是免费开源的，可以在本地的电脑上搭建起来随便用，当然对电脑的配置也比较高。…
-
本文以Stable Diffusion为例，由难及易演示了手动、自动和整合包三种部署方式，并分析了这三种方式在虚拟环境创建、程序部署、数据下载部署等复杂动作的具体过程，为一键式自动…
-
在当今这个视觉至上的时代，无论是艺术创作、广告宣传还是社交媒体分享，高质量的图像都是吸引观众、传递信息的关键。通过上述介绍的解决策略和技术改进方法，我们不仅能够艺术地掌控人物形象，…
-
在本节中，我们将了解如何使用边缘检测和直线检测识别道路图像中的车道。…
-
版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2386932994@qq.com 举报，一经查实将立刻删除。
我要评论
发表评论