我要评论华为云耀云服务器l实例-大数据学习-hadoop前置准备3-防火墙、 selinux 、时间同步等系统设置
产品官网：云耀云服务器l实例 _【最新】_轻量云服务器_轻量服务器_轻量应用服务器-华为云
今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器l实例为例，演示单台服务器模拟配置hadoop集群的基础：防火墙、 selinux 、时间同步等系统设置
产品官网：云耀云服务器l实例 _【最新】_轻量云服务器_轻量服务器_轻量应用服务器-华为云
hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集。它是 apache 软件基金会的一个顶级项目，为用户提供了一种可靠、可扩展且高效处理大数据的方式。
1. hadoop distributed file system（hdfs）： hdfs 是 hadoop 的分布式文件系统，设计用于存储大规模数据集。它将数据划分为块（block）并分布存储在多台机器上，提供了高容错性和可靠性。
2. mapreduce： mapreduce 是 hadoop 的计算模型，用于并行处理大规模数据集。它将计算任务分解为 map 和 reduce 阶段，通过在分布式环境中执行这些任务来实现数据处理。
3. yarn（yet another resource negotiator）： yarn 是 hadoop 的资源管理器，负责集群资源的管理和调度。它允许多个应用程序共享同一集群，从而更有效地利用集群资源。
4. hadoop生态系统： hadoop 生态系统包含许多其他工具和框架，如 hive、pig、hbase、spark 等，用于支持不同类型的数据处理和分析需求。
5. 扩展性： hadoop 具有良好的可扩展性，可以轻松地在集群中添加新的节点以处理不断增长的数据量。它支持在普通硬件上搭建集群，使得大规模数据处理变得更加经济高效。
6. 开源和社区支持： hadoop 是开源软件，由全球的开发者社区维护和支持。它拥有庞大的用户社群和活跃的开发者社区，不断推动框架的发展和改进。
hadoop 被广泛应用于处理大规模数据，包括数据存储、数据分析、机器学习等各种场景。它的设计理念使得它适用于在常规硬件上搭建的大规模集群，并为用户提供了一种可靠、高效、可扩展的大数据处理解决方案。
### 步骤1 ：关闭防火墙
集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。
```bash
systemctl stop firewalld
systemctl disable firewalld
```
### 步骤2 ：关闭 selinux
linux 有一个安全模块： selinux ，用以限制用户和程序的相关权限，来确保系统的安全稳定。关闭 selinux 功能，避免导致后面的软件运行出现问题
```bash
vim /etc/sysconfig/selinux
selinux=disabled
```
### 步骤3 ：修改时区并配置自动时间同步
1. 安装 ntp 软件
```bash
sudo apt-get update
sudo apt-get install -y ntp
apt install ntpdate
```
2. 更新时区
```bash
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/asia/shanghai /etc/localtime
```
3. 同步时间
```bash
ntpdate -u ntp.aliyun.com
```
至此，我们已经成功完成了大数据hadoop所需的所有基础配置，接下来，我们开始正式安装部署hadoop
发表评论