我要评论hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）
目录
前言
本文直接从最最最开始安装hadoop开始讲解，省略了虚拟机安装的这部分，这里我就默认学过liunx的各位小伙伴们已经有相关环境了。
下半部分在这里~
一、hadoop项目结构
| 组件 | 功能 |
|---|---|
| hdfs | 分布式文件系统 |
| mapreduce | 分布式并行编程模型 |
| yarn | 运行在yarn之上的下一代hadoop查询处理框架 |
| hive | hadoop上的数据仓库 |
| hbase | hadoop上的非关系型的分布式数据库 |
| pig | 一个基于hadoop的大规模数据分析平台，提供类似sql的查询语言pig latin |
| sqoop | 用于在hadoop与传统数据库之间进行数据传递 |
| oozie | hadoop上的工作流管理系统 |
| zookeeper | 提供分布式协调一致性服务 |
| storm | 流计算框架 |
| flume | 一个高可用，高可靠的，分布式的海量日志采集、聚合和传统的系统 |
| ambari | hadoop快速部署工具，支持apache hadoop集群的供应、管理和监控 |
| kafka | 一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据 |
| spark | 类似于hadoop mapreduce的通用并行框架 |
二、hadoop安装方式
- 单机模式：hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。访问的是本地磁盘，而不是hdfs。
- 伪分布式模式：hadoop可以在单节点上以伪分布式的方式运行，节点既作为namenode也作为datanode，同时，读取的是hdfs中的文件。
- 分布式模式：使用多个节点构成集群环境来运行hadoop。
三、vmware虚拟网络设置+windows10的ip地址配置+centos7静态ip设置
(1)vmware虚拟网络设置
(2) window10的ip地址配置
(3)centos（hadoop 100）静态ip设置
startx
vim /etc/sysconfig/network-scripts/ifcfg-ens33
ipaddr=192.168.10.100
vim /etc/hostname
(5)设置名字解析
为了方便后续更改ip地址，这里配置linux克隆机主机名称映射hosts文件
vim /etc/hosts
四、xshell7远程访问工具+xftp7文件传输
(1)分别下好xshell7和xftp7
然后分别安装：
1）先安装xshell
这个步骤很简单，一路默认就行
2）打不开xshell7的解决方法
如果和我一样安装的老旧版本，那就看看下面我的解决方法吧。
解决方法：
如果上面的方法还是没能解决你的问题！！！
再看看下面这个方法吧，一定可以解决！！（我试了上一个方法没成功，但是网上好多人成功了，建议小试一下）
因为手动反复修改电脑日期麻烦。所以可以通过bat 文件进行修改。
新建bat文件：新建txt文件，右键重命名将“新建文本文档.txt ”改成"xshell.bat"即可。
编辑xshell.bat文件，然后复制下面的代码。
##################################begin####################
@echo off
%1 mshta vbscript:createobject("shell.application").shellexecute("cmd.exe","/c%~s0::","","runas",1)(window.close)
title xshell启动器
set atime=%date:~0,4%-%date:~5,2%-%date:~8,2%
#设置系统时间
date 2017-7-27
#改成你的xshell启动路径
start "" "d:\xshell.exe"
echo 启动软件中...
ping 0.0.0.0 -n 10> null
echo 同步时间中，完成后自动关闭窗口...
date %atime%
exit
我不嫌麻烦我用的每次打开xshell手动改时间的方法，第二种方法我还没有试过，嫌麻烦或感兴趣的小伙伴可以试一试
3）新建xshell文件
于是我们安装xftp7
4）安装xftp
五、基础信息配置
(1)关闭防火墙 ，关闭防火墙开机自启
systemctl stop firewalld
systemctl disable firewalld.service
(2)创建自己的新用户 ，并修改新用户的密码（这一步必须要做）
老师课上是直接创建了一个hadoop账户，这里我随便创建一个
命令：
useradd fjr
passwd fjr
注：名字可以自定义，即
useradd newname
passwd newname
(3)卸载虚拟机自带的 jdk
发现centos7自带jdk：
卸载原有的jdk
六、克隆三台虚拟机
(1)首先关闭虚拟机才能克隆
(2)配置克隆出来的虚拟机的ip地址，主机名称
分别执行以下三条命令：
(3)都配置好后重启,再ping百度
(4)三台克隆虚拟机都配置好了后，将xshell也配置好
总结
以上就是今天要讲的内容，本文仅仅简单介绍hadoop集群安装和搭建的上半部分，按照查找步骤和老师讲解相结合相信你也可以成功搭建hadoop集群。
发表评论