我要评论在centos系统上部署hadoop分布式文件系统(hdfs)需要多个步骤，以下指南简述了单机模式下的配置过程。 完整集群部署更为复杂。
1. java环境配置
首先，确保系统已安装java。使用以下命令安装openjdk：
yum install -y java-1.8.0-openjdk-devel
登录后复制
配置java环境变量：
echo "export java_home=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile echo "export path=$java_home/bin:$path" >> /etc/profile source /etc/profile java -version
登录后复制
2. ssh免密登录设置
为了节点间无缝通信，需配置ssh免密登录。
- 生成ssh密钥对：
ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
登录后复制
- 将公钥复制到所有节点 (此处仅为单机配置，故省略此步骤)：
3. hadoop下载与解压
从apache hadoop官网下载hadoop发行版，并解压到指定目录：
wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -zxvf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 /opt/hadoop
登录后复制
4. hadoop环境变量配置
编辑/etc/profile文件，添加以下环境变量：
export hadoop_home=/opt/hadoop export path=$hadoop_home/bin:$path source /etc/profile
登录后复制
5. hadoop配置文件修改
core-site.xml
编辑/opt/hadoop/etc/hadoop/core-site.xml，添加以下内容 (将192.168.1.1替换为你的主机ip)：
<configuration>
<property>
<name>fs.defaultfs</name>
<value>hdfs://192.168.1.1:9000</value>
</property>
</configuration>登录后复制
hdfs-site.xml
编辑/opt/hadoop/etc/hadoop/hdfs-site.xml，添加以下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hdfs/datanode</value>
</property>
</configuration>登录后复制
6. namenode格式化
格式化namenode：
/opt/hadoop/bin/hdfs namenode -format
登录后复制
7. hdfs启动
启动hdfs服务：
/opt/hadoop/sbin/start-dfs.sh
登录后复制
8. hdfs状态验证
检查hdfs状态：
jps
登录后复制
你应该看到namenode和datanode进程运行。
9. hdfs web ui访问
访问http://192.168.1.1:50070 (将192.168.1.1替换为你的主机ip) 查看hdfs web界面。
本指南仅供单机hdfs配置参考。 多节点集群部署需要额外配置zookeeper、secondary namenode等，并确保所有节点配置文件一致。
以上就是如何快速配置centos hdfs的详细内容，更多请关注代码网其它相关文章！
发表评论