我要评论
本文指导您在 debian 系统上安装并测试 apache hadoop。以下步骤将详细介绍配置过程和验证方法。
第一步：安装 java
确保系统已安装 java 8 或更高版本。使用以下命令安装 openjdk 8：
sudo apt update sudo apt install openjdk-8-jdk
登录后复制
验证安装：
java -version
登录后复制
第二步：下载和解压 hadoop
从 apache hadoop 官网下载最新版 hadoop，并解压到指定目录（例如 /usr/local/hadoop）：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop-3.3.1.tar.gz -c /usr/local/hadoop ``` (请替换 `hadoop-3.3.1` 为实际的版本号) **第三步：配置环境变量** 编辑 `~/.bashrc` 文件，添加以下环境变量： ```bash export hadoop_home=/usr/local/hadoop export path=$path:$hadoop_home/bin:$hadoop_home/sbin
登录后复制
使更改生效：
source ~/.bashrc
登录后复制
第四步：配置 hadoop 配置文件
修改 hadoop 目录下的配置文件：
- core-site.xml:
<configuration>
<property>
<name>fs.defaultfs</name>
<value>hdfs://namenode:9000</value>
</property>
</configuration>登录后复制
- hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
</configuration>登录后复制
- mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>登录后复制
- yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.shufflehandler</value>
</property>
</configuration>登录后复制
第五步：格式化 hdfs
在 namenode 节点上执行以下命令格式化 hdfs：
hdfs namenode -format
登录后复制
第六步：启动 hadoop 服务
在 namenode 节点上启动 namenode 和 datanode：
start-dfs.sh
登录后复制
在 resourcemanager 节点上启动 yarn：
start-yarn.sh
登录后复制
第七步：本地模式测试
切换到 hadoop 用户：
su - hadoop
登录后复制
创建输入目录和文件：
mkdir ~/input vi ~/input/data.txt
登录后复制
输入测试数据（例如 "hello world"，"hello hadoop"），保存并退出。
运行 wordcount 示例：
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output ``` (请根据实际jar包文件名调整) 查看结果： ```bash ls ~/output cat ~/output/part-r-00000
登录后复制
正确输出表明 hadoop 本地模式运行成功。 请注意，以上步骤假设您在单机环境下进行测试。 对于集群环境，需要进行相应的配置修改。 请务必参考官方hadoop文档以获取更详细和最新的配置信息。
以上就是debian hadoop 怎样进行测试的详细内容，更多请关注代码网其它相关文章！
发表评论