Hadoop 安装教程 (Mac m1/m2版)_Asp.net

安装jdk1.8

这里最好是安装1.8版本的jdk

1. 进入官网java downloads | oracle hong kong sar, prc,下滑到中间区域找到jdk8

2.选择mac os,下载arm64 dmg installer对应版本

注：这里下载需要注册oracle账号，不过很简单，只需要提供邮箱即可，什么邮箱都可以

3.下载完成后，双击.pkg文件，安装步骤安装即可。

4.输入命令：java -version 验证

配置java_home环境

1. 查看jdk所在位置，将路径录制下来后续会用到。

/usr/libexec/java_home -v

2.直接在终端输入vim ~/.bash_profile打开文件,没有文件则使用【touch .bash_profile】创建文件,在最后添加下方内容,java_home 中的参数就是jdk所在路径

java_home=/library/java/javavirtualmachines/jdk-11.jdk/contents/home
path=$java_home/bin:$path:.
classpath=$java_home/lib/tools.jar:$java_home/lib/dt.jar:.
export java_home
export path
export classpath

3.保存文件后退出

4.输入命令【source ~/.bash_profile】使配置文件生效。

5.输入【echo $java_home】显示刚才配置的路径

设置ssh免密

1. 打开系统偏好设置，在输入框输入sharing

2.勾选远程登录选项

3.打开终端，依次输入如下命令

ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/id_rsa.pub

4.输入【ssh localhost】验证

下载hadoop

1.进入网址apache hadoop，选择最新版本hadoop，选择binary download

2.获取.gz文件后双击解压该文件，获取到hadoop-3.3.6文件夹，将此文件放入根目录下（user/[你的名字])

3.修改配置文件

(1)vim ～/.zprofile

打开 zprofile，添加以下内容,hadoop_home=/users/wangxiaoxuan/documents/download/hadoop-3.3.6/ 修改为你自己的路径

# hadoop
export hadoop_home=/users/wangxiaoxuan/hadoop-3.3.6/
export hadoop_install=$hadoop_home
export hadoop_mapred_home=$hadoop_home
export hadoop_common_home=$hadoop_home
export hadoop_hdfs_home=$hadoop_home export yarn_home=$hadoop_home
export hadoop_common_lib_native_dir=$hadoop_home/lib/native
export path=$path:$hadoop_home/sbin:$hadoop_home/bin
export hadoop_opts="-djava.library.path=$hadoop_home/lib/nativ"

输入【source ~/.zprofile】是内容生效

(2)进入/users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop 目录

cd /users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop

(3)打开hadoop-env.sh 【vim hadoop-env.sh】,添加如下内容，路径为jdk所在路径，上文有提到如何获取

export java_home="/library/java/javavirtualmachines/jdk-1.8.jdk/contents/home"

(4)打开core-site.sh文件【vim core-site.xml】，将标签<configuration></configuration>中内容替换如下，路径需换成自己的路径

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/users/wangxiaoxuan/hdfs/tmp/</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
</configuration>

(5)打开hdfs-site.xml文件【vim hdfs-site.xml】，将标签<configuration></configuration>中内容替换如下，路径需换成自己的路径

  <property>
      <name>dfs.data.dir</name>
      <value>/users/wangxiaoxuan/hdfs/namenode</value>
  </property>
  <property>
      <name>dfs.data.dir</name>
      <value>/users/wangxiaoxuan/hdfs/datanode</value>
  </property>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>

(6)打开mapred-site.xml文件【vim mapred-site.xml】，将标签<configuration></configuration>中内容替换如下，无需更改路径

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

(7)打开yarn-site.xml文件【vim yarn-site.xml】，将标签<configuration></configuration>中内容替换如下，无需更改路径。

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>127.0.0.1</value>
  </property>
  <property>
    <name>yarn.acl.enable</name>
    <value>0</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>java_home,hadoop_common_home,hadoop_hdfs_home,hadoop_conf_dir,classpath_perpend_distcache,hadoop_yarn_home,hadoop_mapred_home</value>
  </property>
</configuration>

8.执行【hdfs namenode -format】如果报错，需要先执行【stop-all.sh】

正常应显示如下：