Win10安装Hadoop3.0.0大数据qq262593421的博客-

目录

一、下载hadoop3.0.0

二、下载winutils工具

三、配置环境变量

四、配置Hadoop

五、执行脚本文件

六、访问地址

七、注意事项

一、下载hadoop3.0.0

下载地址：https://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/
下载文件：hadoop-3.0.0.tar.gz

二、下载winutils工具

下载地址：https://github.com/steveloughran/winutils
下载文件：hadoop-3.0.0/bin

三、配置环境变量

1、解压安装包到：D:HadoopHDFShadoop-3.0.0

2、将hadoop-3.0.0/bin文件复制一份，改名为hadoop-3.0.0/bin.template

3、将下载的 hadoop-3.0.0/bin 文件复制到 D:HadoopHDFShadoop-3.0.0目录下

4、配置环境变量

变量名：HADOOP_HOME
变量值：D:HadoopHDFShadoop-3.0.0

系统变量path变量中添加  

%HADOOP_HOME%bin
%HADOOP_HOME%sbin

四、配置Hadoop

1、进入目录：D:HadoopHDFShadoop-3.0.0etchadoop

2、在 根目录下创建 properties 文件夹

3、将 etchadoop 目录下的 配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.cmd 文件复制到 hadoop-3.0.0properties 目录（方便修改，修改之后一键替换到 hadoop-3.0.0etchadoop 目录即可）

4、在 D:HadoopHDFShadoop-3.0.0properties 目录下创建两个脚本文件 hdfs-format.cmd、start-all.cmd

5、 Hadoop配置文件配置如下

hadoop-env.cmd 

 @set JAVA_HOME=%JAVA_HOME% set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_111

core-site.xml

 <configuration>    <property>      <name>fs.defaultFS</name>       <value>hdfs://localhost:9000</value>    </property>  </configuration>

hdfs-site.xml

 <configuration>   <property>     <name>dfs.replication</name>     <value>1</value>    </property>   <property>     <name>dfs.permissions</name>     <value>false</value>   </property>   <property>     <name>dfs.namenode.name.dir</name>     <value>/G:/hadoop/data/dfs/namenode</value>   </property>   <property>     <name>dfs.datanode.data.dir</name>     <value>/G:/hadoop/data/dfs/datanode</value>   </property>   <property>     <name>fs.checkpoint.dir</name>     <value>/G:/hadoop/data/dfs/snn</value>   </property>   <property>     <name>fs.checkpoint.edits.dir</name>     <value>/G:/hadoop/data/dfs/snn</value>   </property> </configuration>

yarn-site.xml

 <configuration>    <property>      <name>yarn.nodemanager.aux-services</name>       <value>mapreduce_shuffle</value>    </property>     <property>      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property>  </configuration>

mapred-site.xml

 <configuration>    <property>      <name>mapreduce.framework.name</name>       <value>yarn</value>    </property>  </configuration>

6、初始化和启动脚本配置

hdfs-format.cmd

 cd D:HadoopHDFShadoop-3.0.0bin hdfs namenode -format

start-all.cmd

 cd D:HadoopHDFShadoop-3.0.0sbin D:HadoopHDFShadoop-3.0.0sbinstart-all.cmd

五、执行脚本文件

1、替换配置文件

把 D:HadoopHDFShadoop-3.0.0properties 目录下的文件全部替换到 D:HadoopHDFShadoop-3.0.0bin

2、初始化HDFS

进入 D:HadoopHDFShadoop-3.0.0properties 目录，点击执行 hdfs-format.cmd 文件

3、启动Hadoop和yarn

进入 D:HadoopHDFShadoop-3.0.0properties 目录，点击执行 start-all.cmd 文件

启动之后弹出四个窗口，如果窗口没有自动关闭或者自动停止则初始化成功

六、访问地址

yarn：https://127.0.0.1:8088/cluster

hdfs：https://localhost:9870/explorer.html#/

七、注意事项

1、JAVA_HOME设置，PROGRA~1 代表的是 Program Files 目录

set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_111

2、这里的安装路径是在 D:HadoopHDFShadoop-3.0.0 

3、这里配置的HDFS的元数据目录是在 G:hadoopdatadfs 目录下