1 下载准备

• 下载hadoop，官网用一个快一点的镜像，使用迅雷加速下载，二进制格式，解压目录：E:\hadoop\hadoop-2.9.2
• 下载winutils，这个是别人编译好的hadoop的windows版本二进制文件，选择对应版本覆盖安装目录下对应目录
• 下载jdk

2 配置环境变量

• 添加环境变量HADOOP_HOME，E:\hadoop\hadoop-2.9.2；JAVA_HOME，E:\Java\jdk1.8.0_231
• 在系统Path环境变量中添加，%HADOOP_HOME%\bin，%HADOOP_HOME%\sbin，%JAVA_HOME%\bin，%HADOOP_HOME%\jre\bin

注意：hadoop必须要和Java JDK在同一个盘下，否则找不到JAVA_HOME。可以将JDK拷贝到hadoop所在盘并修改JAVA_HOME

3 cmd下测试

• hadoop versioin
• java -version

4 hadoop 基本文件配置

在安装目录\etc\hadoop下的四个xml文件 core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml

注意：（没有mapred xml将mapred-site.xml.template去掉.template后缀变成xml）

注意使用utf-8编码保存，notepad++

• core-site.xml

  fs.defaultFS hdfs://localhost:9000

  hadoop.tmp.dir /E:/hadoop/hadoop-2.10.0/tmp

  fs.checkpoint.period 3600
  

• hdfs-site.xml

  dfs.replication 2

  dfs.namenode.name.dir /E:/hadoop/hadoop-2.9.2/tmp/dfs/namenode

  dfs.datanode.data.dir /E:/hadoop/hadoop-2.9.2/tmp/dfs/datanode
  

• mapred-site.xml

  mapreduce.framework.name yarn
  

• yarn-site.xml

  yarn.nodemanager.aux-services mapreduce_shuffle

  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

  yarn.log-aggregation-enable true
  

注意： 设置一下参数后resourcemanager无法启动，待解决

<!-- 指定yarn的老大(ResourceManager)的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>

5 测试是否搭建成功

• 格式化系统文件，cmd下，hdfs namenode -format（如果没有添加bin到path，也可以cd到安装目录下的bin）
• 启动hadoop（如果没有添加sbin到path，也可以cd到安装目录下的sbin）
  • cmd下，start-dfs，http://localhost:50070，查看namenode
  • cmd下，start-yarn，http://localhost:8088/，查看资源管理器，http://localhost:19888/
  • 或者start-all，会出现四个窗口，yarn-resourcemanage，yarn-nodemanage，hadoop datanode，hadoop namenode
  • 对应关闭命令，stop-dfs，stop-yarn，stop-all

6 测试hadoop自带的demo，计算单词数量

• 创建一个txt文件test.txt
• 在dfs创建一个文件夹，hadoop fs -mkdir /test
• 将文本文件上传到dfs，hadoop fs -put 文件目录\test.txt /test/input
• 查看：hadoop fs -ls 目录
• hadoop jar jar包路径 /test/input /test/output

https://blog.csdn.net/Ryan_92/article/details/81319134

• jps，显示所有当前java进程pid的命令