1.安装hadoop

参考： https://cloud.tencent.com/developer/article/1850967

进入官网下载下载hadoop的安装包（二进制文件）http://hadoop.apache.org/releases.html

选择合适的版本下载文件解压到本地

配置本机环境变量JAVA_HOME和HADOOP_HOME，并在 在Path里添加JAVA和hadoop的二进制文件夹，bin文件夹

** 需要进行 HDFS配置，不然无法运行

打开etc/hadoop文件夹，

a. 修改 hadoop-env.cmd，将configuration处更改为：

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://0.0.0.0:9000</value>
   </property>
</configuration>

b. 修改 hdfs-site.xml

将configuration处更改为如下所示，

其中

file:///E:/DevTols/hadoop-2.10.1/namespace_logs file:///E:/DevTols/hadoop-2.10.1/data

这两个文件夹一定需要是已经存在的文件夹，你可以在你的hadoop文件夹下随意创建两个文件夹，然后将下面的这两个文件夹的绝对路径替换成你的文件夹

将configuration标签及内容替换为:

<configuration>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.name.dir</name>
     <value>file:///E:/DevTols/hadoop-2.10.1/namespace_logs</value>
   </property>
   <property>
     <name>dfs.data.dir</name>
     <value>file:///E:/DevTols/hadoop-2.10.1/data</value>
   </property>
</configuration>

3. 修改 mapred-site.xml

将%USERNAME%替换成你windows的用户名, 用户名可以通过win键查看

<configuration>
   <property>
      <name>mapreduce.job.user.name</name>
      <value>%USERNAME%</value>
    </property>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  <property>
     <name>yarn.apps.stagingDir</name>
     <value>/user/%USERNAME%/staging</value>
   </property>
  <property>
     <name>mapreduce.jobtracker.address</name>
     <value>local</value>
   </property>
</configuration>

注意以上代码有两个地方的%USERNAME%需要替换，不要漏了！！！

4. 修改 yarn-site.xml

<configuration>
   <property>
     <name>yarn.server.resourcemanager.address</name>
     <value>0.0.0.0:8020</value>
   </property>
  <property>
     <name>yarn.server.resourcemanager.application.expiry.interval</name>
     <value>60000</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.address</name>
     <value>0.0.0.0:45454</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.remote-app-log-dir</name>
     <value>/app-logs</value>
   </property>
  <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/dep/logs/userlogs</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
  <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>-1</value>
   </property>
  <property>
     <name>yarn.application.classpath</name>
     <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
   </property>
</configuration>

初始化环境变量

在windows下的cmd，输入cmd的命令，用于初始化环境变量。

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

格式化文件系统

这个命令在整个hadoop的配置环境和之后的使用当中务必仅使用一次！ 将如下的命令输入到cmd当中进行格式化：

hadoop namenode -format

看到如下信息，说明格式化成功

INFO common.Storage: Storage directory E:\DevTols\hadoop-2.10.1\namespace_logs has been successfully formatted.

向hadoop文件当中注入winutills文件

由于windows下想要开启集群，会有一定的bug，因此我们去网站：https://github.com/steveloughran/winutils 下载对应版本的winutils.exe文件。打开这个Github仓库后如下所示：

我们打开hadoop2.8.3/bin，选择其中的winutils.exe文件进行下载，然后将下载的这个文件放入到本地的hadoop/bin文件当中。不然的话，你打开一会儿你的伪分布式集群，马上hadoop就会自动关闭，缺少这两个文件的话。

向hadoop文件当中添加hadoop.dll文件

hadoop.dll文件是启动集群时必须的，如果在安装过程中悲催地发现/bin目录下没有该文件（比如博主），就需要去网上自学下载该文件。 进入网页https://github.com/4ttty/winutils， 根据箭头所指步骤下载hadoop.dll文件

下载完成后，把文件添加到/bin目录

开启hadoop集群

在cmd当中输入： %HADOOP_HOME%/sbin/start-all.cmd

如果出现namenode，datanode的话说明集群基本上就成功了

打开本地浏览器进行验证

我们在浏览器输入localhost:50070,如果能够打开网页，说明hadoop已经成功开启

2.IDEA 配置

创建MAVEN项目工程

编辑pom.xml文件：

然后我们编辑pom.xml文件复制代码
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>hdfs1205</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.10.1</version>
        </dependency>
    </dependencies>

</project>

编写log4j.proporties配置文件

log4j.rootLogger=debug, stdout, R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

# Pattern to output the caller's file name and line number.
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] (%F:%L) - %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=example.log

log4j.appender.R.MaxFileSize=100KB
# Keep one backup file
log4j.appender.R.MaxBackupIndex=5

log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n