第一个hadoop实例

安装hadoop

  • 在/opt目录下创建module、software文件夹

    mkdir module
    mkdir software
    
  • 将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下的software文件夹下面(所需软件包可点击文章底部百度网盘获取)

  • 安装jdk

    解压jdk到/opt/module目录下

    tar -zxvf jdk-8u131-linux-x64.tar.gz -C /opt/module/
    

    配置jdk环境变量

    1.获取jdk路径:

    [root@localhost jdk1.8.0_131]# pwd
    /opt/module/jdk1.8.0_131
    

    2.打开/etc/profile文件:

    vi /etc/profile
    

    3.在profile文件末尾添加jdk路径:

    ##JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_131
    export PATH=$PATH:$JAVA_HOME/bin
    

    4.保存之后退出:

    :wq
    

    5.让修改之后的文件生效:

    source  /etc/profile
    

    6.测试jdk安装成功

    [root@localhost /]# java -version
    java version "1.8.0_131"
    
  • 安装Hadoop

    解压安装文件到/opt/module下面

    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
    

    将hadoop添加到环境变量:

    1.获取hadoop安装路径

    [root@localhost hadoop-2.7.2]# pwd
    /opt/module/hadoop-2.7.2
    

    2.打开/etc/profile文件

    vi /etc/profile
    

    3.在profile文件末尾添加hadoop路径

    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    

    4.保存后退出:

    :wq
    

    5.让修改后的文件生效

    source /etc/profile
    

    6.测试hadoop指令

官方WordCount案例

目的是统计指定文件中单词的数量

  1. 在hadoop-2.7.2文件下面创建一个wcinput文件夹

    [root@localhost hadoop-2.7.2]# mkdir wcinput
    
  2. 在wcinput问价下创建一个wc.input文件

    [root@localhost wcinput]# touch wc.input
    
  3. 编辑wc.input文件

    [root@localhost wcinput]# vi wc.input 
    hadoop yarn
    hadoop mapreduce
    sixj JAVA 
    sixj
    
  4. 回到hadoop目录/opt/module/hadoop-2.7.2,执行下面指令:

    [root@localhost hadoop-2.7.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
    
  5. 查看结果:

    [root@localhost hadoop-2.7.2]# cat wcoutput/part-r-00000 
    JAVA    1
    hadoop  2
    mapreduce       1
    sixj    2
    yarn    1
    

软件包:

jdk-8u131-linux-x64.tar.gz :pan.baidu.com/s/1mbD1PqGi…

hadoop-2.7.2.tar.gz:pan.baidu.com/s/1YRGITYa1…