安装hadoop
-
在/opt目录下创建module、software文件夹
mkdir module mkdir software
-
将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下的software文件夹下面(所需软件包可点击文章底部百度网盘获取)
-
安装jdk
解压jdk到/opt/module目录下
tar -zxvf jdk-8u131-linux-x64.tar.gz -C /opt/module/
配置jdk环境变量
1.获取jdk路径:
[root@localhost jdk1.8.0_131]# pwd /opt/module/jdk1.8.0_131
2.打开/etc/profile文件:
vi /etc/profile
3.在profile文件末尾添加jdk路径:
##JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_131 export PATH=$PATH:$JAVA_HOME/bin
4.保存之后退出:
:wq
5.让修改之后的文件生效:
source /etc/profile
6.测试jdk安装成功
[root@localhost /]# java -version java version "1.8.0_131"
-
安装Hadoop
解压安装文件到/opt/module下面
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
将hadoop添加到环境变量:
1.获取hadoop安装路径
[root@localhost hadoop-2.7.2]# pwd /opt/module/hadoop-2.7.2
2.打开/etc/profile文件
vi /etc/profile
3.在profile文件末尾添加hadoop路径
#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
4.保存后退出:
:wq
5.让修改后的文件生效
source /etc/profile
6.测试hadoop指令
官方WordCount案例
目的是统计指定文件中单词的数量
-
在hadoop-2.7.2文件下面创建一个wcinput文件夹
[root@localhost hadoop-2.7.2]# mkdir wcinput
-
在wcinput问价下创建一个wc.input文件
[root@localhost wcinput]# touch wc.input
-
编辑wc.input文件
[root@localhost wcinput]# vi wc.input hadoop yarn hadoop mapreduce sixj JAVA sixj
-
回到hadoop目录/opt/module/hadoop-2.7.2,执行下面指令:
[root@localhost hadoop-2.7.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
-
查看结果:
[root@localhost hadoop-2.7.2]# cat wcoutput/part-r-00000 JAVA 1 hadoop 2 mapreduce 1 sixj 2 yarn 1
软件包:
jdk-8u131-linux-x64.tar.gz :pan.baidu.com/s/1mbD1PqGi…
hadoop-2.7.2.tar.gz:pan.baidu.com/s/1YRGITYa1…