TOP

史上最详细的Hadoop环境搭建(三)
2019-05-15 00:25:09 】 浏览:183
Tags:史上最 详细 Hadoop 环境 搭建

第三部分:Hadoop伪分布式模式安装

第六步、伪分布式Hadoop部署过程

十三、Hadoop所用的用户设置

1、 创建一个名字为hadoop的普通用户

  1. [root@bigdata-senior01 ~]# useradd hadoop
  2. [root@bigdata-senior01 ~]# passwd hadoop
  • 1
  • 2

2、 给hadoop用户sudo权限

[root@bigdata-senior01 ~]# vim /etc/sudoers
  • 1

设置权限,学习环境可以将hadoop用户的权限设置的大一些,但是生产环境一定要注意普通用户的权限限制。

  1. root ALL=(ALL) ALL
  2. hadoop ALL=(root) NOPASSWD:ALL
  • 1
  • 2

注意:如果root用户无权修改sudoers文件,先手动为root用户添加写权限。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers
  • 1

3、 切换到hadoop用户

  1. [root@bigdata-senior01 ~]# su - hadoop
  2. [hadoop@bigdata-senior01 ~]$
  • 1
  • 2

4、 创建存放hadoop文件的目录

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules
  • 1

5、 将hadoop文件夹的所有者指定为hadoop用户

如果存放hadoop的目录的所有者不是hadoop,之后hadoop运行中可能会有权限问题,那么就讲所有者改为hadoop。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
  • 1

十四、解压Hadoop目录文件

1、 复制hadoop-2.5.0.tar.gz到/opt/modules目录下。

2、 解压hadoop-2.5.0.tar.gz

  1. [hadoop@bigdata-senior01 ~]# cd /opt/modules
  2. [hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
  • 1
  • 2

十五、配置Hadoop

1、 配置Hadoop环境变量

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile
  • 1

追加配置:

  1. export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
  2. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  • 1
  • 2

执行:source /etc/profile 使得配置生效

验证HADOOP_HOME参数:

  1. [hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
  2. /opt/modules/hadoop-2.5.0
  • 1
  • 2

2、 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数

[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
  • 1
  1. 修改JAVA_HOME参数为:
  2. export JAVA_HOME="/opt/modules/jdk1.7.0_67"
  • 1
  • 2

3、 配置core-site.xml

enter image description here

[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml

(1) fs.defaultFS参数配置的是HDFS的地址。

  1. <property>
  2. <name>fs.defaultFSname>
  3. <value>hdfs://bigdata-senior01.chybinmy.com:8020value>
  4. property>
  • 1
  • 2
  • 3
  • 4

(2)hadoop.tmp.dir配置的是Hadoop临时目录,比如HDFS的NameNode数据默认都存放这个目录下,查看*-default.xml等默认配置文件,就可以看到很多依赖${hadoop.tmp.dir}的配置。

默认的hadoop.tmp.dir/tmp/hadoop-${user.name},此时有个问题就是NameNode会将HDFS的元数据存储在这个/tmp目录下,如果操作系统重启了,系统会清空/tmp目录下的东西,导致NameNode元数据丢失,是个非常严重的问题,所有我们应该修改这个路径。

  • 创建临时目录:
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
  • 1
  • 将临时目录的所有者修改为hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp
  • 1
  • 修改hadoop.tmp.dir
  1. <property>
  2. <name>hadoop.tmp.dirname>
  3. <value>/opt/data/tmpvalue>
  4. property>
  • 1
  • 2
  • 3
  • 4

十六、配置、格式化、启动HDFS

1、 配置hdfs-site.xml

enter image description here

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
  • 1
  1. <property>
  2. <name>dfs.replicationname>
  3. <value>1value>
  4. property>
  • 1
  • 2
  • 3
  • 4

dfs.replication配置的是HDFS存储时的备份数量,因为这里是伪分布式环境只有一个节点,所以这里设置为1。

2、 格式化HDFS

enter image description here

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format
  • 1

格式化是对HDFS这个分布式文件系统中的DataNode进行分块,统计所有分块后的初始元数据的存储在NameNode中。

格式化后,查看core-site.xml里hadoop.tmp.dir(本例是/opt/data目录)指定的目录下是否有了dfs目录,如果有,说明格式化成功。

注意:

  1. 格式化时,这里注意hadoop.tmp.dir目录的权限问题,应该hadoop普通用户有读写权限才行,可以将/opt/data的所有者改为hadoop。
    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data

  2. 查看NameNode格式化后的目录。

   [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
  • 1

enter image description here

fsimage是NameNode元数据在内存满了后,持久化保存到的文件。

fsimage*.md5是校验文件,用于校验fsimage的完整性。

seen_txid是hadoop的版本

vession文件里保存:

  • namespaceID:NameNode的唯一ID。

  • clusterID:集群ID,NameNode和DataNode的集群ID应该一致,表明是一个集群。

  1. #Mon Jul 04 17:25:50 CST 2016
  2. namespaceID=2101579007
  3. clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
  4. cTime=0
  5. storageType=NAME_NODE
  6. blockpoolID=BP-1641019026-127.0.0.1-1467624350057
  7. layoutVersion=-57
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

3、 启动NameNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
  2. starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
  • 1
  • 2

enter image description here

4、 启动DataNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
  2. starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
  • 1
  • 2

enter image description here

5、 启动SecondaryNameNode

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
  2. starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
  • 1
  • 2

enter image description here

6、 JPS命令查看是否已经启动成功,有结果就是启动成功了。

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
  2. 3034 NameNode
  3. 3233 Jps
  4. 3193 SecondaryNameNode
  5. 3110 DataNode
  • 1
  • 2
  • 3
  • 4
  • 5

enter image description here

7、 HDFS上测试创建目录、上传、下载文件

HDFS上创建目录

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
  • 1

上传本地文件到HDFS上

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put
  2. ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
  • 1
  • 2

读取HDFS上的文件内容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml
  • 1

enter image description here

从HDFS上下载文件到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml
  • 1

enter image description here

十七、配置、启动YARN

1、 配置mapred-site.xml

默认没有mapred-site.xml文件,但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
  • 1

添加配置如下:

  1. <property>
  2. <name>mapreduce.framework.namename>
  3. <value>yarnvalue>
  4. property>
  • 1
  • 2
  • 3
  • 4

指定mapreduce运行在yarn框架上。

enter image description here

2、 配置yarn-site.xml

添加配置如下:

  1. <property>
  2. <name>yarn.nodemanager.aux-servicesname>
  3. <value>mapreduce_shufflevalue>
  4. property>
  5. <property>
  6. <name>yarn.resourcemanager.hostnamename>
  7. <value>bigdata-senior01.chybinmy.comvalue>
  8. property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • yarn.nodemanager.aux-services配置了yarn的默认混洗方式,选择为mapreduce的默认混洗算法。

  • yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上。

    enter image description here

3、 启动Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
  • 1

enter image description here

4、 启动nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
  • 1

enter image description here

5、 查看是否启动成功

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
  2. 3034 NameNode
  3. 4439 NodeManager
  4. 4197 ResourceManager
  5. 4543 Jps
  6. 3193 SecondaryNameNode
  7. 3110 DataNode
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

可以看到ResourceManager、NodeManager已经启动成功了。

enter image description here

6、 YARN的Web页面

YARN的Web客户端端口号是8088,通过http://192.168.100.10:8088/可以查看。

enter image description here

十八、运行MapReduce Job

在Hadoop的share目录里,自带了一些jar包,里面带有一些mapreduce实例小例子,位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar,可以运行这些例子体验刚搭建好的Hadoop平台,我们这里来运行最经典的WordCount实例。

1、 创建测试用的Input文件

创建输入目录:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input
  • 1

创建原始文件:

在本地/opt/data目录创建一个文件wc.input,内容如下。

enter image description here

将wc.input文件上传到HDFS的/wordcountdemo/input目录中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input
  • 1

enter image description here

2、 运行WordCount MapReduce Job

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
  2. 2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output
  • 1
  • 2

enter image description here

3、 查看输出结果目录

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
  2. -rw-r--r-- 1 hadoop supergroup 0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
  3. -rw-r--r-- 1 hadoop supergroup 60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000
  • 1
  • 2
  • 3

enter image description here

  • output目录中有两个文件,_SUCCESS文件是空文件,有这个文件说明Job执行成功。

  • part-r-00000文件是结果文件,其中-r-说明这个文件是Reduce阶段产生的结果,mapreduce程序执行时,可以没有reduce阶段,但是肯定会有map阶段,如果没有reduce阶段这个地方有是-m-。

  • 一个reduce会产生一个part-r-开头的文件。

  • 查看输出文件内容。

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
  2. hadoop 3
  3. hbase 1
  4. hive 2
  5. mapreduce 1
  6. spark 2
  7. sqoop 1
  8. storm 1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

结果是按照键值排好序的。

十九、停止Hadoop

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
  2. stopping namenode
  3. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
  4. stopping datanode
  5. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
  6. stopping resourcemanager
  7. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
  8. stopping nodemanager
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

enter image description here

二十、 Hadoop各个功能模块的理解

1、 HDFS模块

HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单台机器无法存储大文件的问题,HDFS是个相对独立的模块,可以为YARN提供服务,也可以为HBase等其他模块提供服务。

2、 YARN模块

YARN是一个通用的资源协同和任务调度框架,是为了解决Hadoop1.x中MapReduce里NameNode负载太大和其他问题而创建的一个框架。

YARN是个通用框架,不止可以运行MapReduce,还可以运行Spark、Storm等其他计算框架。

3、 MapReduce模块

MapReduce是一个计算框架,它给出了一种数据处理的方式,即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理,对实时性要求很高的应用不适用。

第七步、开启历史服务

二十一、历史服务介绍

Hadoop开启历史服务可以在web页面上查看Yarn上执行job情况的详细信息。可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。

二十二、开启历史服务

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver、
  • 1

开启后,可以通过Web页面查看历史服务器:

http://bigdata-senior01.chybinmy.com:19888/

二十三、Web查看job执行历史

1、 运行一个mapreduce任务

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
  2. 2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1
  • 1
  • 2

2、 job执行中

enter image description here

3、 查看job历史

enter image description here

enter image description here

历史服务器的Web端口默认是19888,可以查看Web界面。

但是在上面所显示的某一个Job任务页面的最下面,Map和Reduce个数的链接上,点击进入Map的详细信息页面,再查看某一个Map或者Reduce的详细日志是看不到的,是因为没有开启日志聚集服务。

二十四、开启日志聚集

4、 日志聚集介绍

MapReduce是在各个机器上运行的,在运行过程中产生的日志存在于各个机器上,为了能够统一查看各个机器的运行日志,将日志集中存放在HDFS上,这个过程就是日志聚集。

5、 开启日志聚集

配置日志聚集功能:

Hadoop默认是不启用日志聚集的。在yarn-site.xml文件里配置启用日志聚集。

  1. <property>
  2. <name>yarn.log-aggregation-enablename>
  3. <value>truevalue>
  4. property>
  5. <property>
  6. <name>yarn.log-aggregation.retain-secondsname>
  7. <value>106800value>
  8. property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

yarn.log-aggregation-enable:是否启用日志聚集功能。

yarn.log-aggregation.retain-seconds:设置日志保留时间,单位是秒。

将配置文件分发到其他节点:

  1. [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
  2. [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
  • 1
  • 2

重启Yarn进程:

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh
  2. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh
  • 1
  • 2

重启HistoryServer进程:

  1. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
  2. [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
  • 1
  • 2

6、 测试日志聚集

运行一个demo MapReduce,使之产生日志:

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1
  • 1

查看日志:

运行Job后,就可以在历史服务器Web页面查看各个Map和Reduce的日志了。


史上最详细的Hadoop环境搭建(三) https://www.cppentry.com/bencandy.php?fid=114&id=224144

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇结合案例讲解MapReduce重要知识点.. 下一篇HadoopHA3_hadoop高可用的配置文件

kafka-
kafka   Partit
解决android studio
Kafka史上最详细原理
Error while fetchin
【Kafka】安装与快速
    &
flume读取日志数据写
Authentication plug
Flume 自定义source
flume   三大核
ICC副本>>>
愚公移山  
Hbase架构   Hb
5 hbase-shell + &
Hbase   MapRed
MetaException(messa
Exception in thread
HIVE metastore Dupl
-->