TOP

Hadoop伪分布式配置
2019-05-15 00:21:42 】 浏览:156
Tags:Hadoop 分布式 配置

版权声明:如侵权,请联系本人 https://blog.csdn.net/MySundays/article/details/90044307

1、配置安全组规则,开启服务器端口:

9000、8031、50070、8088,不建议修改hadoop内部指定的端口号

2、设置环境变量(把Hadoop 的Home目录添加到系统环境变量里面去)

vim ~/.bash_profile

在该文件中把Hadoop的home、bin、sbin目录加到path中去,文件末尾添加如下内容:

HADOOP_HOME=/usr/local/hadoop

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

并生效环境变量:source ~/.bash_profile

查询服务器内部IP的命令:ip addr

3、安装配置如下:

(1)配置hadoop-env.sh

vim hadoop-env.sh

注释掉:#export JAVA_HOME=${JAVA_HOME}

增加:export JAVA_HOME=/usr/share/jdk1.8

(可以忽略此演示步骤)

配置好了本地模式之后,需要通过内部提供的DEMO来测试是否安装成功

演示Demo:

存放地址:/usr/local/hadoop/share/hadoop/mapreduce

如果想了解到底内部提供了多少个Demo,那执行以下语句:

在mapreduce目录下执行:hadoop jar hadoop-mapreduce-examples-2.6.5.jar

(2)配置hdfs-site.xml

dfs.replication

1

dfs.permissions

false

(查询服务器内部IP的命令:ip addr)

(3)配置core-site.xml

fs.defaultFS

hdfs://你的内部IP:9000

hadoop.tmp.dir

/usr/local/hadoop/tmp

(4)配置mapred-site.xml

mapreduce.framework.name

yarn

(5)配置yarn-site.xml

yarn.resourcemanager.hostname

你的内部IP

yarn.nodemanager.aux-services

mapreduce_shuffle

4、格式化NameNode

hdfs namenode –format

(注意:只需要格式化一次,若要重新格式化,先把(/usr/local/hadoop/tmp) tmp目录下的文件清空)

5、启动hadoop:start-all.sh

hdfs :存储数据

yarn:执行程序即计算

(关闭hadoop命令:stop-all.sh )

6. 访问:

(1)命令行jps

(2)JAVA API

(3)Web端

HDFS:http://服务器ip:50070

Yarn:http://服务器ip:8088

Jps命令:(六个节点)

格式化nodename时,出现:(把(/usr/local/hadoop/tmp) tmp目录下的文件清空,关闭hadoop(stop-all.sh),重新格式化,解决问题!!)

web端

Yarn:http://服务器ip:8088

HDFS:http://服务器ip:50070


Hadoop伪分布式配置 https://www.cppentry.com/bencandy.php?fid=114&id=224140

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇大数据Hadoop快速入门教程 下一篇Hadoop科普文—常见的45个问题解答

kafka-
kafka   Partit
解决android studio
Kafka史上最详细原理
Error while fetchin
【Kafka】安装与快速
    &
flume读取日志数据写
Authentication plug
Flume 自定义source
flume   三大核
ICC副本>>>
愚公移山  
Hbase架构   Hb
5 hbase-shell + &
Hbase   MapRed
MetaException(messa
Exception in thread
HIVE metastore Dupl
-->