教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

hadoop 2.x分布式安装

更新时间:2018年08月06日15时37分 来源:传智播客 浏览次数:

  这个安装过程经历曲折,遇到了许多坑。

  环境:Windows 7 Vm

  我用了三台虚拟机 centos

  192.168.188.128 hadoop1(作为主服务器)

  192.168.188.129 hadoop2

  192.168.188.130 hadoop3

  如果你们的安装环境好了,接下来我们就开始安装hadoop之旅吧!

  1.配置jdk

  jdk的配置这里不做讲解,百度太多了。

  2.下载hadoop

  官网下载hadoop,我用的是3.0.3的版本。

  3.我的hadoop 安装目录是 /home/user/hadoop

  解压出来。

  4.修改hosts

  vi /etc/hosts

  输入

  192.168.188.128 hadoop1

  192.168.188.129 hadoop2

  192.168.188.130 hadoop3

  保存退出

  三台机器都需要。

  配置好了之后 可以试试 ping hadoop2 试试 ping hadoop3 。各个机器都可以试试 是否配置好了。

  5.配置ssh免密登录。

  以上都是准备工作,准备工作做好了之后。

  分别在三台机器上运行以下

  ssh-keygen -t rsa

  一路回车(ENTER)到底

  然后在主服务器上生成的id_rsa.pub 发送到从服务器

  ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(换成你对应的IP) -p (端口)

  两台从服务器都要.如果遇到了需要输入密码,输入密码即可。

  完成后,

  在主服务器上试试 ssh hadoop2 ssh hadoop3,如果不需要密码就能登录说明配置成功.

  注意:配置ssh我遇到的坑:出现了 WARING:REMOTE HOST IDENFIATE HAS CHANGED

  这是因为我之前配置的时候 将公钥已经添加到了ssh.pub里面。在ssh.pub里面找到出错对应的IP,将ip和公钥一并删除。然后在运行ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(换成你对应的IP) -p (端口) 就好了。

  6.配置各种文件

  进入到 hadoop里面的etc文件夹下 会看到一个hadoop的文件。然后进去

  (1)配置core-site.xml

  

  fs.defaultFS

  hdfs://hadoop1:9000

  

  

  hadoop.tmp.dir

  /home/usr/hadoop/hadoopwork

  

  下面的那个tmp.dir是临时工作目录,建议最好自己设定。如果是系统默认的,linux会在每次开机之前清空。

  所以最好自己设定一个。

  (2)配置hdfs-site.xml

  

  dfs.replication

  2

  

  

  dfs.namenode.secondary.http-address

  hadoop3:50090

  

  (3)配置mapred-site.xml

  

  mapreduce.framework.name

  yarn

  

  

  mapreduce.jobhistory.address

  hadoop1:10020

  

  

  mapreduce.jobhistory.webapp.address

  hadoop1:19888

  

  (4)配置yarn-site.xml

  

  yarn.nodemanager.aux-services

  mapreduce_shuffle

  

  

  yarn.resourcemanager.hostname

  hadoop2

  

  

  yarn.log-aggregation-enable

  true

  

  

  yarn.log-aggregation.retain-seconds

  600000

  

  (5)修改hadoop-env.sh

  修改 java_home 改为你的jdk安装目录

  Java_home在27行

  (6)添加slaves文件 在etc/hadoop下面 没有slaves文件需要自己去建立

  vi slaves

  添加如下内容

  hadoop1

  hadoop2

  hadoop3

  (7)进入 hadoop 下面的sbin修改

  start-yarn.sh文件

  在头部加入

  YARN_RESOURCEMANAGER_USER=root

  HADOOP_SECURE_DN_USER=yarn

  YARN_NODEMANAGER_USER=root

  同样的在stop-yarn.shyexu也需要加入

  (8)修改start-dfs.sh和stop-dfs.sh 同样在头部加入

  HDFS_DATANODE_USER=root

  HADOOP_SECURE_DN_USER=hdfs

  HDFS_NAMENODE_USER=root

  HDFS_SECONDARYNAMENODE_USER=root

  7.启动

  以上就算配置完成。接下来就是启动

  ./start-all.sh启动

  ./stop-all.sh 停止

  至此,hadoop的安装环境完成。以上是根据我的hu回忆写成的,可能多多少少存在着瑕疵,欢迎各位指出。



  作者:传智播客云计算大数据培训学院

  首发:http://cloud.itcast.cn/

0 分享到:
和我们在线交谈!