项目作者: Yoyeye

项目描述 :
Yarn的伪分布式安装
高级语言:
项目地址: git://github.com/Yoyeye/YARN.git
创建时间: 2016-07-07T05:25:44Z
项目社区:https://github.com/Yoyeye/YARN

开源协议:

下载


YARN


安装OpenJDK 1.7

  1. apt-get install openjdk-7-jdk
  2. java -version //检查java版本验证安装成功

OpenSSH

  1. apt-get install ssh
  2. apt-get install rsync

创建hadoop组

  1. addgroup hadoop

创建用户hduser并添加到hadoop组中

  1. adduser --ingroup hadoop hduser

检查hduser是否可以以无密码的方式登录localhost

  1. ssh localhost

如果需要输入密码,进行如下操作

  1. ssh-keygen -t dsa
  2. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

解压缩Hadoop

  1. gunzip hadoop-2.6.0.tar.gz
  2. tar -xvf hadoop-2.6.0.tar

假设解压缩后的路径是在/hadoop/下在解压后的文件中,找到并编辑Hadoop环境变量文件

  1. 路径:./hadoop-2.6.0/etc/hadoop/hadoop-env.sh
  2. 设置Java Home: export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
  3. 设置hadoop prefixexport HADOOP_PREFIX=/hadoop/hadoop-2.6.0

配置xml文件

  1. 路径:/hadoop/hadoop-2.6.0/etc/hadoop路径下
  2. 修改core-site.xml文件
  3. 先备份:cp core-site.xml core-site.xml.bak
  4. vi core-site.xml
  5. 添加如下:
  6. <configuration>
  7. <property>
  8. <name>fs.defaultFS</name>
  9. <value>hdfs://localhost:9000</value>
  10. </property>
  11. </configuration>
  12. 修改hdfs-site.xml文件
  13. 先备份:cp hdfs-site.xml hdfs-site.xml.bak
  14. vi hdfs-site.xml
  15. 添加如下:
  16. <configuration>
  17. <property>
  18. <name>dfs.replication</name>
  19. <value>1</value>
  20. </property>
  21. </configuration>
  22. 修改mapred-site.xml文件
  23. 将模版文件换成xml文件:cp mapred-site.xml.template mapred-site.xml
  24. vi mapred-site.xml
  25. 添加如下:
  26. <configuration>
  27. <property>
  28. <name>mapreduce.framework.name</name>
  29. <value>yarn</value>
  30. </property>
  31. </configuration>
  32. 修改yarn-site.xml文件
  33. 先备份:cp yarn-site.xml yarn-site.xml.bak
  34. vi yarn-site.xml
  35. 添加如下:
  36. <configuration>
  37. <property>
  38. <name>yarn.nodemanager.aux-services</name>
  39. <value>mapreduce_shuffle</value>
  40. </property>
  41. </configuration>

启动资源管理器和节点管理器

  1. $sbin/start-yarn.sh