本文共 1288 字,大约阅读时间需要 4 分钟。
本次搭建的是hadoop-2.6.5,该版本的兼容性较好
hadoop的集群搭建有三种方式:
单节点 伪分布式 分布式
在一台机器上运行的hadoop,搭建配置简单,这里不详细展开
伪分布式
安装软件 jdk安装,配置环境变量 vi /etc/profile免秘钥 ssh免秘钥(官网上的写法) ssh localhost ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys上传文件 解压,mv hadoop-2.6.5 /opt/sxt 修改配置文件 JAVA_HOME HADOOP_PREFIX配置集群文件 修改JAVA_HOME 修改core-site.xml 配置NameNode的启动地址和端口 配置数据存放目录 修改hdfs-site.xml 配置文件副本个数 配置secondaryNameNode的启动地址和端口 修改slaves 添加从节点主机名启动集群 初始化 hdfs namenode -format 启动 start-dfs.sh操作 创建/user/root目录 上传hadoop压缩包文件 查看 通过浏览器的地址+端口号查看信息
分布式
安装环境 传送文件 scp -r命令传送java安装包到其他三个节点上 用过scp -r将/etc/profile文件传送到其他三个节点上配置免秘钥 在其他三个节点上:ssh localhost 通过scp -r命令将node01的公钥传到其他三个节点上 cat ~/node01.pub >> ~/.ssh/authorized_keys配置hadoop配置文件 在伪分布式集群上的变化 将数据临时存放路径改 集群副本数改 secondarynamenode启动地址改 slaves改将hadoop部署包分发到其他三个节点上 cd /opt/sxt scp -r hadoop-2.6.5 node02:`pwd` scp -r hadoop-2.6.5 node03:`pwd` scp -r hadoop-2.6.5 node04:`pwd` 将配置文件分发到其他三个节点上确认进程 jps启动集群 初始化NameNode 如原先有full文件,需要将其删除,再进行初始化 start-dfs.sh 通过jps命令确认其他节点的进程运行状况 通过浏览器查看集群文件及状态
转载地址:http://zyjtd.baihongyu.com/