Hadoop配置文档

《云计算架构技术(hadoop)》 Hadoop云计算 服务器集群搭建说明书

项目名称 HADOOP多节点搭建 使用三台电脑完成多节点的安装，配置java、ssh、hadoop 项目情境及目标 操作系统 及应用软件 备注 Ubuntu操作系统。 hadoop2.6.0，Java1.8.0_40，ssh软件。 第1页

四川信息职业技术学院

HADOOP多接点搭建

一、云计算简介

云计算（英语：Cloud Computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云计算是继1980年代大型计算机到客户端到服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节，不必具有相应的专业知识，也无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源，它意味着计算能力也可作为一种商品通过互联网进行流通。 二、本项目的环境及目标

使用ubuntu系统完成hadoop的安装，其中须要安装java、ssh等环境配置。Hadoop集群中包括4个节点：1个master，3个kb、lyc、feng，节点之间局域网连接，可以相互ping通，节点IP地址分布如表2-1所示：

表2-1 ip地址分布 系统名 主机名 Ip地址 Ubuntu14.10 master 10.0.2.16 Ubuntu14.10 feng 10.0.2.20 Ubuntu14.10 lyc 10.0.2.14 Ubuntu14.10 kb 10.0.2.13 三、环境准备（详细过程，截图及说明） (1)安装JAVA软件使用tar -xzf jdk-8u40-linux-x64.gz命令压JAVA安装包。

图3-1 解压JAVA安装包

（2）JAVA环境配置vi ~/.bashrc在其后面加上以下环境变量

图3-2 配置JAVA环境变量

（3）使.bashrc文件生效并查看JAVA是否安装成功。以下是成功安装JAVA的图片

第2页

四川信息职业技术学院

图3-3 显示JAVA安装成功

（4）安装SSH，因已经安装了SSH所以出现以下提示文件。

图3-4 安装ssh

（5）输入ssh-keygen生成密钥

图3-5

（6） cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys生成无密钥登陆,将各从接点密钥考坝到主接点，并将其追加到

authorized_keys文件中，再将其密钥考坝到各从接点上以下是检测结果。

图3-6 检测结果

四、软件安装（详细过程，截图及说明）

在网上下载hadoop-2.6.0.tar.gz文件使用tar –xzf

hadoop-2.6.0.tar.gz将其解压到hadoop用户目录下。

第3页

四川信息职业技术学院

图4-1

五、配置过程（详细过程，截图及说明） 1、cd /home/hadoop/hadoop-2.6.0/etc/hadoop

图 5-1

2、配置hadoop-env.sh文件添加java支持。

图5-2 添加java路径

3、配置core-site.xml文件

图5-3临时目录tmp和namenode RPC交互端口

4、配置hdfs-site.xml文件

图5-4 块复制数量为1

第4页

四川信息职业技术学院

5、配置mapred-site.xml文件

图5-5替换默认的MR框架为tez引擎

6、配置yarn-site.xml文件

图5-6

7、配置slaves文件

图5-7 配置节点主机名称

六、验证（详细过程，截图及说明） 输入jps查看进程

在网上输入http://localhost:50070

第5页

四川信息职业技术学院

七、项目的优点及不足、未来需要完成的工作

完成了多节点的搭建，全其能运行一些简单的程序，不足点是没有使用过多的程序去验证这些程序是否能正常运行。

第6页