现在的位置: 首页 > 数据分析 > hadoop > 正文

Hadoop+hbase+hive环境搭建

时间:2018年02月11日 | 分类:hadoop | 评论:0 条 | 浏览:506 次

Hadoop是一个开发和运行处理大规模数据的平台,实现在多台计算机组成的集群中对海量数据进行分布式计算。

hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储,mapreduce提供了对数据的计算。

hadoop处理海量数据,需要hbase做数据库,hbase是面向列的分布式数据库,使用集群环境的内存做处理,但是不支持sql语句,所以操作和计算数据非常不方便,于是整合hive,hive支持sql语句,让hive支撑在hbase数据库层面的查询。

下面介绍hadoop+hbase+hive的环境部署:

一、Hadoop框架

hadoop使用主/从(master/slave)架构,主要由NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker组成。

其中,NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。

NameNode:HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。

DataNode:集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时,由NameNode告诉客户端去哪个DataNode进行具体的读写操作。

secondary NameNode:用来监控HDFS状态的辅助后台程序,如果NameNode发生问题,可以使用Secondary NameNode作为备用的NameNode。

JobTracker:用来连接应用程序与Hadoop,用户应用提交到集群后,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker会自动开启这个task。

TaskTracker:负责存储数据的DataNode相结合,位于从节点,负责各自的task。

 

1)准备工作:

4台独立的主机,如192.168.200.49、192.168.200.52、192.168.200.53、192.168.200.54

192.168.200.49为master,其余3台为slave。

操作系统均为CentOS 5.8,jdk均安装同个版本同个目录,配置好/etc/profile。

为避免权限问题导致无法使用,以下操作均使用了root账号操作。如果是其他账号操作,要确保同个账号对每台主机相同目录的操作权限一致。

2)做好master到slave的免登录:

在192.168.200.49上依次操作:

ssh-keygen -t rsa

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

chmod 644 authorized_keys

然后将 id_rsa.pub authorized_keys id_rsa,拷到其它机器上,注意文件的权限与目录的权限:

scp id_rsa.pub authorized_keys id_rsa root@192.168.200.52:~/.ssh

scp id_rsa.pub authorized_keys id_rsa root@192.168.200.53:~/.ssh

scp id_rsa.pub authorized_keys id_rsa root@192.168.200.54:~/.ssh

3)每台机器配置hosts:

192.168.200.49 master

192.168.200.52 slave2

192.168.200.43 slave1

192.168.200.54 slave3

4)每台机器配置对应的hostname:

如master节点,打开/etc/sysconfig/network:

NETWORKING=yes
HOSTNAME=master

其他从节点的hostname分布配置成对应的slave1、slave2、slave3

5)创建相关数据目录:

如hadoop存放目录为/home/hadoop2,将hadoop安装到该目录下。具体配置如下:

  • 在每个节点上创建程序存储目录/home/hadoop2,用来存放Hadoop程序文件
  • 在每个节点上创建数据存储目录/home/hadoop2/hdfs,用来存放集群数据
  • 在主节点上创建目录/home/hadoop2/hdfs/name,用来存放文件系统元数据
  • 在每个从节点上创建目录/home/hadoop2/hdfs/data,用来存放真正的数据
  • 所有节点上的日志目录为/home/hadoop2/logs
  • 所有节点上的临时目录为/home/hadoop2/tmp

6)每台机器配置环境变量:

export HADOOP_HOME=/home/hadoop2/hadoop-2.5.0-cdh5.3.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=$HADOOP_HOME/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

7)hadoop配置文件:

配置文件所在目录为/home/hadoop2/hadoop-2.5.0-cdh5.3.2/etc/hadoop

a、配置core-site.xml

b、配置hdfs-site.xml

c、配置yarn-site.xml

d、配置mapred-site.xml

e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh脚本,修改每个脚本的JAVA_HOME为当前系统的JAVA_HOME

f、修改slaves文件

8)同步程序文件到从节点:

在master将上面配好的文件复制到各个节点对应的目录:

scp -r /home/hadoop2 root@slave1:/home/hadoop2/

scp -r /home/hadoop2 root@slave2:/home/hadoop2/

scp -r /home/hadoop2 root@slave3:/home/hadoop2/

9)确保每台机器的防火墙关闭:

service iptables stop

10)格式化文件系统:

hadoop namenode -format

hadoop datanode -format

11)启动hdfs集群:

start-dfs.sh

可以访问http://master:50070,查看hdfs集群状态

12)启动yarn集群:

start-yarn.sh

可以访问http://master:8099,查看yarn集群状态

也可以直接使用start-all.sh脚本启动,该脚本包含了hdfs和yarn两个集群的启动。

二、Hbase

在master上操作,将hbase安装到/home/hadoop2目录下。

1)修改配置文件:

配置文件所在目录为/home/hadoop2/hbase-1.0.0-cdh5.4.8/conf

a、配置hbase-site.xml

b、配置hbase-env.sh脚本,修改脚本的JAVA_HOME为当前系统的JAVA_HOME

 c、配置regionservers


2)同步程序文件到从节点:

在master将上面配好的文件复制到各个节点对应的目录:

scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave1:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave2:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave3:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

3)每台机器配置环境变量:

export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8

export PATH=$PATH:$HBASE_HOME/bin

4)启动hbase集群:

start-hbase.sh

三、Hive

在master上操作,将hive安装到/home/hadoop2目录下。

1)修改配置文件:

配置文件所在目录为/home/hadoop2/hive-0.13.1-cdh5.3.2/conf

a、配置hive-site.xml


b、配置hive-env.sh脚本

2)配置环境变量:

export HIVE_HOME=/oracle/hadoop2/hive-0.13.1-cdh5.3.2

export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

3)启动hive:

进入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin

nohup hiveserver2 &

以上,一个可以运行的环境就安装好了,可以在hive和hbase中创建自己需要的数据。

×