大数据培训_cloudera CHD5安装教程

发布时间: 2022-03-17 16:00:01

大数据培训_cloudera CHD5安装教程

1.Cloudera安装前准备

1.安装linux系统3台

2.修改用户名,master,slave01,slave02
3.修改hosts IP与主机名的对应关系
三台都配置/etc/hosts
加入:
192.168.245.71 master
192.168.245.72 slave01
192.168.245.73 slave02
所有机器统一时间
date -s "2018-12-01 16:07:00"
4.安装java 环境
[root@master local]# tar -zxvf jdk-8u121-linux-x64.tar.gz
[root@master local]# scp -r /usr/local/java/ root@slave01:/usr/local/
[root@master local]# scp -r /etc/profile root@slave01:/etc/
三台机器加入环境变量，针对后面安装时的报错
echo "export JAVA_HOME=/usr/local/java/" > /etc/environment
重启三台机器生效
5.三台机器做免密登录
三台机器互相做免密
master-->master,master-->slave01,master-->slave02
slave01-->master,slave01-->slave01,slave01-->slave02
slave02-->master,slave02-->slave01,slave02-->slave02
6.选择其中一台机器安装mysql
创建数据库
create database hive DEFAULT CHARSET utf8 ;
create?database?oozie DEFAULT?CHARSET?utf8?;
create database hue?DEFAULT CHARSET utf8 ;
7.关闭3台的防火墙
service iptables stop
chkconfig iptables off 重启后也生效
增加补丁
[root@master opt]# yum install mod_ssl （避免后面启动时出错）
8.下载CDH安装包
选择下载的与你安装对应的系统版本
Cloudera Manager下载地址：
http://archive.cloudera.com/cm5/cm/5/
cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
CDH安装包
http://archive.cloudera.com/cdh5/parcels/latest/
CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel
CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha1
manifest.json
下载成功后，上传到/opt/
9.安装Cloudera Manager Server 和Agent
cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.15.1和cloudera目录放到/opt目录下
[root@master opt]# tar -zxvf cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
[root@master opt]# pwd
/opt
[root@master opt]# ll
total 2631988
-rw-r--r--. 1 root root 1856909423 Dec 1 21:05 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel
-rw-r--r--. 1 root root 41 Dec 1 20:32 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1
drwxr-xr-x. 4 1106 4001 4096 Jul 31 06:30 cloudera
-rw-r--r--. 1 root root 838149664 Dec 1 21:07 cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
drwxr-xr-x. 9 1106 4001 4096 Jul 31 06:30 cm-5.15.1
-rw-r--r--. 1 root root 63988 Nov 29 01:08 manifest.json
drwxr-xr-x. 2 root root 4096 Mar 26 2015 rh
[root@master opt]#
10.上传mysql驱动包
复制mysql-connector-java-5.1.44-bin.jar到目录/usr/share/java和/opt/cm-5.15.1/share/cmf/lib/
并改名成mysql-connector-java.jar
[root@master ~]# mv /opt/mysql-connector-java-5.1.27.jar /opt/mysql-connector-java.jar
[root@master opt]# cp /root/mysql-connector-java.jar /opt/cm-5.15.1/share/cmf/lib/
[root@master opt]# cp /opt/mysql-connector-java.jar /usr/share/java
11.创建用户cloudera-scm
在所有节点上执行
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
12.agent配置
主节点，修改/opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
# Hostname of the CM server.
server_host=master
同步Agent到其他所有节点：
scp -r /opt/cm-5.15.1 root@slave01:/opt/
scp -r /opt/cm-5.15.1 root@slave02:/opt/
13.在主节点初始化CM5数据库
/opt/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql cm -h master -uroot -p123456 --scm-host master scm scm scm
-h后是mysql的主机名
--scm-host 后是SCM server的主机名（主节点）
14.准备Parcels，用以安装CDH5
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中
相关的文件如下：
CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel
CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha1
manifest.json
最后将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名为
CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha
[root@master opt]# cp CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel* /opt/cloudera/parcel-repo/
[root@master opt]# cp manifest.json /opt/cloudera/parcel-repo/
[root@master opt]# mv /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha
15.启动脚本
主节点：通过/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start启动服务端。
所有节点（包括主节点）：通过/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start启动Agent服务
停止可以用/init.d/cloudera-scm-server stop
启动成功后，可以用ps –ef|grep cloudera看到这2个进程
[root@master opt]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]
[root@master opt]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent: [ OK ]
[root@slave01 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent: [ OK ]
[root@slave02 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent: [ OK ]
16.CDH5的安装配置
http://192.168.0.81:7180/cmf/login

默认的用户名和密码均为admin

2.Cloudera集群安装

1.登录