CM+CDH构建大数据平台

本次实验将带大家在CentOS下使用Cloudera Manager来离线部署大数据平台。

资源有限,这里仅在VMware下虚拟了两台主机,分别为master及slave1。网络模式为仅主机模式。IP地址为192.168.10.10/24及192.168.10.11/24。

首先需要准备的是系统镜像及安装文件

CentOS 7.6

http://vault.centos.org/7.6.1810/isos/x86_64/

Cloudera Manager 6.3.1

https://archive.cloudera.com/cm6/6.3.1/
https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/

CDH 6.3.1

https://archive.cloudera.com/cdh6/6.3.1/parcels/

系统安装使用最小化安装,需要注意的是6.3.1版本暂不支持CentOS7.7,所以在安装完成后亦勿使用yum update来更新系统。

系统装好后需要进行基本配置,具体请参考下方命令,主要有修改主机名、HOSTS、固定IP地址、关闭防火墙、关闭SELinux、SSH免密登录等。

# hostnamectl set-hostname <master|slave1>

# vi /etc/sysconfig/network-scripts/ifcfg-ens32

# vi /etc/hosts

192.168.10.10 master
192.168.10.11 slave1

# systemctl stop firewalld

# systemctl disable firewalld

# vi /etc/selinux/config

SELINUX=permissive

# setenforce 0

# getenforce

# ssh-keygen -t rsa

# ssh-copy-id -i ~/.ssh/id_rsa.pub <master|slave1>

因为是离线部署的关系,还需配置本地YUM源

YUM源使用的是CentOS的DVD镜像,可以上传ISO文件到master虚拟机里或是直接装载进光驱里。这里选择后者。

master # mkdir /media/centos

master # mount -t auto /dev/cdrom /media/centos

master # vi /etc/fstab

# mkdir yum.repos.bak

# mv /etc/ yum.repos.d/* ./ yum.repos.bak/

master # vi /etc/yum.repos.d/centos.repo

[centos]
name=centos
baseurl=file:///media/centos
gpgcheck=0
enabled=1

slave1 # vi /etc/yum.repos.d/centos.repo

[centos]
name=centos
baseurl=http://master/centos
gpgcheck=0
enabled=1

master # yum clean all

master # yum list

master # yum install httpd -y

上传 cm6.3.1-redhat7.tar.gz 至 master:/var/www/html/

master:/var/www/html/ # tar -zxf cm6.3.1-redhat7.tar.gz

上传 allkeys.asc 至 master:/var/www/html/cm6.3.1

master # vi /etc/yum.repos.d/clouderaManager.repo

[clouderaManager]
name=clouderaManager
baseurl=file:///var/www/html/cm6.3.1
gpgcheck=0
enabled=1

slave1 # vi /etc/yum.repos.d/clouderaManager.repo

[clouderaManager]
name=clouderaManager
baseurl=http://master/cm6.3.1
gpgcheck=0
enabled=1

master # systemctl start httpd

master # systemctl enable httpd

master # yum clean all

master # yum list

接着安装与配置NTP

# yum install ntp -y

master # vi /etc/ntp.conf

server 127.127.1.0
fudge 127.127.1.0 stratum 10

master # systemctl start ntpd

master # systemctl enable ntpd

slave1 # vi /etc/ntp.conf

restrict 192.168.10.0 maks 255.255.255.0 nomodify notrap

slave1 # ntpdate master

slave1 # systemctl start ntpd

slave1 # systemctl enable ntpd

YUM源配置完成后就可以开始安装CM了

拷贝 cloudera-manager-installer.bin 至/opt/apps/或任意目录

master /opt/apps/ # chmod +x cloudera-manager-installer.bin

master /opt/apps/ # ./cloudera-manager-installer.bin --skip_repo_package=1

安装界面算是蛮友好的,阅读和接受许可协议然后安装就好了

安装完成后,程序会告诉你管理后台的地址及初始用户名及密码。

请稍等2-3分钟再去打开管理后台页面

上传CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel、CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 至 /opt/cloudera/parcel-repo/

master:/opt/cloudera/parcel-repo # mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha

master # systemctl restart cloudera-scm-server

完成集群部署

进入后台,首先需要接受许可协议和选择版本,这里使用选择免费的版本。

需要什么版本请自行斟酌

接着开始部署集群

设置集群名称
选择要安装服务的主机
配置CM代理的源路径和CDH版本

部署需要的服务

大功告成

对部署有任何疑问欢迎下方留言哦

发表评论

电子邮件地址不会被公开。 必填项已用*标注