CDH实操部署qq34208660的博客-java

cdh实操练习

目录

1、节点初始化

1、每台机器添加域名解析到hosts文件，如下

2、关闭所有节点的防火墙、清空防火墙规则、关闭selinux，需重启机器selinux配置才会生效

3、同步所有节点的时区及时钟

4、所有节点部署JDK

2、选择001主节点离线部署mysql5.7

3、在安装了数据库的主机上创建CDH的元数据库和用户、amon服务的数据库及用户，部署

==============准备结束 开始CDH离线部署================

4、部署CM server+agent  官方rpm包安装

1、所有节点创建目录及解压

2、选择ruozedata001为cm server，不下载依赖包直接部署

3、所有节点(包含ruozedata001)为cm agent，不下载依赖包直接部署（必须先安装daemons）

4、所有节点包括server(001)修改agent的配置，指向server的节点ruozedata001    

5、001节点部署离线parcel源

总结&故障

1、节点初始化

查看ip以及ip段、必须同一网段

1、每台机器添加域名解析到hosts文件，如下

2、关闭所有节点的防火墙、清空防火墙规则、关闭selinux，需重启机器selinux配置才会生效

3、同步所有节点的时区及时钟

 选择主节点作为ntp服务器，修改其ntp配置文件：/etc/ntp.conf

start ntp服务

验证一下：

所有从节点停⽌并禁用ntpd服务

在所有从节点同步主节点时间

在从节点设置定时同步（分时日月周）

  crontab -e   00 01 * * * /usr/sbin/ntpdate huxiaoyan001

4、所有节点部署JDK

记得是所有节点：

 mkdir /usr/java  tar -xzvf jdk-8u181-linux-x64.gz -C /usr/java/  #切记必须修正所属⽤用户及⽤用户组  chown -R root:root /usr/java/jdk1.8.0_181 ##添加到环境变量文件 echo "export JAVA_HOME=/usr/java/jdk1.8.0_181" >> /etc/profile  echo 'export PATH=${JAVA_HOME}/bin:${PATH}' >> /etc/profile  source /etc/profile  which java

检查：

2、选择001主节点离线部署mysql5.7

https://note.youdao.com/noteshare?id=74ad62007fcc38766915d1b87081f26c

安装完成、进行登录测试

3、在安装了数据库的主机上创建CDH的元数据库和用户、amon服务的数据库及用户，部署

1、创建元数据库

登录数据库：

 create database cmf default character set utf8; create database amon default character set utf8;  grant all privileges on  cmf.* to 'cmf'@'%' identified by 'huxiaoyan';  grant all privileges on amon.* to 'amon'@'%' identified by 'huxiaoyan'; ##创建amon数据库 允许来自所有主机的root用户使用huxiaoyan这个密码登录 flush privileges;    ##刷新权限

2、选择第一台部署 amon的进程 那么次机器需要安装mysql、jdbc、jar包

注意一定要把版本号去掉

  mkdir -p /usr/share/java   cp -prf mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar  

==============准备结束 开始CDH离线部署================

4、部署CM server+agent  官方rpm包安装

有如下包：

server服务器需要安装：

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

agent服务器需要安装：

cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

1、所有节点创建目录及解压

 ##scp 把cm6.3.1-redhat7.tar.gz 包传到所有节点  mkdir /opt/cloudera-manager  tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/

2、选择ruozedata001为cm server，不下载依赖包直接部署

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm –nodeps –force

rpm -ivh  cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm –nodeps –force

如果服务器有网络，可直接yum install ….rpm

–force 即使覆盖属于其它包的文件也强迫安装 

–nodeps 如果该RPM包的安装依赖其它包，即使其它包没装，也强迫安装。 

 卸载命令： cd  /opt/cloudera-manager/cm6.3.1/RPMS/x86_64/ rpm -qa |grep cloudera rpm -e cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm rpm -e cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

修改 /etc/cloudera-scm-server/db.properties 文件、核对，注意修改所有的文件不要留有空格

 [root@huxiaoyan001 x86_64]# vim /etc/cloudera-scm-server/db.properties # Copyright (c) 2012 Cloudera, Inc. All rights reserved. # # This file describes the database connection. #  # The database type # Currently 'mysql', 'postgresql' and 'oracle' are valid databases. com.cloudera.cmf.db.type=mysql ##mysql  # The database host # If a non standard port is needed, use 'hostname:port' com.cloudera.cmf.db.host=huxiaoyan001:3306  ##启用  # The database name com.cloudera.cmf.db.name=cmf ##启用  # The database user com.cloudera.cmf.db.user=cmf ##启用  # The database user's password com.cloudera.cmf.db.password=huxiaoyan ##启用并填写cmf密码  # The db setup type # After fresh install it is set to INIT # and will be changed post config. # If scm-server uses Embedded DB then it is set to EMBEDDED # If scm-server uses External DB then it is set to EXTERNAL com.cloudera.cmf.db.setupType=EXTERNAL  ##启用并使用外部

起服务：service cloudera-scm-server start

服务启动日志：/var/log/cloudera-scm-server.log 查看7180端口是否启用

检查是否开放了7180端口，如果开放了 就可以直接使用公网ip:7180打开web界面了，默认初始密码是admin/admin 先不要登录，接着手动安装从节点的agent、不要在web界面安装！

3、所有节点(包含ruozedata001)为cm agent，不下载依赖包直接部署（必须先安装daemons）

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm –nodeps –force

rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm  –nodeps –force

4、所有节点包括server(001)修改agent的配置，指向server的节点ruozedata001    

sed -i “s/server_host=localhost/server_host=ruozedata001/g” /etc/cloudera-scm-agent/config.ini

然后把所有节点的angent起来：

可以从主节点server机日志看到

web网页登陆

选择继续>同意条约

按需求选择、我选择免费版

填写集群名称

勾选我们已经安装好agent的机器，如果没有安装agent，那我们就需要在页面添加

继续

然后配置parcel, 不要关掉页面，在server机安装http

5、001节点部署离线parcel源

 安装httpd服务  yum install -y httpd mkdir -p /var/www/html/cdh6_parcel cp -prf CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/ www/html/cdh6_parcel/  ###重命名为.sha文件 mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 / var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha mv manifest.json  /var/www/html/cdh6_parcel/ 

必须将sha1重命名为sha，因为安装包里面设置的就是.sha文件 重命名为.sha文件

不然在部署过程CM认为如上⽂文件下载未完整，会持续下载

起服务

service httpd start

然后打开80端口的网页https://39.100.80.44/cdh6_parcel 正常显示

可以继续在cdh页面进行设置：

选择更多选项

只保留这个库

修改成内网地址   https://huxiaoyan001/cdh6_parcel   —保存

界面自动刷新

继续，等待

如果有问题 看下日志：/var/log

单击进行检测

看下检测结果

英文版：

第一个页面压缩需要在所有机器操作下禁用，第二个警告的话查看下documentation, 根据需求可选择安装Psycopg2，不安装可选择忽略

echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled    #以禁用此设置，然后将同一命令添加到 /etc/rc.local

设置完之后重新校验 run again

选择继续

自定义服务

角色分配

数据库设置

如果不成功，就看下设置amon的时候关于密码权限或者包名后缀有没正确

继续

完成啊哈哈哈哈哈哈啊哈

但是！当你点击完成

根据警告对应修改

时钟偏差，因为我们设置了001为ntp服务器，其他的机器设置了禁用，所以才会报错，

进行忽略警告，选择主机里的所有主机–单击机器名称进行

找到时钟偏差进行禁用

总结&故障

1.总结

5.16.1  tar包 + local file

6.3.1   rpm包 + http file  最优

2.故障及排查

2.1 centos6.x 使用 python2.6

    centos7.x 使用 python2.7  which python 查询

2.2 centos7.x 的parcel文件必须是 el7

2.3 java 默认路径

2.4 jdbc jar 默认路径

2.5 mysql flush privileges;

2.6 hosts文件 不要配置外网ip

2.7 parcel构建HTTP 而不是https

2.8 parcel无法激活  就参考 若泽大数据 公众号 最近的一篇文章 深度很大 

2.9 配置账户/密码等文件时注意不要多加空格

2.10 daemons先部署，再安装server/agent