CDH安装部署-part2

韵味老鸟 2024-06-12 17:13:57

CDH安装部署-part2

七:安装Cloudera Manager

##cloudera agent

在主节点安装cloudera agent和cloudera server

#yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server -y

在其他子节点安装cloudera agent

#yum install cloudera-manager-daemons cloudera-manager-agent -y

#cloudera agent

#修改cm agent配置,指定cm server的连接地址

#vi /etc/cloudera-scm-agent/config.ini

#修改server_host=主节点IP或主机名

#开启所有节点cm agent

#systemctl start cloudera-scm-agent

#可提前下载安装对应依赖

#yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt

安装agent:(所有节点)

cd /data/tools

yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

配置scm-agent的server节点

cp /etc/cloudera-scm-agent/config.ini /etc/cloudera-scm-agent/config.ini.template

vi /etc/cloudera-scm-agent/config.ini

server_host=cdh1

server_port=7182

保存退出,执行命令

启动服务

systemctl start cloudera-scm-agent

##

##警告如果没有证书,就不要配这个否则后面会出现 agent 无法上报的问题

##/opt/cloudera/cm-agent/bin/certmanager setup --configure-services

安装scm-server:(cdh1)

yum -y install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

cm节点初始化数据库,用引号把密码圈起来

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 'Meng!2023cdh'

# 初始化cm数据库(密码自己设置) /opt/cloudera/cm/schema/scm_prepare_database.sh mysql -uroot -p12345 scm scm 12345 # 脚本参数解释 scm_prepare_database.sh 【数据库类型】 -u【数据库登录用户】 -p【数据库登录密码】 【CDH要创建的数据库名称】 【CDH数据库用户名】 【CDH数据库用户密码】

配置parcels(主节点操作)

执行:

cd /opt/cloudera/parcel-repo

cp /data/tools/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel .

sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

如果不配置则在安装过程会提示

启动服务

systemctl start cloudera-scm-server

查看日志

tail /var/log/cloudera-scm-server/cloudera-scm-server.log

出现INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.这条信息就代表服务启动成功

在浏览器中访问cm节点的7180端口,账号密码均为 admin,登录CDH管理页面

http://192.168.10.14:7180/

选择免费功能

第二次欢迎页面任然点击继续

定义集群名称,UMImeng

输入之前准备好的安装大数据服务用的节点,点击搜索,结果默认是全选的,根据情况选择,之后点击继续

选择主机(在该页不要填写IP去搜索节点,应点击’当前管理的主机‘)

选择parcel包(画红线部分是检测到的本地parcel包,如果不显示说明没被检测到,可尝试等待刷新页面或回退到欢迎页面重启cm server)

开始向所有节点分发部署安装包

进行安装前环境检查(可以根据检查结果修正环境配置,修正后重新检查并继续)

如果有检查项没通过,需要先修正配置后再次执行检查,直到所有检查项均正常,如果有些配置的的修正涉及到重启服务器等需要停止cm server服务的操作,要先回退到欢迎页面并停止cm server服务,重启完成继续从第一步进行

选择需要安装的大数据服务,这里选择自定义服务,这样可以按需安装

数据服务角色分配(注意要做好角色规划)

填写数据库信息(有些大数据服务需要数据库支持,例如hive、oozie等,所以需填写数据库信息)

主机名称:之前建的mysql库所在的位置,安装mysql的服务器名称 数据库名称:使用哪一个mysql库初始化的一些相关库 用户名称:连接mysql数据库的账号对应库的账号 密码:连接mysql数据库的账号的密码

测试连接数据库 amon activity monitor

修改大数据服务相关数据目录路径,例如hdfs、kafka数据目录等

其他可以使用默认值,继续下一步骤

开始安装服务

访问页面:http://192.168.10.14:7180/cmf/home

修改HDFS的权限检查配置

关闭HDFS中的权限检查:dfs.permissions。 保存更改,然后重启hdfs 服务

点击hdfs 组件进入hdfs 组件管理页面 点击配置 搜索 dfs.permissions

0 阅读:0