我要评论
目录
一、datasophon是什么
1.1 datasophon概述
主要特性有:
- 快速部署,可快速完成300个节点的大数据集群部署
- 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
- 监控指标全面丰富，基于生产实践展示用户最关心的监控指标
- 灵活便捷的告警服务，可实现用户自定义告警组和告警指标
- 可扩展性强，用户可通过配置的方式集成或升级大数据组件
github地址：datasophon/readme_cn.md at dev · datavane/datasophon
1.2 架构概览
1.3 设计思想
为设计出轻量级，高性能，高可扩的，可满足国产化环境要求的大数据集群管理平台。需满足以下设计要求：
（1）一次编译，处处运行，项目部署仅依赖java环境，无其他系统环境依赖。
（2）datasophon工作端占用资源少，不占用大数据计算节点资源。
（3）可扩展性高，可通过配置的方式集成托管第三方组件。
二、解压新旧组件安装包
flink-1.6.2升级到flink-1.6.3，安装包下载
https://mirrors.tuna.tsinghua.edu.cn/apache/
https://archive.apache.org/dist/flink/flink-1.6.3/
解压
tar -zxvf flink-1.16.3-bin-scala_2.12.tgz -c /opt/datasophon/ddp/packages三、 修改安装包中文件和目录
cd /opt/datasophon/ddp/packages
chown -r root:root flink-1.16.3四、重新生成安装包
4.1 重新打包
cd /opt/datasophon/ddp/packages
tar -zcvf flink-1.16.3.tar.gz flink-1.16.3
4.2 生成加密码
md5sum flink-1.16.3.tar.gz4.3 生成md5加密文件
echo '4d292114646f220e43ec56b75c53dfdb' > flink-1.16.3.tar.gz.md5
五、 删除已装的组件包flink(all)
从datasophon上把flink停止并删除
删除已装的组件包，所有安装的服务器都要执行
rm -rf /opt/datasophon/flink*六、修改service_ddl.json
vim /opt/datasophon/ddp/packages/datasophon-manager-1.2.1/conf/meta/ddp-1.2.1/flink/service_ddl.json
*datasophon-manager-1.2.1 为当前的datasohon安装版本,可能多处地方需要修改
七、修改env环境变量(all)
7.1修改环境变量配置参数(all)
[root@ddp01 packages]# cat /etc/profile.d/datasophon-env.sh
export flink_home=/opt/datasophon/flink-1.16.3
[root@ddp01 packages]# source /etc/profile.d/datasophon-env.sh
7.2 重启manager服务
rm -rf /opt/datasophon/ddp/packages/datasophon-manager-1.2.1/logs/*
/opt/datasophon/ddp/packages/datasophon-manager-1.2.1/bin/datasophon-api.sh restart api
cd /opt/datasophon/ddp/packages/datasophon-manager-1.2.1/logs
查看相应的表配置数据
select * from t_ddh_frame_service;
select * from t_ddh_frame_service_role;
八、重新安装服务
选择flink服务
选择 flinkclient 安装
配置根据实际情况调整
安装成功，如若失败可查看失败原因再重新安装
客户端查看版本
九、测试验证
运行wordcount测试程序
export hadoop_classpath=`hadoop classpath`
flink run -m yarn-cluster /opt/datasophon/flink/examples/batch/wordcount.jar集群提交，日志需要在yarn上查看
执行成功
发表评论