消息队列

Kafka管控平台Know Streaming安装部署实操

浅时光博客 · 4月17日 · 2023年 · 2.4w 次已读

一、Know Streaming介绍

Know Streaming专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景,经历过大规模集群、海量大数据的考验,在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用

不会对Apache Kafka做侵入性改造,就可纳管0.10.x-3.x集群版本

二、Know Streaming架构

  • 下图来自官方:

三、Know Streaming功能

  • 多集群管理:包括 Cluster 管理、Broker 管理、Topic 管理、Group 管理、Message 测试、Security 管理、Jobs 管理等 7 大功能模块,几乎涵盖 CLI 的所有高频能力
  • 系统管理:包括配置管理、用户管理、审计日志等 3 大功能模块,基本满足开源用户的使用需要
  • 集群管理:支持集群一键纳管,健康分析、核心组件观测 等功能
  • 观测提升:多维度指标观测大盘、观测指标最佳实践 等功能
  • 异常巡检:集群多维度健康巡检、集群多维度健康分 等功能
  • 能力增强:Topic 扩分区、Topic 扩缩副本、Topic 副本迁移 等功能

四、Know Streaming部署

系统环境说明:

下表中的MySQL、ES、Jdk请自行进行下载安装;本站都有对应安装教程请自行搜索

节点IPOS软件/版本安装方式
192.168.66.30CentOS 7.6MySQ L8.0、ES8.4、JDK11RPM包/单节点
192.168.66.31CentOS 7.6KnowStreaming3.0、JDK11RPM包/单节点

1、下载安装包并解压

[root@ks ~]# mkdir /opt/soft
[root@ks ~]# cd /opt/soft/
[root@ks soft]# wget https://s3-gzpu.didistatic.com/pub/knowstreaming/KnowStreaming-3.0.0.tar.gz

# 解压到指定目录
[root@ks soft]# tar -zxvf KnowStreaming-3.0.0.tar.gz -C /usr/local/

2、导入初始化数据

  • 说明:由于我们数据库跟KS服务是分开部署的,所以我们需要将解压的安装包里面包含的数据库初始化文件传给DB节点
[root@ks ~]# cd /usr/local/KnowStreaming/
[root@ks KnowStreaming]# scp -r init root@192.168.66.30:/data/

# 登入到DB节点,然后执行下面的命令初始化数据库
[root@ks-db ~]# cd /data
[root@ks-db data]# DB_PWD=dqz123
mysql -uroot -p${DB_PWD} -e "create database know_streaming;"
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/ddl-ks-km.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/ddl-logi-job.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/ddl-logi-security.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/dml-ks-km.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/dml-logi.sql

# 登入数据库检查数据是否导入成功
mysql> show databases;

3、创建ES初始化数据

  • 注意修改init_es_template.sh脚本里面关于ES节点的IP和端口号
[root@ks ~]# cd /usr/local/KnowStreaming/bin/
[root@ks bin]# vim init_es_template.sh
# 创建elasticsearch初始化数据
[root@ks bin]# sh ./init_es_template.sh

4、修改服务配置文件

[root@ks KnowStreaming]# vim conf/application.yml

5、配置启动脚本并启动

[root@ks ~]# vim /etc/systemd/system/knowstreaming.service
[Unit]
Description=KnowStreaming Service
Documentation=https://knowstreaming.com
After=network.target network-online.target
Wants=network-online.target

[Service]
Type=forking
Environment="JAVA_HOME=/usr/java/jdk-11.0.2/"
User=root
Group=root
ExecStart=/bin/bash /usr/local/KnowStreaming/bin/startup.sh
ExecStop=/bin/bash /usr/local/KnowStreaming/bin/shutdown.sh
ExecReload=/bin/kill --signal HUP
KillMode=control-group
KillSignal=SIGTERM
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=default.target


[root@ks ~]# systemctl daemon-reload
[root@ks ~]# systemctl start knowstreaming.service
[root@ks ~]# systemctl status knowstreaming.service

6、通过文章来源(Source):浅时光博客浏览器访问平台

  • 节点ip加8080端口
  • 默认账号密码为 admin / admin

五、平台接入Kafka集群

说明:我这里的Kafka集群是基于KRaft部署的,所以这里不需要填写zk的节点

文章来源(Source):https://dqzboy.com

以上就是本次文章所有知识点,如果文章对你有帮助就动动你那发财的小手,点个赞留个言,给本站加点热度。谢谢支持!


本文作者:浅时光博客
原文链接:https://www.dqzboy.com/12111.html
版权声明:知识共享署名-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)协议进行许可,转载时请以>超链接形式标明文章原始出处和作者信息
免责声明:本站内容仅供个人学习与研究,严禁用于商业或非法目的。请在下载后24小时内删除相应内容。继续浏览或下载即表明您接受上述条件,任何后果由用户自行承担。

0 条回应

必须 注册 为本站用户, 登录 后才可以发表评论!