一、Know Streaming介绍
Know Streaming专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景,经历过大规模集群、海量大数据的考验,在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设,提供一系列特色的功能,极大地方便了用户和运维人员的日常使用
不会对Apache Kafka做侵入性改造,就可纳管0.10.x-3.x集群版本
二、Know Streaming架构
- 下图来自官方:

三、Know Streaming功能
- 多集群管理:包括 Cluster 管理、Broker 管理、Topic 管理、Group 管理、Message 测试、Security 管理、Jobs 管理等 7 大功能模块,几乎涵盖 CLI 的所有高频能力
- 系统管理:包括配置管理、用户管理、审计日志等 3 大功能模块,基本满足开源用户的使用需要
- 集群管理:支持集群一键纳管,健康分析、核心组件观测 等功能
- 观测提升:多维度指标观测大盘、观测指标最佳实践 等功能
- 异常巡检:集群多维度健康巡检、集群多维度健康分 等功能
- 能力增强:Topic 扩分区、Topic 扩缩副本、Topic 副本迁移 等功能
四、Know Streaming部署
系统环境说明:
下表中的MySQL、ES、Jdk请自行进行下载安装;本站都有对应安装教程请自行搜索
| 节点IP | OS | 软件/版本 | 安装方式 |
| 192.168.66.30 | CentOS 7.6 | MySQ L8.0、ES8.4、JDK11 | RPM包/单节点 |
| 192.168.66.31 | CentOS 7.6 | KnowStreaming3.0、JDK11 | RPM包/单节点 |
1、下载安装包并解压
[root@ks ~]# mkdir /opt/soft
[root@ks ~]# cd /opt/soft/
[root@ks soft]# wget https://s3-gzpu.didistatic.com/pub/knowstreaming/KnowStreaming-3.0.0.tar.gz
# 解压到指定目录
[root@ks soft]# tar -zxvf KnowStreaming-3.0.0.tar.gz -C /usr/local/
2、导入初始化数据
- 说明:由于我们数据库跟KS服务是分开部署的,所以我们需要将解压的安装包里面包含的数据库初始化文件传给DB节点
[root@ks ~]# cd /usr/local/KnowStreaming/
[root@ks KnowStreaming]# scp -r init root@192.168.66.30:/data/
# 登入到DB节点,然后执行下面的命令初始化数据库
[root@ks-db ~]# cd /data
[root@ks-db data]# DB_PWD=dqz123
mysql -uroot -p${DB_PWD} -e "create database know_streaming;"
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/ddl-ks-km.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/ddl-logi-job.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/ddl-logi-security.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/dml-ks-km.sql
mysql -uroot -p${DB_PWD} know_streaming < ./init/sql/dml-logi.sql
# 登入数据库检查数据是否导入成功
mysql> show databases;
3、创建ES初始化数据
- 注意修改
init_es_template.sh脚本里面关于ES节点的IP和端口号
[root@ks ~]# cd /usr/local/KnowStreaming/bin/
[root@ks bin]# vim init_es_template.sh

# 创建elasticsearch初始化数据
[root@ks bin]# sh ./init_es_template.sh
4、修改服务配置文件
[root@ks KnowStreaming]# vim conf/application.yml


5、配置启动脚本并启动
[root@ks ~]# vim /etc/systemd/system/knowstreaming.service
[Unit]
Description=KnowStreaming Service
Documentation=https://knowstreaming.com
After=network.target network-online.target
Wants=network-online.target
[Service]
Type=forking
Environment="JAVA_HOME=/usr/java/jdk-11.0.2/"
User=root
Group=root
ExecStart=/bin/bash /usr/local/KnowStreaming/bin/startup.sh
ExecStop=/bin/bash /usr/local/KnowStreaming/bin/shutdown.sh
ExecReload=/bin/kill --signal HUP
KillMode=control-group
KillSignal=SIGTERM
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=default.target
[root@ks ~]# systemctl daemon-reload
[root@ks ~]# systemctl start knowstreaming.service
[root@ks ~]# systemctl status knowstreaming.service
6、通过文章来源(Source):浅时光博客 浏览器访问平台
- 节点ip加8080端口
- 默认账号密码为 admin / admin

五、平台接入Kafka集群
说明:我这里的Kafka集群是基于KRaft部署的,所以这里不需要填写zk的节点



以上就是本次文章所有知识点,如果文章对你有帮助就动动你那发财的小手,点个赞留个言,给本站加点热度。谢谢支持!

必须 注册 为本站用户, 登录 后才可以发表评论!