现在位置: 首页 > Kafka
+0°

自己构建 kafka 镜像进行开发测试

2022年10月12日 18:37:15 Docker  ⁄ 共 4421字 暂无评论 ⁄ 被围观 1,506次
前言 平常在开发的时候经常需要使用某些软件协同进行功能调试,比如说,在做基于Flink CDC的时候,需要将数据从mysql binlog导入到kafka,然后再导入到hudi数据湖。 那么问题就来了,要做这么一件事情,我需要先起一个mysql,一个kafka,一个yarn集群、一个hdfs集群,让整体环境都运行起来了,我才能够使用Flink进行测试和验证。当然,假如你有一个常驻的服务运行上述环境,这些问题就都不是问题了。 但是假如说我们...
阅读全文
+0°

大数据学习初级入门教程(五) —— Kafka 2.3.0 完全分布式集群的安装、配置、启动和测试

2019年08月28日 19:36:15 Kafka  ⁄ 共 2660字 暂无评论 ⁄ 被围观 2,137次
在前两篇文章《大数据学习初级入门教程(三) —— Kafka 2.2.0 单节点的安装、启动和测试》和《大数据学习初级入门教程(四) —— Kafka 2.2.0 伪分布的安装、配置、启动和测试》中,已经对 Kafka 集群的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 Kafka 完全分布式集群安装进行详细的图文说明。 在没发表文章的这段时间,Kafka 最新版本已经从 2.2.0 升级到 2.3.0,所以这里也以官网最新的版...
阅读全文
+0°

大数据学习初级入门教程(四) —— Kafka 2.2.0 伪分布式集群的安装、配置、启动和测试

2019年05月21日 21:52:18 Kafka  ⁄ 共 2489字 暂无评论 ⁄ 被围观 1,849次
在前一篇文章《大数据学习初级入门教程(三) —— Kafka 2.2.0 单节点的安装、启动和测试》中,简要说明了在一台测试服务器上如何安装单节点 Kafka 并做了消息发送和获取的测试,这篇主要说明一下在一台机器上如何配置多个节点,需要在前一篇文章操作后的基础上,搭建 Kafka 伪分布式集群,这里配置 3 个代理节点。 第一步:创建配置文件 为每个代理节点创建一个配置文件,可以直接复制已有的配置文件,命令如下: # c...
阅读全文
+0°

大数据学习初级入门教程(三) —— Kafka 2.2.0 单节点的安装、启动和测试

2019年05月21日 20:46:59 Kafka  ⁄ 共 3570字 暂无评论 ⁄ 被围观 2,225次
本篇文章主要介绍 Kafka 2.2.0 版本的单节点安装、启动及测试步骤,供初学者参考。测试系统为 CentOS 6.9,JDK 版本为 1.8.0_172。 第一步:下载安装包并上传到测试服务器 下载地址为官网地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.12-2.2.0.tgz。 下载后上传到测试服务器,这里上传到路径:/root/kafka下。 第二步:解压安装包 # tar -zxvf kafka_2.12-2.2.0.tgz # cd k...
阅读全文