现在位置: 首页 > ZooKeeper
+0°

大数据学习初级入门教程(十六) —— Hadoop 3.x 完全分布式集群的安装、启动和测试

2023年04月23日 17:24:39 Hadoop  ⁄ 共 2515字 暂无评论 ⁄ 被围观 1,013次
​好久没用 Hadoop 集群了,参考以前写的《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》和《大数据学习初级入门教程(十二) —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成》,下载了目前官网最新的版本 hadoop-3.3.5 再重温下集群部署。按步骤进行到格式化集群步骤时,发现不少和老版本不一致的地方,这里记录如下。 问题1)ERROR: Attempting to operate on *** as root [ro...
阅读全文
+0°

自己构建 kafka 镜像进行开发测试

2022年10月12日 18:37:15 Docker  ⁄ 共 4421字 暂无评论 ⁄ 被围观 1,822次
前言 平常在开发的时候经常需要使用某些软件协同进行功能调试,比如说,在做基于Flink CDC的时候,需要将数据从mysql binlog导入到kafka,然后再导入到hudi数据湖。 那么问题就来了,要做这么一件事情,我需要先起一个mysql,一个kafka,一个yarn集群、一个hdfs集群,让整体环境都运行起来了,我才能够使用Flink进行测试和验证。当然,假如你有一个常驻的服务运行上述环境,这些问题就都不是问题了。 但是假如说我们...
阅读全文
+0°

Zookeeper全解析——Paxos作为灵魂

2020年07月26日 09:13:44 ZooKeeper  ⁄ 共 2618字 暂无评论 ⁄ 被围观 3,357次
原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。 那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。 先说Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookee...
阅读全文
+0°

大数据学习初级入门教程(十二) —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成

2020年04月14日 21:30:47 大数据  ⁄ 共 7237字 暂无评论 ⁄ 被围观 2,874次
在以前一篇《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中,详细写了 Hadoop 完全分布式集群的安装步骤,在上一篇《大数据学习初级入门教程(十一) —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试》中详细写了 Zookeeper 完全分布式集群的安装步骤,所以这篇写一下如何让两个集群做集成,让 Zookeeper 保证 Hadoop 集群的高可用。 一、环境准备 上面两篇文章中已经...
阅读全文
+0°

大数据学习初级入门教程(十一) —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试

2020年04月14日 20:30:25 ZooKeeper  ⁄ 共 4584字 暂无评论 ⁄ 被围观 3,933次
从前面一系列的基础部署教程中,可以看到大数据集群的部署中,为了保证集群的高可用性,一般都会配置 Zookeeper,比如 Kafka 集群的搭建中,就添加了 Zookeeper 配置。所以这篇补充一下 Zookeeper 集群的搭建,简单写写 Zookeeper 3.x 的安装配置、启动和测试。 一、所需环境 参考《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中准备的资源环境,这里将不再细述。 集群部署规划...
阅读全文
+0°

Zookeeper 启动后的日志文件 zookeeper.out 路径修改

2019年08月26日 20:15:54 ZooKeeper  ⁄ 共 474字 暂无评论 ⁄ 被围观 3,851次
当你安装好 Zookeeper 集群后,迫不及待的用启动命令 zkServer.sh start 启动集群,用命令 zkServer.sh status 查看集群状态时,看到集群正常启动并运行,心里是不是美滋滋,不过当你查看安装目录时,可以看到在你运行启动命令的目录里,生成了 zookeeper.out 日志文件,心情一下就不爽了。 那么问题来了,这个目录是否可以自定义设置呢?答案当然是可以的,需要修改两个文件。 修改 ZK_HOME/conf/log4j.properties 文件...
阅读全文