现在位置： 首页 > ZooKeeper
+0°

大数据学习初级入门教程（十六） —— Hadoop 3.x 完全分布式集群的安装、启动和测试

2023年04月23日 17:24:39 ⁄ Hadoop  ⁄ 共 2515字 ⁄ 暂无评论 ⁄ 被围观 660次
大数据学习初级入门教程（十六） —— Hadoop 3.x 完全分布式集群的安装、启动和测试
​好久没用 Hadoop 集群了，参考以前写的《大数据学习初级入门教程（一） —— Hadoop 2.x 完全分布式集群的安装、启动和测试》和《大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成》，下载了目前官网最新的版本 hadoop-3.3.5 再重温下集群部署。按步骤进行到格式化集群步骤时，发现不少和老版本不一致的地方，这里记录如下。 问题1）ERROR: Attempting to operate on *** as root [ro...
      , , , , , , , , 阅读全文
+0°

自己构建 kafka 镜像进行开发测试

2022年10月12日 18:37:15 ⁄ Docker  ⁄ 共 4421字 ⁄ 暂无评论 ⁄ 被围观 1,490次
自己构建 kafka 镜像进行开发测试
前言 平常在开发的时候经常需要使用某些软件协同进行功能调试，比如说，在做基于Flink CDC的时候，需要将数据从mysql binlog导入到kafka，然后再导入到hudi数据湖。 那么问题就来了，要做这么一件事情，我需要先起一个mysql，一个kafka，一个yarn集群、一个hdfs集群，让整体环境都运行起来了，我才能够使用Flink进行测试和验证。当然，假如你有一个常驻的服务运行上述环境，这些问题就都不是问题了。 但是假如说我们...
      , , , , , , 阅读全文
+0°

Zookeeper全解析——Paxos作为灵魂

2020年07月26日 09:13:44 ⁄ ZooKeeper  ⁄ 共 2618字 ⁄ 暂无评论 ⁄ 被围观 3,037次
Zookeeper全解析——Paxos作为灵魂
原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。 那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。 先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布式计算中，Google的Chubby，Apache的Zookee...
      , , , , , 阅读全文
+0°

大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成

2020年04月14日 21:30:47 ⁄ 大数据  ⁄ 共 7237字 ⁄ 暂无评论 ⁄ 被围观 2,742次
大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成
在以前一篇《大数据学习初级入门教程（一） —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中，详细写了 Hadoop 完全分布式集群的安装步骤，在上一篇《大数据学习初级入门教程（十一） —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试》中详细写了 Zookeeper 完全分布式集群的安装步骤，所以这篇写一下如何让两个集群做集成，让 Zookeeper 保证 Hadoop 集群的高可用。 一、环境准备 上面两篇文章中已经...
      , , , , , , 阅读全文
+0°

大数据学习初级入门教程（十一） —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试

2020年04月14日 20:30:25 ⁄ ZooKeeper  ⁄ 共 4584字 ⁄ 暂无评论 ⁄ 被围观 3,591次
大数据学习初级入门教程（十一） —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试
从前面一系列的基础部署教程中，可以看到大数据集群的部署中，为了保证集群的高可用性，一般都会配置 Zookeeper，比如 Kafka 集群的搭建中，就添加了 Zookeeper 配置。所以这篇补充一下 Zookeeper 集群的搭建，简单写写 Zookeeper 3.x 的安装配置、启动和测试。 一、所需环境 参考《大数据学习初级入门教程（一） —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中准备的资源环境，这里将不再细述。 集群部署规划...
      , , , , , 阅读全文
+0°

Zookeeper 启动后的日志文件 zookeeper.out 路径修改

2019年08月26日 20:15:54 ⁄ ZooKeeper  ⁄ 共 474字 ⁄ 暂无评论 ⁄ 被围观 3,583次
Zookeeper 启动后的日志文件 zookeeper.out 路径修改
当你安装好 Zookeeper 集群后，迫不及待的用启动命令 zkServer.sh start 启动集群，用命令 zkServer.sh status 查看集群状态时，看到集群正常启动并运行，心里是不是美滋滋，不过当你查看安装目录时，可以看到在你运行启动命令的目录里，生成了 zookeeper.out 日志文件，心情一下就不爽了。 那么问题来了，这个目录是否可以自定义设置呢？答案当然是可以的，需要修改两个文件。 修改 ZK_HOME/conf/log4j.properties 文件...
      , , , , 阅读全文
Copyright © 2010-2024 孟郎郎 辽ICP备19011093号