现在位置: 首页 > 博客文章 > 电脑相关 > IT开发 > 大数据 > 文章
+0°

Redis四种模式:单机、主从、哨兵、集群

2023年11月13日 11:15:08 Redis  ⁄ 共 754字 暂无评论 ⁄ 被围观 321次
Redis是一个开源的内存数据存储系统,它可以存储键值对数据,并且支持多种数据结构。Redis提供了四种主要的部署模式,它们分别是单机模式、主从模式、哨兵模式和集群模式。下面将对这四种模式进行详细的解释。 ​ 单机模式 单机模式是Redis最基本的部署方式。在单机模式中,Redis仅运行在一台服务器上,所有的读写操作都在这台服务器上完成。这种部署方式非常简单,因为不需要配置其他的服务器,但是它存在单点故...
阅读全文
+0°

大数据学习初级入门教程(十七) —— Elasticsearch 8.7.0 完全分布式集群的安装、配置、启动和测试

2023年04月24日 17:42:42 Elasticsearch  ⁄ 共 3646字 暂无评论 ⁄ 被围观 973次
​好久没用 Elasticsearch 集群了,参考以前写的《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试》、《大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测试》和《大数据学习初级入门教程(十) —— Elasticsearch 7.6.2 完全分布式集群的安装、配置、启动和测试》,下载了目前官网最新的版本 elasticsearch-8.7.0-linux-x86_64 再重温下集群部署。按步...
阅读全文
+0°

大数据学习初级入门教程(十六) —— Hadoop 3.x 完全分布式集群的安装、启动和测试

2023年04月23日 17:24:39 Hadoop  ⁄ 共 2515字 暂无评论 ⁄ 被围观 783次
​好久没用 Hadoop 集群了,参考以前写的《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》和《大数据学习初级入门教程(十二) —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成》,下载了目前官网最新的版本 hadoop-3.3.5 再重温下集群部署。按步骤进行到格式化集群步骤时,发现不少和老版本不一致的地方,这里记录如下。 问题1)ERROR: Attempting to operate on *** as root [ro...
阅读全文
+0°

大数据学习初级入门教程(十五) —— Redis 在 Windows 系统上的安装、配置、启动和测试

2022年11月08日 23:44:08 Redis  ⁄ 共 1740字 暂无评论 ⁄ 被围观 1,784次
​ 项目中使用 Redis 缓存库,一版 Redis 都是安装在 Linux 机器上,有单节点部署安装,伪分布式部署安装,分布式集群模式部署安装,分布式哨兵模式部署安装等部署形式。但有时候手头没有 Redis 服务,又没有 Linux 环境供安装 Redis 服务,这时在 Windows 主机上运行 Redis 服务会更加便捷。 如何在 Windows 上运行 Redis 服务呢?接下来就简单聊聊。 在 Redis 官网上去找安装包,都是 Linux 版本,没有 Windows 版本...
阅读全文
+1°

大数据学习初级入门教程(十四) —— Flume 1.9.x 单节点的安装、配置、启动和测试

2022年10月05日 11:22:05 Flume  ⁄ 共 3589字 评论数 1 ⁄ 被围观 1,516次
​ 官网介绍如下: Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for...
阅读全文
+0°

大数据学习初级入门教程(十三) —— Redis 3.x 伪分布式集群(哨兵模式)的安装、配置、启动和测试

2022年09月17日 17:31:34 Redis  ⁄ 共 2618字 暂无评论 ⁄ 被围观 1,739次
​在前三篇文章《大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试》、《大数据学习初级入门教程(六) —— Redis 3.x 伪分布式集群的安装、配置、启动和测试》和《大数据学习初级入门教程(七) —— Redis 3.x 完全分布式集群的安装、配置、启动和测试》中,已经对 Redis3.x 的单节点安装、伪分布式集群安装和完全分布式集群安装过程详细做了安装、配置、启动和测试,但工作过程中发现,很多 Redis 集群都是...
阅读全文
+0°

Zookeeper全解析——Paxos作为灵魂

2020年07月26日 09:13:44 ZooKeeper  ⁄ 共 2618字 暂无评论 ⁄ 被围观 3,150次
原计划在介绍完ZK Client之后就着手ZK Server的介绍,但是发现ZK Server所包含的内容实在太多,并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。 那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。 先说Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookee...
阅读全文
+0°

大数据学习初级入门教程(十二) —— Hadoop 2.x 集群和 Zookeeper 3.x 集群做集成

2020年04月14日 21:30:47 大数据  ⁄ 共 7237字 暂无评论 ⁄ 被围观 2,798次
在以前一篇《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中,详细写了 Hadoop 完全分布式集群的安装步骤,在上一篇《大数据学习初级入门教程(十一) —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试》中详细写了 Zookeeper 完全分布式集群的安装步骤,所以这篇写一下如何让两个集群做集成,让 Zookeeper 保证 Hadoop 集群的高可用。 一、环境准备 上面两篇文章中已经...
阅读全文
+0°

大数据学习初级入门教程(十一) —— Zookeeper 3.4.6 完全分布式集群的安装、配置、启动和测试

2020年04月14日 20:30:25 ZooKeeper  ⁄ 共 4584字 暂无评论 ⁄ 被围观 3,718次
从前面一系列的基础部署教程中,可以看到大数据集群的部署中,为了保证集群的高可用性,一般都会配置 Zookeeper,比如 Kafka 集群的搭建中,就添加了 Zookeeper 配置。所以这篇补充一下 Zookeeper 集群的搭建,简单写写 Zookeeper 3.x 的安装配置、启动和测试。 一、所需环境 参考《大数据学习初级入门教程(一) —— Hadoop 2.x 完全分布式集群的安装、启动和测试》中准备的资源环境,这里将不再细述。 集群部署规划...
阅读全文
+0°

大数据学习初级入门教程(十) —— Elasticsearch 7.6.2 完全分布式集群的安装、配置、启动和测试

2020年04月12日 23:22:26 Elasticsearch  ⁄ 共 6076字 暂无评论 ⁄ 被围观 2,805次
在前两篇文章《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试》和《大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测试》中,已经对 ES 集群的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 ES 完全分布式集群安装进行详细的图文说明。 由于前两篇把部署和启动 ES 相关的操作都已说明,这里将不再细说,直接按步就搬...
阅读全文
+0°

大数据学习初级入门教程(九) —— Elasticsearch 7.6.2 伪分布式集群的安装、配置、启动和测试

2020年04月04日 12:59:43 Elasticsearch  ⁄ 共 13773字 暂无评论 ⁄ 被围观 3,105次
在前一篇文章《大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试》中,简要说明了在一台测试服务器上如何安装单节点 Elasticsearch 并做了简单的测试,这篇主要说下在一台机器上如何配置多个节点,需要在前一篇文章操作后的基础上,搭建 Elasticsearch 伪分布式集群,这里配置 3 个代理节点。 特别注意:由于需要在一台机器上同时启动 3 个及以上 es 实例节点,所以建议机器内存>=4g。 ...
阅读全文
+0°

大数据学习初级入门教程(八) —— Elasticsearch 7.6.2 单节点的安装、启动和测试

2020年04月04日 10:22:57 Elasticsearch  ⁄ 共 8448字 暂无评论 ⁄ 被围观 2,918次
本篇文章主要介绍 Elasticsearch 7.6.2 版本的单节点安装、启动及测试步骤,供初学者参考。测试系统为 CentOS 6.9,JDK 版本为 1.8.0_172。 第一步:下载安装包并上传到测试服务器 下载地址为官网地址:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz。 下载后上传到测试服务器,这里上传到路径:/opt/es下。 第二步:解压安装包 # tar -zxvf elasticsea...
阅读全文
+0°

大数据学习初级入门教程(七) —— Redis 3.x 完全分布式集群的安装、配置、启动和测试

2019年12月17日 22:04:17 Redis  ⁄ 共 16994字 暂无评论 ⁄ 被围观 3,870次
在前两篇文章《大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试》和《大数据学习初级入门教程(六) —— Redis 3.x 伪分布式集群的安装、配置、启动和测试》中,已经对 Redis3.x 的单节点安装和伪分布式集群安装做了安装、配置、启动和测试,这篇文章主要对 Redis3.x 完全分布式集群安装进行详细的图文说明。 集群搭建条件: 和搭建伪分布式集群一样,搭建集群还是需要以下几个条件,只不过伪...
阅读全文
+0°

Redis 集群的 5 种使用方式各自优缺点分析

2019年12月15日 19:36:02 Redis  ⁄ 共 3455字 暂无评论 ⁄ 被围观 3,546次
本文主要针对 Redis 常见的几种使用方式及其优缺点展开分析。 一、常见使用方式 Redis 的几种常见使用方式包括: Redis 单副本Redis 多副本(主从)Redis Sentinel(哨兵)Redis ClusterRedis 自研 二、各种使用方式的优缺点 1、Redis 单副本 Redis 单副本,采用单个 Redis 节点部署架构,没有备用节点实时同步数据,不提供数据持久化和备份策略,适用于数据可靠性要求不高的纯缓存业务场景。 优点: ...
阅读全文
+0°

大数据学习初级入门教程(六) —— Redis 3.x 伪分布式集群的安装、配置、启动和测试

2019年12月15日 13:46:24 Redis  ⁄ 共 8286字 暂无评论 ⁄ 被围观 3,487次
在上一篇文章《大数据学习初级入门教程(二) —— Redis 3.x 单节点的安装、启动和测试》中,介绍了如何在工作需要时,临时安装一个单节点的 Redis 库,便于进行测试。 这一篇主要说说如何搭建 Redis 伪分布式集群,就是说机器不够的情况下,模拟搭建 Redis 集群。 集群搭建条件: Redis 集群至少需要 3 个节点; 每个集群节点都需要有从节点,即备份节点,保证集群的高可用性,所以还需要 3 个备份节点; 服务...
阅读全文