大数据学习初级入门教程（十四） —— Flume 1.9.x 单节点的安装、配置、启动和测试

现在位置: 首页 > 博客文章 > 电脑相关 > IT开发 > 大数据 > Flume > 正文

2022年10月05日 11:22:05 ⁄ Flume ⁄ 共 3589字 ⁄ 评论数 1 ⁄ 被围观 1,455次

官网介绍如下：

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.
Flume 是一种分布式的、可靠的且可用的服务，可以高效地收集、聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有健壮性和容错性，具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的可扩展数据模型，允许在线分析应用。

本篇主要简单介绍下 Flume 的安装、配置、启动和测试。

第一步：上传安装包

上传 flume 包到测试服务器，这里测试直接上传到 home 目录下。

第二步：解压安装包

# cd /home
# tar -zxvf apache-flume-1.9.0-bin.tar.gz

第三步：重命名目录

由于解压的 flume 安装包目录名较长，这里修改短一些（强迫症）

# mv apache-flume-1.9.0-bin flume-1.9.0

第四步：配置环境变量

修改当期用户配置文件.bash_profile

# vi ~/.bash_profile

在配置最后添加如下配置：

export FLUME_HOME=/home/flume-1.9.0
export PATH=$PATH:$FLUME/bin

执行命令使得配置立刻生效：

# source ~/.bash_profile

第五步，创建自定义配置

在 Flume 的安装目录下，创建个自定义配置文件目录 defconf

# cd /home/flume-1.9.0
# mkdir defconf

创建自定义配置文件 netcat2logger，配置如下：

# example.conf: A single-node Flume configuration
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
#a1.sources.r1.bind = localhost
a1.sources.r1.bind = node19
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

第六步：启动 Flume

# flume-ng agent --conf conf --conf-file defconf/netcat2logger --name a1 -Dflume.root.logger=INFO,console

可以看到输出日志如下：

第七步：测试

在安装 flume 的节点机器上，使用下面命令发送信息：

# telnet node19 44444

可以看到 flume 监听的端口收到了发送的信息，并打印到了控制台：

第八步：停止 Flume

按 Ctrl+C 或者 Ctrl+Z 即可停止。

常见错误：

错误一：在查看 Flume 版本时，提示“Unsupported major.minor version 52.0”。

[root@node19 flume-1.9.0]# flume-ng version
Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/flume/tools/GetJavaProperty : Unsupported major.minor version 52.0
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:482)
Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9