数据采集组件：Flume基础用法和Kafka集成

strikeeagle

发布于 2023-1-4 11:10

浏览

0收藏

一、Flume简介

1、基础描述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；

特点：分布式、高可用、基于流式架构，通常用来收集、聚合、搬运不同数据源的大量日志到数据仓库。

2、架构模型

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

Agent包括三个核心组成，Source、Channel、Sink。Source负责接收数据源，并兼容多种类型，Channel是数据的缓冲区，Sink处理数据输出的方式和目的地。

Event是Flume定义的一个数据流传输的基本单元，将数据从源头送至目的地。

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

Flume可以设置多级Agent连接的方式传输Event数据，从最初的source开始到最终sink传送的目的存储系统，如果数量过多会影响传输速率，并且传输过程中单节点故障也会影响整个传输通道。

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

Flume支持多路复用数据流到一个或多个目的地，这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，并且sink可以选择传送到不同的目的地。

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

Agent1理解为路由节点负责Channel的Event均衡到多个Sink组件，每个Sink组件分別连接到独立的Agent上，实现负载均衡和错误恢复的功能。

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

Flume的使用组合方式做数据聚合，每台服务器部署一个flume节点采集日志数据，再汇聚传输到存储系统，例如HDFS、Hbase等组件，高效且稳定的解决集群数据的采集。

二、安装过程

1、安装包

apache-flume-1.7.0-bin.tar.gz

2、解压命名

[root@hop01 opt]# pwd
/opt
[root@hop01 opt]# tar -zxf apache-flume-1.7.0-bin.tar.gz
[root@hop01 opt]# mv apache-flume-1.7.0-bin flume1.71.
2.
3.
4.

3、配置文件

配置路径：/opt/flume1.7/conf

mv flume-env.sh.template flume-env.sh1.

4、修改配置

添加JDK依赖

vim flume-env.sh
export JAVA_HOME=/opt/jdk1.81.
2.

5、环境测试

安装netcat工具

sudo yum install -y nc1.

创建任务配置

[root@hop01 flume1.7]# cd job/
[root@hop01 job]# vim flume-netcat-test01.conf1.
2.

添加基础任务配置

注意：a1表示agent名称。

# this agent
a1.sources = sr1
a1.sinks = sk1
a1.channels = sc1

# the source
a1.sources.sr1.type = netcat
a1.sources.sr1.bind = localhost
a1.sources.sr1.port = 55555

# the sink
a1.sinks.sk1.type = logger

# events in memory
a1.channels.sc1.type = memory
a1.channels.sc1.capacity = 1000
a1.channels.sc1.transactionCapacity = 100

# Bind the source and sink
a1.sources.sr1.channels = sc1
a1.sinks.sk1.channel = sc11.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.

开启flume监听端口

/opt/flume1.7/bin/flume-ng agent --conf /opt/flume1.7/conf/ --name a1 --conf-file /opt/flume1.7/job/flume-netcat-test01.conf -Dflume.root.logger=INFO,console1.

使用netcat工具向55555端口发送数据

[root@hop01 ~]# nc localhost 55555
hello,flume1.
2.

查看flume控制面

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

三、应用案例

1、案例描述

数据采集组件：Flume基础用法和Kafka集成-鸿蒙开发者社区

基于flume在各个集群服务进行数据采集，然后数据传到kafka服务，再考虑数据的消费策略。

采集：基于flume组件的便捷采集能力，如果直接使用kafka会产生大量的埋点动作不好维护。

消费：基于kafka容器的数据临时存储能力，避免系统高度活跃期间采集数据过大冲垮数据采集通道，并且可以基于kafka做数据隔离并针对化处理。

2、创建kafka配置

[root@hop01 job]# pwd
/opt/flume1.7/job
[root@hop01 job]# vim kafka-flume-test01.conf1.
2.
3.

3、修改sink配置

# the sink
a1.sinks.sk1.type = org.apache.flume.sink.kafka.KafkaSink
# topic
a1.sinks.sk1.topic = kafkatest
# broker地址、端口号
a1.sinks.sk1.kafka.bootstrap.servers = hop01:9092
# 序列化方式
a1.sinks.sk1.serializer.class = kafka.serializer.StringEncoder1.
2.
3.
4.
5.
6.
7.
8.

4、创建kafka的Topic

上述配置文件中名称：kafkatest，下面执行创建命令之后查看topic信息。

[root@hop01 bin]# pwd
/opt/kafka2.11
[root@hop01 kafka2.11]# bin/kafka-topics.sh --create --zookeeper hop01:2181 --replication-factor 1 --partitions 1 --topic kafkatest
[root@hop01 kafka2.11]# bin/kafka-topics.sh --describe --zookeeper hop01:2181 --topic kafkatest1.
2.
3.
4.

5、启动Kakfa消费

[root@hop01 kafka2.11]# bin/kafka-console-consumer.sh --bootstrap-server hop01:2181 --topic kafkatest --from-beginning1.

这里指定topic是kafkatest。

6、启动flume配置

/opt/flume1.7/bin/flume-ng agent --conf /opt/flume1.7/conf/ --name a1 --conf-file /opt/flume1.7/job/kafka-flume-test01.conf -Dflume.root.logger=INFO,console1.

四、源代码地址

GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent1.
2.
3.
4.

本文转载自公众号：知了一笑

分类

其他

标签

Flume

Kafka

已于2023-1-4 11:10:36修改

相关推荐

#2020征文-TV# 3.1 使用频率高的基础组件

Tuer白晓明 • 1.1w浏览 • 2回复
【答疑汇总】HarmonyOS组件的分布式适配和应用畅想

董昱 • 2.1w浏览 • 5回复
鸿蒙开源第三方组件——日期和时间处理组件JodaTime-ohos

朱伟ISRC • 2.2w浏览 • 4回复
HarmonyOS基础技术赋能之分布式数据服务功能

软通张二龙 • 2.3w浏览 • 7回复
HarmonyOS基础技术赋能之轻量级数据库Preferencens

软通张二龙 • 2.3w浏览 • 8回复
HarmonyOS 基础之JS UI任意组件通讯

开鸿助手 • 1.6w浏览 • 1回复
HarmonyOS基础之Fraction用法介绍

中软国际AIoT开发者社区 • 1.9w浏览 • 0回复
#星光计划1.0# HarmonyOS 基础之 UI组件（二）

深开鸿 • 1.5w浏览 • 1回复
Redis基础——剖析基础数据结构及其用法

kevinaoc • 7481浏览 • 0回复
OpenHarmony ETS 类状态 @Consume和@Provide 图文示例秒懂用法

陈浩南xxx • 1.5w浏览 • 0回复
Spring Boot 集成 Kafka

ltolll • 9226浏览 • 0回复
SpringBoot集成Redis用法笔记

tomcatf149999 • 6810浏览 • 0回复
基础概念、架构和新版的升级-Kafka知识体系1

qezhu521 • 6599浏览 • 0回复
基础篇：JAVA原子组件和同步组件

老老老JR老北 • 4033浏览 • 0回复
#星计划#浅谈ArkUI之Web组件的基础用法

董昱 • 7582浏览 • 4回复
#在HarmonyOS星河遨游# 浅谈ArkUI之Web组件的基础用法

莫名瞄一眼 • 1.2w浏览 • 0回复
「Mac畅玩鸿蒙与硬件16」鸿蒙UI组件篇6 - List和Grid组件展示数据列表

SoraLuna • 2414浏览 • 0回复
「Mac畅玩鸿蒙与硬件17」鸿蒙UI组件篇7 - Animation组件基础

SoraLuna • 2588浏览 • 0回复
二、组件和样式基础

亚鲁鲁666 • 6973浏览 • 0回复

strikeeagle

这个用户很懒，还没有个人简介

帖子

视频

声望

粉丝

关注

51CTO

51CTO博客

51CTO学堂

数据采集组件：Flume基础用法和Kafka集成

一、Flume简介

1、基础描述

2、架构模型

二、安装过程

1、安装包

2、解压命名

3、配置文件

4、修改配置

5、环境测试

三、应用案例

1、案例描述

2、创建kafka配置

3、修改sink配置

4、创建kafka的Topic

5、启动Kakfa消费

6、启动flume配置

四、源代码地址

目录

订阅鸿蒙技术特刊，精选内容抢先看