脚本宝典收集整理的这篇文章主要介绍了Flume 架构,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
Agent 内部有三个重要的组件:Source,Channel,Sink
Flume提供多种数据接收方式,比如 Avro,Thrift 等
Channel 支持的类型有:JDBC Channel、FileSystem Channel,Memory Channel 等
数据在 Flume 内部是以 Event 封装的形式存在的。因此 Source 组件在获取到原始数据后,需要封装成 Event 后发送到 Channel 中,然后 Sink 从 Channel 取出 Event 后,根据配置要求再转成其他的形式进行数据输出
Event 封装的对象主要有两部分:Headers(Event 头)和 Body(Event 体)
注意:在任何时刻,Event 至少在一个 Channel 是完整有效的(基于事务机制保障)
通过 Flume 框架可以知道,学习 Flume 其实就是学习 Source、Channel、Sink 的组合。Flume 框架要是使用 Source、Channel、Sink 的组合,就必须是我们通过配置文件告诉框架。
学习 Flume 其实就是学习 Source + Channel + Sink 的组合配置。
以上是脚本宝典为你收集整理的Flume 架构全部内容,希望文章能够帮你解决Flume 架构所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。