脚本宝典收集整理的这篇文章主要介绍了Kafka 3.0 相关概念介绍,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
一个或者多个server组成的集群,可以拓展成多个数据中心或者云区域
存储层的server被称为 broker
其他的server运行Kafka以事件流的方式持续导入/导出数据,整合现有系统到Kafka,例如关系型数据库和其他
允许建立能并行读/写/处理事件流的分布式应用和微服务
event 记录的是业务中存在的事实
一个 event 中有键、值、时间戳和可选的元数据头
Producers 写/发布消息到Kafka,Consumers 从Kafka读/消费消息
生产者和消费者是完全解耦和互不相知的
事件有组织的,永久存储在 topic 中,topic 就像文件系统中的文件夹,事件就是文件夹中的文件
Kafka中的主题永远都有多个生产者和多个消费者
主题中的事件一旦需要就可以读取,不像传统的消息系统,事件被消费之后不会被删除
可以在每个主题中自定义旧事件被摒弃后,Kafka保持的事件长度
主题是被分区的,这意味着一个主题是分布在定位于不同的 broker 上的一定数量数据桶中
这种分布式数据放置提供了可伸缩性,允许客户端应用同时从许多 broker 中读/写数据
当一个新的事件发布到一个主题,实际上是放到了主题的某个分区上,同一个键的事件写入到同一个分区
Kafka保障指定主题分区的任何消费者按照写入的顺序读取分区事件
为了确保数据容错和高可用,每个主题都能被复制,复制数量是可以设置的,在主题分区级别执行
以上是脚本宝典为你收集整理的Kafka 3.0 相关概念介绍全部内容,希望文章能够帮你解决Kafka 3.0 相关概念介绍所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。