kafka架构，消息存储和生成消费模型，Kafka与其他队列对比，零拷贝，Kafka基本介绍

• 一、初识kafka

• 1.1SparkStreaming+Kafka好处：

• 1.2Kafka的架构：

• 二、kafka的消息存储和生成消费模型

• 三、kafka特点

• 四、kafka与其他消息队列对比

• 五、零拷贝

• 六、kafka概念

kafka思维导图下载地址

一、初识kafka

kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

kafka：数据直接存磁盘，0拷贝；默认保存7天的数据，7天内还可以在消费。

kafka可以给spark提供持续的输出。

• -解耦
• -缓冲

消息队列常见场景：

• -系统之间解耦合

• -峰值压力缓冲

• -异步通信

• producer：消息生成者

• consumer：消息消费者

• broker：kafka集群的server，负责处理消息读、写请求，存储消息

• topic：消息队列/分类

二、kafka的消息存储和生成消费模型

三、kafka特点

四、kafka与其他消息队列对比

五、零拷贝

六、kafka概念