↓ 按住下拉

  • 分布式缓存 — kafka
    Kafka是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景 ......
  • SparkCore2
    2.5 RDD中的函数传递 在实际开发中我们往往需要自己定义一些对于RDD的操作,那么此时需要主要的是,初始化工作是在Driver端进行的,而实际运行程序是在Executor端进 ......
  • kafka指定partiton生产
    kafka发送一个消息的时候需要封装成一个ProducerRecord : public ProducerRecord(String topic, Integer partition, Long timestamp, K key, V value) { ......
  • Kafka 架构深入
    Kafka 工作流程及文件存储机制 由于生产者生产的消息会不断追加到 log 文件末尾, 为防止 log 文件过大导致数据定位效率低下, Kafka 采取了分片和索引机制,将每 ......
  • Kafka事务原理剖析
    一、事务概览 提起事务,我们第一印象可能就是ACID,需要满足原子性、一致性、事务隔离级别等概念,那kafka的事务能做到什么程度呢?我们首先看一下如何使用事务 Produc ......
  • kafka消费组创建和删除原理
    0.10.0.0版本的kafka的消费者和消费组已经不在zk上注册节点了,那么消费组是以什么形式存在的呢? 看下kafka自带的脚本kafka-consumer-groups.sh,可见脚本调用了k ......
  • 我的 Kafka 旅程 - broker
    broker在kafka的服务端运行,一台服务器相当于一个broker;每个broker下可以有多个topic,每个topic可以有多个partition,在producer端可以对消息进行分区,每个parti ......
  • kafka consumer代码梳理
    kafka consumer是一个单纯的单线程程序,因此相对于producer会更好理解些。阅读consumer代码的关键是理解回调,因为consumer中使用了大量的回调函数。参看kafka中的 ......
  • Kafka速览
    三台机器组成的Kafka集群,每台机器启动一个Kafka进程,即Broker 向broker发送消息的客户端是Producer,拉取消息的客户端是Consumer Producer和Consumer都是用户实 ......
  • Kafka 常见问题汇总
    Kafka 常见问题汇总 1. Kafka 如何做到高吞吐、低延迟的呢? 这里提下 Kafka 写数据的大致方式:先写操作系统的页缓存(Page Cache),然后由操作系统自行决定何时刷到 ......