阅读 1

Kafka消息中间件相关

Kafka消息中间件实现几十万QPS的原理

  1. 磁盘顺序写:写磁盘是以文本追加的方式[append-only]
  2. 页缓存技术:不是直接写磁盘,而且写入操作系统层面的os cache
  3. 零拷贝技术:如果os cache有从os cache里取,否则从磁盘取,直接发送到网卡,不需要其他拷贝的操作

Kafka消息中间件实现消息不丢失

  1. 分布式存储:大量的数据不能单单存储在一台服务器上,可以将一个topic的数据通过Partition来分发到多个服务器上;
  2. 高可用架构:每个Partition的数据都可以有副本,主Partition成为Leader,副本成为Follower,副本在其他服务器,当Leader所在的服务器宕机,Follower会提升为Leader;
  3. 防止数据丢失问题ISR机制: (1)场景:假设一条数据到了Leader,Follewer还没来得同步数据,Leader所有的主机或者Leader本身的线程宕机,这时候Follower就会提升为Leader,这时候就会丢失了那条数据。 (2)ISR机制解决方案:自动给每个Partition维护一个ISR列表,这个列表里一定会有Leader,然后还会包含跟Leader保持同步的Follower,假设场景(1)出现了,这时候ISR列表里面的Leader就会被踢掉

Kafka写数据流程

  1. 每个Partition都至少得有1个Follower在ISR列表里,跟上了Leader的数据同步
  2. 每次写入数据的时候,都要求至少写入Partition Leader成功,同时还有至少一个ISR里的Follower也写入成功,才算这个写入是成功了
  3. 如果不满足上述两个条件,那就一直写入失败,让生产系统不停的尝试重试,直到满足上述两个条件,然后才能认为写入成功
  4. 按照上述思路去配置相应的参数,才能保证写入Kafka的数据不会丢失
关注下面的标签,发现更多相似文章
评论