面试官:因为Kafka这道题接连被怼,看完这个成功吊打面试官

655 阅读3分钟

前言

Kafka由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。

近些年来,大数据技术蓬勃发展,各种围绕大数据处理的平台技术,包括组件、工具、框架越来越丰富;相关的开源工具和实践资料也越来越多,其中消息队列便是一个重要的组成部分。对于一个大型系统而言,我们通常需要围绕消息来构建整个系统的逻辑,Kafka 便是目前最主流的消息系统之一。

Kafka入门与实践

第1章对Kafka的基本概念进行简要介绍,方便读者对Kafka有一一个大致的了解。

第2章详细介绍Kafka安装环境的配置及Kafka源码的编译,这一章为后续各章的Kafka原理讲解及基本操作进行准备。

第3章对Kafka基本组件的实现原理、实现细节进行了分析。如果只想了解Kafka的相关应用,而不关注Kafka的实现原理,在阅读时可以直接跳过这一章。但我觉得,如果想真正掌握Kafka及其实现细节,这一章是值得花时间仔细阅读的。

第4章对Kafka核心流程进行分析,主要从Kafka启动流程到创建一一个主题、生产者发送消息、消费者消费消息的过程进行了简要介绍。这一章是Kafka 运行机制的缩影,如果跳过了第3章关于组件实现原理的讲解,那么建议一定要阅读这一章,因为通过阅读这一章可以更进一步地 了解Kafka运行时的主要角色及其职责,为后面的Kafka实战部分打下坚实基础。

第5章开始就进入了Kafka实战部分。这一章通过Kafka自带脚本演示,详细介绍了Kafka基本应用的操作步骤,基本覆盖了Kafka相关操作,因此请读者在阅读时要跟随本书所讲内容进行实战。

第6章对Kafka的API应用进行了详细介绍。如果读者在实践工作中不会用到调用Kafka的相关API,在阅读时也可以跳过这一章。

第7章对KafkaStreams进行了介绍。KafkaStreams是Kafka新增的支持流数据处理的Java库。如果读者不希望使用此功能,也可以跳过这一章。

第8章介绍Kafka在数据采集方面的应用,主要包括与Log4j、Flume 和HDFS的整合应用。

第9章对Kafka与ELK (Elasticsearch、 Logstash 和Kibana)整合实现日志采集平台相关应用进行介绍。

第10章通过两个简单的实例,介绍了Spark以及Kafka与Spark整合在离线计算、实时计算方面的应用。

限于平台篇幅限制,同时也为了大家更好的阅读,后面就不再对章节进行总结,有感兴趣的可以帮忙转发文章后,关注私信回复【学习】来获取

Kfaka实战

第1章初识Kafka

第2章生产者

第3章消费者

第4章主题与分区

第5章日志存储

第6章深入服务端

第7章深入客户端

第8章可靠性探究

第9章Kafka应用

第10章Kafka监控

第11章高级应用

第12章Kafka与Spark的集成

附录A Kafka源码环境搭建

Kafka源码解析与实战

获取方式:查看主页