Hiway

用户采集平台 项目经验之HDFS存储多目录 生产环境服务器磁盘情况 在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.

在Kafka的issue中发现一个可能是这个问题的原因[KAFKA-7703]，在此记录一下这个issue的复现和研究。

这个命令里使用的 –zookeeper，也可以使用 --bootstrap-server，只是他是用来设置动态参数的。现在，你只需要了解设置常规的主题级别参数，还是使用 --zookeeper。 这是指设置Leader副本和follower 副本使用的带宽。有时候，需要让某个主…

所谓副本机制（Replication），也可以称之为备份机制，通常是指分布式在多台网络互连的机器上保存有相同的数据拷贝。 但 Kafka的副本机制，只实现了提供数据冗余的价值。 Kafka有主题的概念，每个主题又分为若干个分区。副本的概念是在分区层级下定义的，每个分区配置有若干…

老版本的Kafka会把位移信息保存在Zk中，当Consumer重启后，自动从Zk中读取位移信息。这种设计使Kafka Broker不需要保存位移数据，可减少Broker端需要持有的状态空间，有利于实现高伸缩性。 但zk不适用于高频的写操作，这令zk集群性能严重下降，在新版本中将…

Consumer Group ：Kafka提供的可扩展且具有容错性的消息者机制。 组内可以有多个消费者实例（Consumer Instance）。 消费者组的唯一标识被称为Group ID，组内的消费者共享这个公共的ID。 消费者组机制，同时实现了消息队列模型和发布/订阅模型。…

Kafka 拦截器分为生产者拦截器和消费者拦截器。 消费者拦截器支持在消费消息前以及提交位移后编写特定逻辑。 值得一提的是，这两种拦截器都支持链的方式，即你可以将一组拦截器串连成一个大的拦截器，Kafka 会按照添加顺序依次执行拦截器逻辑。 你自己编写的所有 Producer …

消息：Record。 Kafka 是消息引擎嘛，这里的消息就是指 Kafka 处理的主要对象。主题：Topic。主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。 分区：Partition。 一个有序不变的消息序列。每个主题下可以有多个分区。 消息位移：Offset。…

“「祷以恒切， 盼以喜乐，苦以坚忍，必有所得」”。 也有段时间没有更新博客和文章了，主要是这几个月在学习机器学习方面的知识，这一部分的数学要求有点高，所以啃的比较艰难，很多时候都在补数学，技术能力有限，目前还没办法把这一部分知识输出成文章笔记了，说明自己还没融会贯通。 很可惜，…