今天就跟大家聊聊有关Kafka消费与心跳机制怎么理解，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。1.概述最近有同学咨询Kafka的消费和心跳机制，今天笔者将逐一介绍这些内容。2.内容2.1 Kafka消费首先，我们来看看消费。Kafka提供了非常简单的消费API，使用者只需初始化Kafka的Broker Server地址，然后实例化KafkaConsumer类即可拿到Topic中的数据。一个简单的Kafka消费实例代码如下所示：上述代码我们就可以非常便捷的拿到Topic中的数据。但是，当我们调用poll方法拉取数据的时候，Kafka Broker Server做了那些事情。接下来，我们可以去看看源代码的实现细节。核心代码如下：org.apache.kafka.clients.consumer.KafkaConsumer上述代码中有个方法pollForFetches，它的实现逻辑如下：上述代码中加粗的位置，我们可以看出每次消费者客户端拉取数据时，通过poll方法，先调用fetcher中的fetchedRecords函数，如果获取不到数据，就会发起一个新的sendFetches请求。而在消费数据的时候，每个批次从Kafka Broker Server中拉取数据是有最大数据量限制，默认是500条，由属性(max.poll.records)控制，可以在客户端中设置该属性值来调整我们消费时每次拉取数据的量。提示：这里需要注意的是，max.poll.records返回的是一个poll请求的数据总和，与多少个分区无关。因此，每次消费从所有分区中拉取Topic的数据的总条数不会超过max.poll.records所设置的值。而在Fetcher的类中，在sendFetches方法中有限制拉取数据容量的限制，由属性(max.partition.fetch.bytes)，默认1MB。可能会有这样一个场景，当满足max.partition.fetch.bytes限制条件，如果需要Fetch出10000条记录，每次默认500条，那么我们需要执行20次才能将这一次通过网络发起的请求全部Fetch完毕。这里，可能有同学有疑问，我们不能将默认的max.poll.records属性值调到10000吗?可以调，但是还有个属性需要一起配合才可以，这个就是每次poll的超时时间(Duration.ofMillis(100))，这里需要根据你的实际每条数据的容量大小来确定设置超时时间，如果你将最大值调到10000，当你每条记录的容量很大时，超时时间还是100ms，那么可能拉取的数据少于10000条。而这里，还有另外一个需要注意的事情，就是会话超时的问题。session.timeout.ms默认是10s，group.min.session.timeout.ms默认是6s，group.max.session.timeout.ms默认是30min。当你在处理消费的业务逻辑的时候，如果在10s内没有处理完，那么消费者客户端就会与Kafka Br 香港云主机oker Server断开，消费掉的数据，产生的offset就没法提交给Kafka，因为Kafka Broker Server此时认为该消费者程序已经断开，而即使你设置了自动提交属性，或者设置auto.offset.reset属性，你消费的时候还是会出现重复消费的情况，这就是因为session.timeout.ms超时的原因导致的。2.2 心跳机制上面在末尾的时候，说到会话超时的情况导致消息重复消费，为什么会有超时?有同学会有这样的疑问，我的消费者线程明明是启动的，也没有退出，为啥消费不到Kafka的消息呢?消费者组也查不到我的ConsumerGroupID呢?这就有可能是超时导致的，而Kafka是通过心跳机制来控制超时，心跳机制对于消费者客户端来说是无感的，它是一个异步线程，当我们启动一个消费者实例时，心跳线程就开始工作了。在org.apache.kafka.clients.consumer.internals.AbstractCoordinator中会启动一个HeartbeatThread线程来定时发送心跳和检测消费者的状态。每个消费者都有个org.apache.kafka.clients.consumer.internals.ConsumerCoordinator，而每个ConsumerCoordinator都会启动一个HeartbeatThread线程来维护心跳，心跳信息存放在org.apache.kafka.clients.consumer.internals.Heartbeat中，声明的Schema如下所示：心跳线程中的run方法实现代码如下：在心跳线程中这里面包含两个最重要的超时函数，它们是sessionTimeoutExpired和pollTimeoutExpired。2.2.1 sessionTimeoutExpired如果是sessionTimeout超时，则会被标记为当前协调器处理断开，此时，会将消费者移除，重新分配分区和消费者的对应关系。在Kafka Broker Server中，Consumer Group定义了5中(如果算上Unknown，应该是6种状态)状态，org.apache.kafka.common.ConsumerGroupState，如下图所示：2.2.2 pollTimeoutExpired如果触发了poll超时，此时消费者客户端会退出ConsumerGroup，当再次poll的时候，会重新加入到ConsumerGroup，触发RebalanceGroup。而KafkaConsumer Client是不会帮我们重复poll的，需要我们自己在实现的消费逻辑中不停的调用poll方法。3.分区与消费线程关于消费分区与消费线程的对应关系，理论上消费线程数应该小于等于分区数。之前是有这样一种观点，一个消费线程对应一个分区，当消费线程等于分区数是最大化线程的利用率。直接使用KafkaConsumer Client实例，这样使用确实没有什么问题。但是，如果我们有富裕的CPU，其实还可以使用大于分区数的线程，来提升消费能力，这就需要我们对KafkaConsumer Client实例进行改造，实现消费策略预计算，利用额外的CPU开启更多的线程，来实现消费任务分片。看完上述内容，你们对Kafka消费与心跳机制怎么理解有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注开发云行业资讯频道，感谢大家的支持。
今天就跟大家聊聊有关JavaScrip数据类型都有哪些，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。 保留字: ##变量的命名规则和规范变量，函数，属性的名字或者函数的参数。标识符命令规则：由字母，数字…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
