Kafka通讯协议是怎么样的

小编给大家分享一下Kafka通讯协议是怎么样的，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的，而非要实现一套类似于Protocol Buffer的通用协议。定长数据类型：int8,int16,int32和int64，对应到Java中就是byte, short, int和long。变长数据类型：bytes和string。变长的数据类型由两部分组成，分别是一个有符号整数N(表示内容的长度)和N个字节的内容。其中，N为-1表示内容为null。bytes的长度由int32表示，string的长度由int16表示。数组：数组由两部分组成，分别是一个由int32类型的数字表示的数组长度N和N个元素。Kafka中两个角色之间通讯的基本单位是Request/Response，Request和Response的基本结构如下：其中各字段的含义为：这个结构定义了通讯双方交换数据的基本结构。通讯的过程可以简单地表示为：客户端打开与服务器端的Socket，然后往Socket写入一个int32的数字表示这次发送的Request有多少字节，然后继续往Socket中写入对应字节数的数据。服务器端先读出一个int32的整数从而获取这次Request的大小，然后读取对应字节数的数据从而得到Request的具体内容。服务器端处理了请求后，也用同样的方式来发送响应。RequestMessage的结构如下：ResponseMessage的结构如下：Kafka是一个分布式消息系统，Producer生产消息并推送(Push)给Broker，然后Consumer再从Broker那里取走(Pull)消息。Producer生产的消息就是由Message来表示的，对用户来讲，它就是键-值对，来看看它的结构。MessageSet用来组合多条Message，它在每条Message的基础上加上了Offset和MessageSi开发云主机域名ze，其结构是：它的含义是MessageSet是个数组，数组的每个元素由三部分组成，分别是Offset，MessageSize和Message，它们的含义分别是：Kafka支持下面几种压缩方式，其中编码就是Message的Attribute的最低两位的值。因为单条消息中重复内容可能不多，所以通常把多条消息放在一起组成MessageSet，然后再把MessageSet放到一条Message里面去，从而提高压缩比率。Request/Response是通讯层的结构，和网络的7层模型对比的话，它类似于TCP层。Message/MessageSet定义的是业务层的结构，类似于网络7层模型中的HTTP层。Message/MessageSet只是Request/Response的payload中的一种数据结构。以上是“Kafka通讯协议是怎么样的”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注开发云行业资讯频道！

相关推荐: 如何解决虚拟机安装VMware tools遇到的各种问题

本篇内容主要讲解“如何解决虚拟机安装VMware tools遇到的各种问题”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“如何解决虚拟机安装VMware tools遇到的各种问题”吧!问题汇总：a.关于在VMware…