Kafka 是 LinkedIn 开发的一个分布式的消息中间件。由于其高吞吐量、可水平扩展等特性，目前被广泛使用，已经是目前大数据生态系统中不可或缺的一环，有关其详细介绍可以查看官方的文档。Kafka 的流行源于他优秀的设计，如依靠磁盘（以及操作系统的 Page Cache）而不是内存来存储队列数据、充分使用零拷贝（zero-copy）以减少数据在不同内存空间间的拷贝、数据尽可能的使用顺序读写等。今天准备深度解析 kafka 的网络通信模块，来学习下实现一个高吞吐量的系统要设计一个怎么样的网络通信机制。
作为一个消息队列，涉及的网络通信主要有两块：
消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）
消息消费者与消息队列服务器之间（Kafka 中是消费者向队列「拉」消息）
要实现上述的网络通信，我们可以使用 HTTP 协议，比如服务端内嵌一个 jetty 容器，通过 servlet 来实现客户端与服务端之间的交互，但是其性能存在问题，无法满足高吞吐量这个需求。要实现高性能的网络通信，我们可以使用更底层的 TCP 或者 UDP 来实现自己的私有协议，而 UDP 协议是不可靠的传输协议，毕竟我们不希望一条消息在投递或者消费途中丢失了，所以 Kafka 选择 TCP 作为服务间通讯的协议。
谈到网络通信，绕不过 IO 模型，IO 模型主要是同步与异步，阻塞与非阻塞之间进行选择。
Kafka 的生产者同时实现了同步和异步两种类型的客户端（即：向服务端发完请求后可以一直等待响应也可以继续干后面的事），其异步客户端实现方式是通过线程池加回调函数。
Kafka 的服务端使用了 NIO 的 IO 多路复用技术，是非阻塞的 IO， kafka 的早期版本中，服务端是通过同步的方式处理客户端请求，最新版本是通过异步的方式进行的。
Kafka 自带的消费者是通过同步阻塞的方式进行数据拉取的，当然如果需要异步处理，可以自己另外写一个异步消费者。
Kafka 采用的是 Reactor 多线程模型，即通过一个 Acceptor 线程处理所有的新连接，通过多个 Processor 线程对请求进行处理（解析协议、封装请求并转发）。在早期版本中，对请求的处理在 Processor 线程中同步进行，也就是说，有多少个 Processor 线程就有多少个处理请求的线程。在新版本中，kafka 新增了一个 Handler 模块，通过指定的线程数对请求进行专门处理，Handler 与 Processor 之间通过一个 block queue 进行连接。线程模型如图：
kafka 线程模型
Kafka 的整个网络通信框架并非一成不变，从早期版本到现在经历了一些变化，下面我们通过分析早期的版本与最新版本的网络通信流程，了解其演变过程，以供自己在设计系统的网络通信时的一些参考。
Kafka 以 NIO 作为网络通信的基础，其通过将许多 socket 连接注册到一个 Selector 监听，可以只用一个线程就能管理很多的连接，减少了大量线程的系统开销。
早期版本的 kafka 的网络通信实现是一个简单的 Reactor 多线程模型，如图：
kafka 早期版本网络通信流程（白色虚线框内是一个 Processor 线程内部做的工作）
客户端向服务端发起请求时，Accept 负责接受这个 TCP 连接，连接成功后传递给其中一个 Processor 线程（先添加到 Processor 线程中的内部新连接队列）。
Processor 线程收到该新连接后（从新连接队列中 poll），将其注册到自身的 Selector 中，监听其 READ 事件。
每当 Client 在这个连接上写入数据，就会触发 Processor 线程中 Selector 监听的 READ 事件，这时该线程会读出连接中的元数据，根据协议（Handler Mapping）调用相应的 Handler 进行处理
Handler 处理完成后，可能会有返回值需要返回给客户端（如 Fetch 请求就需要返回具体内容给客户端），这时将 Handler 返回的 Response 绑定到连接上（SelectionKey.attach 方法），同时将这个连接的监听事件从 READ 转为 WRITE。
Selector 监听到刚才注册的 WRITE 事件，将连接中绑定的 Response 发送。
个人理解 4、5 两步可以合并，即如果 Handler 有返回值，就直接返回，个人猜测 kafka 这样设计可能是出于整个架构上更加清晰优美的目的。
新版 Kafka 也是以 NIO 作为网络通信的基础，也是用 Reactor 多线程模型，所不同的是新版把具体业务处理模块（Handler 模块）独立出去，用单独的线程池进行控制。具体如下图：
kafka 新版本网络通信流程
新版本分离出 Handler 模块，我理解的好处有以下几个：
可以单独指定 Handler 的线程数量，便于调优和管理
可以避免一个超大请求堵住整一个 Processor 线程的情况
因为 Request 与 Handler、Handler 与 Response 之间都是通过队列进行连接，所以彼此是解耦的，可以让请求变为异步，对系统的性能会有提升
本文通过分析 kafka 的网络通信设计对网络编程进行了一次学习，笔者之后又对 netty 的网络通信进行了了解，发现大部分也类似，可见目前的高性能的网络通信可能存在「最佳实践」，不过真正在设计一个系统的网络通信时，还有很多工程上的问题需要解决，有许多的「坑」，很容易为系统埋下定时炸弹，因此，我看很多大牛都建议不要自己去实现网络通信模块，因为 netty 已经足够优秀了。
最后，如果读者有兴趣看 kafka 的源码，又对 scala 不是很熟悉，可以先看 jafka 的代码，它是早期 kafka 版本的 java 克隆版。
出处：https://www.jianshu.com/p/eab8f15880b5
本文由哈喽比特于4年以前收录，如有侵权请联系我们。
文章来源：https://mp.weixin.qq.com/s/NrvzHCo85nFqmqnU8Af5ug
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而，京东官方通过微博发言人发布的消息澄清了这些传言，称这些言论纯属虚假信息和蓄意捏造。
日前，据博主“@超能数码君老周”爆料，国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道，荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦（ASML）CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候，抖音悄然上线了一款名为“青桃”的 App，Slogan 为“看见你的热爱”，根据应用介绍可知，“青桃”是一个属于年轻人的兴趣知识视频平台，由抖音官方出品的中长视频关联版本，整体风格有些类似B站。
日前，威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”，同时，他发文表示：中国汽车普及率低于非洲国家尼日利亚，每百户家庭仅17户有车。意大利世界排名第一，每十户中九户有车。
近日，一项新的研究发现，维生素 C 和 E 等抗氧化剂会激活一种机制，刺激癌症肿瘤中新血管的生长，帮助它们生长和扩散。
据媒体援引消息人士报道，苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后，3D系统一度大涨超10%，不过截至周三收盘，该股涨幅回落至2%以内。
9月2日，坐拥千万粉丝的网红主播“秀才”账号被封禁，在社交媒体平台上引发热议。平台相关负责人表示，“秀才”账号违反平台相关规定，已封禁。据知情人士透露，秀才近期被举报存在违法行为，这可能是他被封禁的部分原因。据悉，“秀才”年龄39岁，是安徽省亳州市蒙城县人，抖音网红，粉丝数量超1200万。他曾被称为“中老年...
9月3日消息，亚马逊的一些股东，包括持有该公司股票的一家养老基金，日前对亚马逊、其创始人贝索斯和其董事会提起诉讼，指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息，为推广自家应用，苹果现推出了一个名为“Apps by Apple”的网站，展示了苹果为旗下产品（如 iPhone、iPad、Apple Watch、Mac 和 Apple TV）开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价，引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金（Future Fund）管理合伙人加里·布莱克发帖称，降价是一种“短期麻醉剂”，会让潜在客户等待进一步降价。
据外媒9月2日报道，荷兰半导体设备制造商阿斯麦称，尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效，但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日，根据美国证券交易委员会的文件显示，苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元（约 4.65 亿元人民币）。用于在 2023-2025 年期间，发射卫星，进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道，马斯克旗下社交平台𝕏（推特）日前调整了隐私政策，允许 𝕏 使用用户发布的信息来训练其人工智能（AI）模型。新的隐私政策将于 9 月 29 日生效。新政策规定，𝕏可能会使用所收集到的平台信息和公开可用的信息，来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日，荣耀CEO赵明在采访中谈及华为手机回归时表示，替老同事们高兴，觉得手机行业，由于华为的回归，让竞争充满了更多的可能性和更多的魅力，对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能（AI）系统，该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日，非营利组织纽约真菌学会（NYMS）发出警告，表示亚马逊为代表的电商平台上，充斥着各种AI生成的蘑菇觅食科普书籍，其中存在诸多错误。
社交媒体平台𝕏（原推特）新隐私政策提到：“在您同意的情况下，我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上，各大企业都带来了最新的理念和产品，而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品，具体内容为：“以我对我‘子公司’的了解，我认为 iPhone 15 跟 iPhone 14 不会有什么区别的，除了序（列）号变了，这个‘不要脸’的东西，这个‘臭厨子’。
