内容导读：MQ作为一款中间件，就需要承载全公司所有业务系统使用需求，并高效稳定运行。因此，MQ对本身运行效率有着非常苛刻的诉求。 为了实现高效率，其实需要很多方面一起配合来完成。比如存储方式、内存使用、负载均衡等等。 本文就RocketMQ为了实现高效的读写速率在存储架构上所做的努力，进行下阐述。
为了更方便的进行数据读写，消息在磁盘底层的文件目录设计，都需要关注和解决什么问题呢：
•首先，最基本的，消息原始记录的写入和存储，且速率要快。
•其次，要可以区分topic ，特别是允许消费者按topic进行接收。
•再次，分布式集群下的多消费者负载均衡。
那么问题来了，消息文件该怎么设计呢？
如果按topic来拆分文件进行存储，是否可以？
•缺点：生产者写入时选择对应的文件来写入。当数据量逐渐增大之后，定位查询文件地址，对磁盘的寻址所带来的性能损耗，将不再可以忽略。
•优点：在消费时，可以直接加载相关文件进行读取，不会产生随机寻址。
如果用一整个文件来存消息呢？
•优点：所有的topic都被写入一个文件中，这样，写入时，只要将消息按到达顺序追加到文件尾部即可，很容易实现顺序写入。
•缺点：消费时，需要根据辅助信息来在文件中定位消息，会产生随机读，损耗性能。
因此，不管是按topic拆开多文件存储，还是一整个文件存储做有利有弊，需要按实际需要进行权衡。
RocketMQ存储原始消息选择的是写同一个文件。
究其原因，是由于RocketMQ一般都是普通业务场景使用居多，生产者和topic众多，如果都独立开各自存储，每次消息生产的磁盘寻址对性能损耗是非常巨大的。
旁证侧引:
kafka的文件存储方式，是按topic拆分成partition来进行的。是什么样的原因，让kafka做出了和RocketMQ相反的选择呢？个人认为，主要还是使用场景的区别，
kafka被优先选择用来进行大数据处理，相对于业务场景，数据维度的topic要少很多，并且kafka的生产者(spark``flume``binlog等)机器会更加集中，这使得kafka选择按topic拆分文件的缺陷不那么突出，而大数据处理更重要的是消息读取，顺序读的优势得以被充分利用。"单
partition，单cunsumer的kafka，性能异常的优秀" 是经常被提及的一个观点，其原因，相信有了上面的分析应该也差不多有结论了。
从第一部分的存储方案对比可以知道，RocketMQ为了保证消息写入效率，在存储结构上选择了顺序写，势必会对消息的读取和消费带来不便。
那么，它是怎么来平衡消费时的读取速率的呢？
关键问题是，找到一种途径，可以快速的在commitLog中定位到所需消息的位置。
从一堆数据中，快速定位想要的数据，这不是索引最擅长的事情么？所以，RocketMQ也为commitLog创建了索引文件，并且是区分topic的结构。
•topic 是业务场景的唯一标识，不可缺少；
•queueId 在申请topic的时候确定，关联着消费索引consumerQueue中的队列ID；
•tags 是消息特殊标签，用于业务系统订阅时提前过滤(这个功能真的是太重要了，吃过苦的同学都清楚)；
•keys 是消息的关键字，构建index索引，用于关键字查询用；
•msgBody 是真实消息体；
消息由发布者发布，并依次的、顺序的写到commitLog里，消息一旦被写入，是不可以更改顺序和内容的。commitLog规定最大1个G，达到规定大小则写新的一个文件。
consumerQueue 是一种机制，可以让消费端通过queue和commitLog之间的检索关系，快速定位到commitLog里边的具体消息内容，然后拉取进行消费。
consumerQueue 按 topic的不同，被分为不同的queue，根据queueId来被消费者订阅和消费；
其中每个索引项是一个固定大小为20bytes的记录，由消息在commitLog中的起始偏移量、消息体占用大小、type的hash码三部分构成。可以通过这三个部分快速定位到所需消息位置和类型。
而上述索引的构建过程，是在消息被写入commitLog时，专门的后台服务--putMessageService，将索引信息分发到 consumerQueue 和index文件里，来构建索引项。
建索引的过程，实际上是一种分而治之思维的落地，除了索引，还有redis中的各种指标维护，核心是 分散压力到每次请求，避免了大规模集中计算。
消费者对应consumerQueue不一定是一对一的，因此，怎么来让每个新的消费者来了不会重复消费呢？
在消息成功被拉取并消费时，后台任务CommitOffsetManager 会将当前消费者，针对topic的消费位点进行记录，目的是让下一个或者重新启动单个消费者记住这个消费位点，不至于重复消费。
因此，整个文件目录就一目了然了：
虽然通过上述文件存储结构的分析，我们知道，消费者可以根据索引文件中的索引项来快速定位， 但事实上，消息的发布和消费，不可能直接针对磁盘进行读写操作的，这样效率会非常非常低。
实际上，我们的操作基本是针对一块内存进行操作的 。
利用NIO的内存映射机制，我们将commitLog的一部分文件交换到对外内存。然后利用操作系统的pageCache技术，在运行过程中把内存里的信息，与磁盘里的文件信息进行同步，或者交换：
•消息发布者，在发布消息的时候，首先把消息添加到内存里，然后根据刷盘的配置可以来指定是同步刷盘还是异步刷盘，来将内存中的数据同步到磁盘上。
•消息的消费者，在消费消息的时候，大多数情况下，会直接命中到内存上，不会进行磁盘读，但极个别的情况下，需要消费的消息，在内存中没法找到，这时候，就需要用换页技术，将相关的信息，拉取到内存中。为什么是相关信息，而不是需要什么拉取什么？这是有一个机制，来保证潜在的即将被消费的信息直接换入内存，来提交效率。
整体一套处理流程看下来，其实我们可以看到很多熟悉的身影，比如Mysql的索引，redis的统计信息记录等等，都非常相似。
其实，我们可以这么认为：对于信息存储和查询的处理方案大都如出一辙，只要把握住最核心的部分，然后根据实际业务诉求进行适配优化，基本都是可以达到期望的结果的。
本文由哈喽比特于2年以前收录，如有侵权请联系我们。
文章来源：https://mp.weixin.qq.com/s/Gy0A1RyweNdyb_PUTbheAA
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而，京东官方通过微博发言人发布的消息澄清了这些传言，称这些言论纯属虚假信息和蓄意捏造。
日前，据博主“@超能数码君老周”爆料，国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道，荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦（ASML）CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候，抖音悄然上线了一款名为“青桃”的 App，Slogan 为“看见你的热爱”，根据应用介绍可知，“青桃”是一个属于年轻人的兴趣知识视频平台，由抖音官方出品的中长视频关联版本，整体风格有些类似B站。
日前，威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”，同时，他发文表示：中国汽车普及率低于非洲国家尼日利亚，每百户家庭仅17户有车。意大利世界排名第一，每十户中九户有车。
近日，一项新的研究发现，维生素 C 和 E 等抗氧化剂会激活一种机制，刺激癌症肿瘤中新血管的生长，帮助它们生长和扩散。
据媒体援引消息人士报道，苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后，3D系统一度大涨超10%，不过截至周三收盘，该股涨幅回落至2%以内。
9月2日，坐拥千万粉丝的网红主播“秀才”账号被封禁，在社交媒体平台上引发热议。平台相关负责人表示，“秀才”账号违反平台相关规定，已封禁。据知情人士透露，秀才近期被举报存在违法行为，这可能是他被封禁的部分原因。据悉，“秀才”年龄39岁，是安徽省亳州市蒙城县人，抖音网红，粉丝数量超1200万。他曾被称为“中老年...
9月3日消息，亚马逊的一些股东，包括持有该公司股票的一家养老基金，日前对亚马逊、其创始人贝索斯和其董事会提起诉讼，指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息，为推广自家应用，苹果现推出了一个名为“Apps by Apple”的网站，展示了苹果为旗下产品（如 iPhone、iPad、Apple Watch、Mac 和 Apple TV）开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价，引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金（Future Fund）管理合伙人加里·布莱克发帖称，降价是一种“短期麻醉剂”，会让潜在客户等待进一步降价。
据外媒9月2日报道，荷兰半导体设备制造商阿斯麦称，尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效，但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日，根据美国证券交易委员会的文件显示，苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元（约 4.65 亿元人民币）。用于在 2023-2025 年期间，发射卫星，进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道，马斯克旗下社交平台𝕏（推特）日前调整了隐私政策，允许 𝕏 使用用户发布的信息来训练其人工智能（AI）模型。新的隐私政策将于 9 月 29 日生效。新政策规定，𝕏可能会使用所收集到的平台信息和公开可用的信息，来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日，荣耀CEO赵明在采访中谈及华为手机回归时表示，替老同事们高兴，觉得手机行业，由于华为的回归，让竞争充满了更多的可能性和更多的魅力，对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能（AI）系统，该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日，非营利组织纽约真菌学会（NYMS）发出警告，表示亚马逊为代表的电商平台上，充斥着各种AI生成的蘑菇觅食科普书籍，其中存在诸多错误。
社交媒体平台𝕏（原推特）新隐私政策提到：“在您同意的情况下，我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上，各大企业都带来了最新的理念和产品，而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品，具体内容为：“以我对我‘子公司’的了解，我认为 iPhone 15 跟 iPhone 14 不会有什么区别的，除了序（列）号变了，这个‘不要脸’的东西，这个‘臭厨子’。
