最熟悉的陌生人系列,将带你快速理解熟悉的名词如:HTTP2、HTTP3、IPV6、BBR等。
通读 90 年代上下的论文,你会发现,在已经基本建成的计算机科学大厦中,后辈码农只要做一些零星的修补工作就行了。
在计算机科学晴朗天空的远处,还有几朵令人不安的小小乌云。
——皓尼・郝里斯(HioHio)
而其中一朵小小乌云,就是前辈的协议制定实现得太牢靠了,就算有着诸多不足,还是用的好好的,让后辈没什么动力去创新替换。。
在阅读此章时,读者可以给自己一个思考时间,锻炼设计与思考能力—— 目前在用的 HTTP 协议,你认为有哪些不足呢?你可以重新设计一个替代它并且尽可能兼容的协议,你会怎么做呢?
可尝试自己写下设计,定会受益甚多。
HTTP1.0
只允许一条 tcp 链接上处理一个 request,尽管后来的 HTTP1.1
(现在常用的版本)允许 pipelining
, 管道,通过这个管道,浏览器的多个请求可以同时发到服务器,但是服务器的响应只能够一个接着一个的返回 (但各大浏览器有些不支持 / 默认关闭,因此这功能可以说是鸡肋)。
Host
、Accept-Encoding
、Connection
、origin
、content-type
等等一堆头部,都在不同的请求中重复出现。
除了浪费大量流量,还会导致 TCP
的初始拥塞窗口(initcwnd
)快速满了,当多个请求准备在同一个tcp 连接上发送时,会导致大量延迟——当 initcwnd >= ssthresh(slow start threshold)
时,tcp就会进入 “拥塞避免算法”,把发送的速度调慢,避免增长过快导致网络拥塞,慢慢的增加调整到网络的最佳值。
当然初始拥塞窗口(initcwnd)也不能调太大来避免。
If the initcwnd values is large, then there will be fewer RTTs required to download the same file. But we cannot set initcwnd to a huge value as the network environment and the routers also has the limitation of having limited buffers. If exceedingly large values are set, it may lead to router buffer overflows, packet loss, packet re-transmissions. So, we need to set an optimal value for the initcwnd which is directly proportional to the network bandwidth.
文本协议尽管带来了可读性以及方便程序员 debug,但这是高性能网络程序要竭力避免的——君不见每个公司内部都要搞一个自己的二进制协议吗?二进制,每个在网络上交流的 bit 的意义都被发挥得淋漓尽致。
而说到 可读与debug 的问题,自然浏览器(客户端),服务器(框架)可以帮你解决,套上一层中间层就好。
HTTP2
, 为解决以上问题而生。
•允许多个 request/response在同一个 tcp 链接上发送•高效压缩头部(http header)•二进制协议,真正的多路复用•还有自己的流量控制,保证各个 stream不被互相干扰;•支持请求分优先级发送,优先级越高如核心 css、html,优先发给客户端•支持服务器预测并推送客户端可能需要的资源,让客户端先做缓存(server push),榨干服务器•兼容 HTTP1.1 的语义,尽可能一致。
其实平常我们在用的网站都支持 HTTP2 了,如
•国外的 google.com
、tour.golang.org
、facebook.com
、stackoverflow.com
、shopee.sg
•国内的 zhihu.com
(点赞)、v2ex.com
、vgtime.com
(我擦,这个做的UI看起来有点渣的游戏资讯网站竟然支持你敢信,人家gcores 都不支持)、youku.com
而想找一些不支持的,找一些小型网站就好,如 yonghaowu.github.io
、gcores.com
,douban.com
、bilibili.com/
,还有臭名昭著的 baidu.com
当然,这里说不支持时,只是说这个域名不支持,他可能 api 是用另外的域名然后是支持的。
兼容,或者说客户端要求升级到 HTTP2,主要有两种方法:
•客户端的 HTTP header
的 Upgrade
指定 h2c
(HTTP/2 ClearText
)
•如你所知,Connection: Upgrade
与 Upgrade: websocket
,Websocket 就是这样子变换协议的;
•ALPN(Application Layer Protocol Negotiation,应用层协议协商)
, TLS 的扩展功能
•客户端在建立 TLS 连接的 Client Hello 握手中,通过 ALPN 扩展列出了自己支持的各种应用层协议•如果服务端支持 HTTP/2,在 Server Hello 中指定 ALPN 的结果为 h2
就可以了•如果服务端不支持 HTTP/2,从客户端的 ALPN 列表中选一个自己支持的即可
而一般你看现在的网站请求,都用第二种方式了,因为第一种方式服务端接收到后还需要返回 101状态码 Switching Protocols
告知客户端,客户端再发送 http2 的数据。
HTTP2中二进制协议的基本单元叫 frame(帧),不同frame 有不同作用,如:
•SETTING
帧:建立连接时,向对方传达一些配置信息如是否开启 server push 功能、最大帧 size等等(牢记,下文不累述此);•HEADERS
帧:发送 http 的 request 或者response的头部;•CONTINUATION
帧:headers 要跨越多个帧,用此来指示头部上一个 HEADERS
;本质就是 HEADERS
帧,但是为了轻松处理,就用明确的类型来区分这种情况;•DATA
帧:发送body数据用;•PUSH_PROMISE
帧:用来告知对端初始化哪些数据,就是以上说到的 server push
功能•WINDOW_UPDATE
帧:用来做流量控制
等。
帧的格式如下,熟悉二进制协议的你对此想必很清晰:
+-----------------------------------------------+
| Length (24) |
+---------------+---------------+---------------+
| Type (8) | Flags (8) |
+-+-------------+---------------+-------------------------------+
|R| Stream Identifier (31) |
+=+=============================================================+
| Frame Payload (0...) ...
+---------------------------------------------------------------+
•length
: frame payload
的长度;•type
:frame
的类型;•flag
:保留给 frame
的类型使用;•R
:保留的一个 bit,没有任何作用;•Stream Identifier
:unsigned 31 位整数 id
,用来区分 stream;•Frame Payload
: frame 携带的可变长数据,可为空;
以上 6 种东西,Frame Payload
可以没有,但是其他必须有。
所以所有 frame 必定会有至少 24 + 8 + 8 + 1 + 31 + (0…) = 72 位
的数据。
一个经典的 http 请求在 http2 中对应如下,可以看到 HEADERS
跟 DATA
两个 frame:
值得注意的是,当 data 过大的时候,http2 的 rfc 没有规定 data frame 应该拆分与否(翻了一大堆资料都没有找到)。
然而去用一些工具如nghttp去看详细过程,可看到 data frame 都是拆开一个个的,原因就是为了多路复用。这
$ nghttp -v -n --no-dep -w 14 -a https://www.vgtime.com
[ 0.063] recv (stream_id=9) eagleid: 2ff6019a15691588216324974e
[ 0.063] recv (stream_id=9) content-encoding: gzip
[ 0.063] recv HEADERS frame <length=188, flags=0x04, stream_id=9>
; END_HEADERS
(padlen=0)
; First response header
[ 0.063] recv DATA frame <length=8192, flags=0x00, stream_id=9>
[ 0.063] recv DATA frame <length=464, flags=0x00, stream_id=9>
[ 0.063] recv DATA frame <length=2510, flags=0x00, stream_id=9>
[ 0.063] recv DATA frame <length=10, flags=0x01, stream_id=9>
; END_STREAM
所以一个大的请求如下图,常见的帧就是每一个 Frame Header
接一个 Frame Body
。
帧的大小范围规定为 2的14次方 (16,384)
到 2的24次方-1 (16,777,215)
字节,也就是大概 16KB 到 16MB
。
但若双方没有协议,一般默认为 16Kb,假如 HEADERS
帧不够装完头部时,就用第二个 CONTINUATION
帧来装,
所以你看到可以有多个 CONTINUATETION
帧下有省略号,因为可以有多个。
流在HTTP2 一条连接中,在客户端与服务端之间,双向交换帧(frame)。
简单说,客户端与服务端之间相互发送的帧,都通过一个个独立流来传输,多个流可以在同一http2 连接中并发,而每个流都有一个 ID(Stream Identifier),frame 就是通过此来识别流。
流你可以理解为一个抽象概念,就是为了区分不同的请求,用于多路复用。
流的状态机如下:
我们常见的 HTTP 请求就是走黄色的线:
idle
状态 -> 发送 HEADER
帧后变成 OPEN
-> 发送完数据后发送 END_STREAM
代表发完 -> 变成 half closed
状态 -> 等待对方发送END_STREAM
代表对方发完 。
你会发现这个流程非常像 TCP 的四次挥手
,因为本质都是自己关闭流后,要等待对方关闭并自己来确认。
当然,也会有像四次挥手一样的 RESET
一样 reset stream 的功能
,我就不累述了。
HTTP2 的Stream有流量控制功能,HTTP2 的接收方通过 WINDOW_UPDATE[1] 帧告诉对方自己准备接收多少字节的数据,注意只有 DATA 帧
才会受限制,因为其他帧都不大,而且也比较重要。
客户端可以在开启一个流时,通过设置在 HEADER 帧
里的 PRIORITY
这个 flag,来指定流的优先级。这样子就可以做到优先级越高如核心 css、html,优先发给客户端
HTTP2
打破了以往 HTTP1
一问一答的范式,允许服务器主动往客户端推数据了,但值得注意的是,这依然不能代替 Websoket
,两者是不等价的,除非你自己重新实现 http2 客户端服务端的功能——也就是改 HTTP2 协议了。
服务器可以通过 PUSH_PROMISE
帧,把预估客户端可能需要的资源,在其没有请求前直接发送给对方,让对方缓存。如下图就直接发了 styles.css
给对方。
HPACK
就是专门用来处理重复冗余的头部的,对这个优化,自然就想到查表法——客户端发送请求前,在内部创建一个哈希表,索引对应着头部与值,并将此对应表发送供给服务器;服务器首次接收到后,也维护一个一模一样的表,之后有重复头部时,客户端直接发索引值即可。
拖拖拉拉,写了一两周总算把这篇学习笔记写完了,相比网上很多文章或者书籍(比如网上很多人没讲明白流是什么,frame 如何分段等),我觉得这篇笔记是系统性的且非常符合不熟悉 HTTP2 的同学理解它是什么的。
有很多知识是精简了的,以后看读者反馈再补充。
本文由哈喽比特于3年以前收录,如有侵权请联系我们。
文章来源:https://mp.weixin.qq.com/s/G-9MKh4B6BW8U_b8zea3Rg
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。
日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。
日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。
近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。
据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。
9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...
9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。
据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。
社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。