△ 如果是有损压缩画质会下降(右图天空有波纹)
所以在数字时代这几十年里,萌生出了很多相关的技术,比如 JPEG、H.26X。
不过你或许不知道,这些技术往上追溯,可以从 47 年前说起。
有三位名不见经传的印度工程师“一意孤行”,在没申请到研究经费的情况下,利用暑假时间鼓捣出来了一项技术,后来直接成为图像视频压缩的行业标准。
它就是 DCT。
全称为 Discrete Cosine Transform,即离散余弦变换。
而有趣的是,DCT 诞生之初时,就连作者本人都没有想到,它后来会有如此巨大的影响力。
没有 DCT,就没有 JPEG / MPEG
直接说 DCT 可能很多人不知道是什么,但 JPEG 大家肯定都听过。
它除了是一种常见的图片文件后缀名,其实也是一种有损压缩标准,可以把一张图片从左边这样变成右边这样:
ps.有损和无损的区别:无损压缩可以再 100% 还原图像;有损不可以,但有损压缩后的图像大小会大大减少。
DCT 就是实现这个过程的一种基础技术。
它是傅立叶变换的一种,可以将图像从空域转换到频域,也就是把图像从像素矩阵变成用带有频率等信息的函数来表示。
具体变换过程,我们以一张图像中一个 3x3 的像素块为例:
△ 图源博客园博主 @沉默的背影 X-Pacific
对这个像素块做 DTC 变换,就相当于把除了第一个像素以外,其余像素的部分信息都抽取到第一个格中。
这样,第一个格的像素值表示的就是一张图的总体样貌,称为低频信息;其余格表示的就是图像中人物或物体的细节,称为高频信息。
经 DCT 转换后,每个 3x3 的像素块都会产生 1 个 DC(直流)系数(位于第一个格)及 8 个 AC(交流)系数(剩余格),前者是 DCT 最重要的输出。
由于大部分的图像能量会集中在低频部分,因此转换之后输出的 DC 系数值比较大,而输出的 AC 系值比较小。
利用“人眼对低频分量的图像比对高频分量的图像更敏感”这一原理,再通过量化保存下来低频分量,舍弃高频分量(将大部分 AC 系数值变为 0)、丢掉那些对视觉效果影响不大的信息,从而达到压缩目的。
从下面这两张图像的三维投影,我们可以看到 DCT 变换带来的改变:
(上:原图;下:经过 DCT 变换后)
在实际的 JPEG 压缩标准中,都是将一张图像分成若干个 8x8 的像素块(不够的用空白补齐)。
将色彩空间从 RGB 转为 YUV 之后,从左至右、从上至下对每个块进行 DCT 变换。
然后对每个块变换得来的系数进行量化,在这个过程中,一些重要的分量就被去除了,且无法恢复。
因此,这是一种不可逆的有损压缩技术。
接着对量化后得到的 AC 系数和 DC 系数再分别进行编码,经过哈夫曼编码后得到下面这样的一大串数字。
解压缩时对每个图像块做 DCT 反转换(IDCT),就可以重建完整图像。
具体计算过程如下:
首先将图片中每个像素的原始灰度和亮度值用 8bit 表示,也就是 (0,255) 这个范围。
由于大多数值都会分布在 128 左右,所以会将这些值都减去 128,这样会有更多值为 0,有利于压缩,这时候范围变成 (-128,127)。
然后再用 DCT 变换公式进行变换,二维的用这个:
变换完后进行根据量化表进行量化,将大部分系数变为 0,完成压缩。
ps.量化表是根据人眼对量化误差的视觉阈值来确定的,有固定的一张表。
后面就是前面说的一系列编码过程了。
1974 年 1 月,这项技术首次被发表在 IEEE Transactions on Computers 上面。
自此,图像和视频压缩领域的行业标准就诞生了。
1998 年世界首个视频压缩标准 H.261、1992 年的 JPEG 和 MPEG、2010 年的 WebP、2013 年的 HEIF、2018 年谷歌亚马逊等公司联合创建的 AV1…… 等压缩标准都是基于这项技术,且一直沿用至今。
40 多年都名不见经传的发明者
DCT 的作者有 3 位,分别是 Nasir Ahmed(纳西尔・艾哈迈德)、K.R. Rao(K.R.拉奥)和 T. Natarajan(T.纳塔拉詹)。
纳西尔是新墨西哥大学电气与计算机工程系名誉教授。
他 1940 年出生于印度班加罗尔,1966 年在新墨西哥大学获得博士学位。
1966-1968 年,他在霍尼韦尔公司担任首席工程师,1968-1983 年在堪萨斯州立大学担任教授。
1983-2001 年,他回到新墨西哥大学担任电气与计算机工程系首席教授。在此期间,他先后担任过系主任、研究生院院长等职位。
今年,纳西尔已经有 82 岁高龄。
另一位主要作者是 K.R.拉奥。
他同样是一位美籍印度裔学者。
1960 年,他在佛罗里达大学获得核工程专业博士学位。1966 年,又在新墨西哥大学获得电气与计算机工程专业博士学位。
之后 50 年,他一直在得克萨斯州阿灵顿分校工作,担任电气工程系教授。
与此同时,他还是 IEEE Fellow。
2021 年 1 月 15 日,拉奥教授挥别人世,享年 89 岁。
T.纳塔拉詹当时是纳西尔带的博士生,如今在互联网上已经检索不到太多他的相关信息。
可以说相比于大名鼎鼎的 DCT,几位发明者称得上是“名不见经传”了。
实际上,40 多年来,DCT 发明的幕后故事一直鲜有人关注。
甚至连纳西尔的儿子都表示,“从来没想过父亲带来的影响有如此之大”。
而将纳西尔从幕后推至台前的,还多亏了一部美剧中的一波致敬。
2020 年,《我们的生活》中有一段剧情是纳西尔以视频通话的方式,讲述了自己和妻子相爱的故事。
片方表示,设计这一桥段的初衷,就是希望更多人意识到,当下我们能够通过互联网快速发送图片视频,都与纳西尔的工作离不开关系。
剧情播出后,不少媒体将 DCT 定义为“改变世界的算法”,也称纳西尔这位名不见经传的工程师,终于从幕后推到了台前。
不过,纳西尔在自己的回忆视频里表示,当初真的没想到 DCT 会带来如此大的影响。
我也无法预测技术发展的速度,对于 FaceTime 这些应用的出现,我感到非常惊讶。
△ 纳西尔年轻时(图左)
要知道,DCT 最初可能差一点就被扼杀在了摇篮里。
1972 年,当时已经对 DCT 初有构思的纳西尔向美国国家科学基金会(NSF)递交了一份申请,希望 NSF 能为他研究 DCT 提供资金支持。
不过令纳西尔惊讶的是,这个申请直接被毙掉了,评审人给出的意见是“它太简单了”。
但好在纳西尔并没有放弃,他始终觉得这个 idea 很有新意。
唯一令他有所顾虑的是,他可能是只能利用假期来完成 DCT 的相关工作了,而且这期间可能没有任何收入。
所以,纳西尔回家和妻子说:
我有直觉,这事儿值得做下去。只不过我们需要计划好如何度过一个没有薪水的暑假。
妻子没有任何犹豫就支持了他。
于是,在 1973 年的夏天,DCT 的研究工作正式开始了。
参与到这项研究的,还有纳西尔的好友拉奥和博士生纳塔拉詹。
拉奥也是支持纳西尔研究 DCT 的重要人物之一。
在纳西尔的申请被毙掉后,他第一时间把自己的想法告诉了好友拉奥。
拉奥给出了这样的回复:
你要立即把这些结果以短文的形式发表。
这就是“How I Came Up with the Discrete Cosine Transform”诞生的始末。
后来,这篇文章几乎称得上是图片视频压缩领域的必读之文。
之后的故事,也就是我们所熟知的了。
1974 年,《Discrete Cosine Transform》在 IEEE Transactions on Computers 上发表。
截至目前,这篇文章的被引次数已经达到 5878 次。
纳西尔曾在采访中表示,自己人生中最大的礼物,就是人们对 DCT 的认可。
参考链接:
[1]https://spectrum.ieee.org/krrao-tribute
https://www.islamicity.org/80703/nasir-ahmeds-algorithm-that-transformed-the-world/
[2]https://cloud.tencent.com/developer/article/1862531
[3]https://mp.weixin.qq.com/s?__biz=MzU1NTEzOTM5Mw==&mid=2247512538&idx=1&sn=57f46386002cf5554681f8ef9f61a3e0&chksm=fbda19f4ccad90e219bf224db522e9999086dff886bae09562e1aeba4450d4ba0247a73c3138&scene=21#wechat_redirect
[4]https://blog.csdn.net/freee12/article/details/109953732
[5]https://blog.csdn.net/weixin_52779958/article/details/124413405
[6]https://www.youtube.com/watch?v=I9VXaVVs7W
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。
日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。
日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。
近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。
据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。
9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...
9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。
据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。
社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。