他表示:“含光800 NPU实例已经正式对外服务,不需要白名单就可以在阿里云实例上购买,实例名称是ebman1.24xlarge,最多支持8核NPU和96核vCPU,384G内存,网络带宽最高达到30Gbit/s,主要面向数据中心的CNN类型模型推理加速,业务包括城市大脑,图像视频审核,拍立淘等。”
更引人关注的是含光800在具体应用中的表现。
含光800未对外发售,性能通过阿里云输出
科技巨头自研芯片是因为有大量数据,在内部的AI需求推动下,希望通过自研芯片来提升效率和性价比。周五的线上分享中,龙欣也表示,阿里巴巴内部有广阔的AI应用,包括电商应用、视觉应用、语音交互、自然语言理解、机器翻译等。
一个典型的例子就是拍立淘,两千多万的日活用户在使用这项功能的时候,要透过一张图片,在4亿多的商品中搜索,在30多亿张图片多库中进行匹配,根据用户的使用习惯进行个性化推荐,这就需要很强的AI能力。
阿里云异构计算产品研发总监龙欣
因此,阿里希望通过自研的含光800从硬件到软件的方案提升性价比。做个简单的回顾,含光800在硬件方面有三个方面的特色,包括:
深度优化CNN及视觉类算法
高能效、低延时
指令集支持可编程模型扩展
除INT8/INT16量化加速外,也覆盖FP16/BFP16的向量计算除直接加速各种ReLu、 Sigmoid、Tanh等,也可支持未来新型激活函数
也就是说,含光800的硬件特别针对CNN算法模型进行设计,但也保持一定的灵活性,再匹配全栈的软件支持在特定应用和算法中实现高性价比。去年张建锋发布含光800时说,“在业界标准的ResNet-50测试中,含光800推理性能达到78563 IPS,比目前业界最好的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍。”
不过龙欣在昨天的分享中并没有提及含光800的峰值性能,而是强调其可用性。他表示,“含光800作为并没有在公开市场发售的芯片,通过阿里云输出。”
为了让含光800能够开箱即用,阿里云让购买实例的用户可以自动安装NPU驱动和SDK,系统方面支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04,还预装主流深度学习框架,提供TensorFlow、MXNet示范教程。
龙欣强调,含光800的应用主要是在数据中心和大型端上,以CNN类模型推理加速为主,可扩展到其他DNN模型中。目前在具体的应用中相比GPU有4-11倍性能提升。
含光800在三大AI应用中4-11倍的性能提升
去年含光800发布时给出的数据是,在城市大脑中实时处理杭州主城区交通视频,需要40颗传统GPU,延时为300ms,使用含光800仅需4颗,延时降至150ms。拍立淘商品库每天新增10亿商品图片,使用传统GPU算力识别需要1小时,使用含光800后可缩减至5分钟。
昨天的分享中,龙欣给出的最新数据是,在行人检测应用中,4核含光800克支持100路视频,比主流GPU 25路的推理性能提升4倍。在车辆检测中,同样是4核含光800,可以支持85路视频,比主流GPU支持10路推理性能提升了8.5倍。
在直播、短视频、商品信息流等内容识别应用中的ResNet50 V2模型中,含光800(4核)的帧率可以达到20000 FPS,比主流推理GPU的1800 FPS性能提升11倍,性能加速比11倍。在Inception V4模型中,含光800(4核)的处理帧率达到5000 FPS,比主流推理GPU的460FPS性能加速比高10.8倍。
还有,在直播、点播、短视频等视频质量增强中。4核含光800的直播视频增强性能为500 FPS,对比主流推理GPU的50 FPS,性能加速比是10倍。在点播HDR中,4核含光800多性能是66 FPS。龙欣说:“点播HDR需要用到性能比较强的训练GPU,比如英伟达A100,但即便如此其性能智能达到10 FPS,我们可以实现6.6倍的性能加速比。”
至于在语音交互、自然语言理解等语言方面的应用实例优势,龙欣并未在今年的云栖上给出数据。
小结
相对于含光800在去年云栖备受关注的亮相,今年云栖对含光800的关注度并不高,龙欣的介绍也只有15分钟,还包含了许多去年已经公开的消息。含光800的实际应用优势,应该是当下许多人关注的,但此次的分享给出的场景还没有十分丰富,介绍的也比较简单。这可能是由于目前紧张的贸易关系让阿里对于芯片相关的话题更加谨慎。
但更应该看到的是,即便有强大的团队能够快速设计出一款芯片,但要大规模落地仍然需要很长的时间,这个过程软件发挥着更加直接的作用,获得客户的认可和采用也并非易事。阿里的芯片路,依旧还只是开始阶段。
那么,阿里的下一代AI芯片会在什么时候推出呢?
访问:
京东创始人刘强东和其妻子章泽天最近成为了互联网舆论关注的焦点。有关他们“移民美国”和在美国购买豪宅的传言在互联网上广泛传播。然而,京东官方通过微博发言人发布的消息澄清了这些传言,称这些言论纯属虚假信息和蓄意捏造。
日前,据博主“@超能数码君老周”爆料,国内三大运营商中国移动、中国电信和中国联通预计将集体采购百万台规模的华为Mate60系列手机。
据报道,荷兰半导体设备公司ASML正看到美国对华遏制政策的负面影响。阿斯麦(ASML)CEO彼得·温宁克在一档电视节目中分享了他对中国大陆问题以及该公司面临的出口管制和保护主义的看法。彼得曾在多个场合表达了他对出口管制以及中荷经济关系的担忧。
今年早些时候,抖音悄然上线了一款名为“青桃”的 App,Slogan 为“看见你的热爱”,根据应用介绍可知,“青桃”是一个属于年轻人的兴趣知识视频平台,由抖音官方出品的中长视频关联版本,整体风格有些类似B站。
日前,威马汽车首席数据官梅松林转发了一份“世界各国地区拥车率排行榜”,同时,他发文表示:中国汽车普及率低于非洲国家尼日利亚,每百户家庭仅17户有车。意大利世界排名第一,每十户中九户有车。
近日,一项新的研究发现,维生素 C 和 E 等抗氧化剂会激活一种机制,刺激癌症肿瘤中新血管的生长,帮助它们生长和扩散。
据媒体援引消息人士报道,苹果公司正在测试使用3D打印技术来生产其智能手表的钢质底盘。消息传出后,3D系统一度大涨超10%,不过截至周三收盘,该股涨幅回落至2%以内。
9月2日,坐拥千万粉丝的网红主播“秀才”账号被封禁,在社交媒体平台上引发热议。平台相关负责人表示,“秀才”账号违反平台相关规定,已封禁。据知情人士透露,秀才近期被举报存在违法行为,这可能是他被封禁的部分原因。据悉,“秀才”年龄39岁,是安徽省亳州市蒙城县人,抖音网红,粉丝数量超1200万。他曾被称为“中老年...
9月3日消息,亚马逊的一些股东,包括持有该公司股票的一家养老基金,日前对亚马逊、其创始人贝索斯和其董事会提起诉讼,指控他们在为 Project Kuiper 卫星星座项目购买发射服务时“违反了信义义务”。
据消息,为推广自家应用,苹果现推出了一个名为“Apps by Apple”的网站,展示了苹果为旗下产品(如 iPhone、iPad、Apple Watch、Mac 和 Apple TV)开发的各种应用程序。
特斯拉本周在美国大幅下调Model S和X售价,引发了该公司一些最坚定支持者的不满。知名特斯拉多头、未来基金(Future Fund)管理合伙人加里·布莱克发帖称,降价是一种“短期麻醉剂”,会让潜在客户等待进一步降价。
据外媒9月2日报道,荷兰半导体设备制造商阿斯麦称,尽管荷兰政府颁布的半导体设备出口管制新规9月正式生效,但该公司已获得在2023年底以前向中国运送受限制芯片制造机器的许可。
近日,根据美国证券交易委员会的文件显示,苹果卫星服务提供商 Globalstar 近期向马斯克旗下的 SpaceX 支付 6400 万美元(约 4.65 亿元人民币)。用于在 2023-2025 年期间,发射卫星,进一步扩展苹果 iPhone 系列的 SOS 卫星服务。
据报道,马斯克旗下社交平台𝕏(推特)日前调整了隐私政策,允许 𝕏 使用用户发布的信息来训练其人工智能(AI)模型。新的隐私政策将于 9 月 29 日生效。新政策规定,𝕏可能会使用所收集到的平台信息和公开可用的信息,来帮助训练 𝕏 的机器学习或人工智能模型。
9月2日,荣耀CEO赵明在采访中谈及华为手机回归时表示,替老同事们高兴,觉得手机行业,由于华为的回归,让竞争充满了更多的可能性和更多的魅力,对行业来说也是件好事。
《自然》30日发表的一篇论文报道了一个名为Swift的人工智能(AI)系统,该系统驾驶无人机的能力可在真实世界中一对一冠军赛里战胜人类对手。
近日,非营利组织纽约真菌学会(NYMS)发出警告,表示亚马逊为代表的电商平台上,充斥着各种AI生成的蘑菇觅食科普书籍,其中存在诸多错误。
社交媒体平台𝕏(原推特)新隐私政策提到:“在您同意的情况下,我们可能出于安全、安保和身份识别目的收集和使用您的生物识别信息。”
2023年德国柏林消费电子展上,各大企业都带来了最新的理念和产品,而高端化、本土化的中国产品正在不断吸引欧洲等国际市场的目光。
罗永浩日前在直播中吐槽苹果即将推出的 iPhone 新品,具体内容为:“以我对我‘子公司’的了解,我认为 iPhone 15 跟 iPhone 14 不会有什么区别的,除了序(列)号变了,这个‘不要脸’的东西,这个‘臭厨子’。