平头哥出道一年了
作者: 王海 李娜
【换言之,对于中小AI芯片厂商来说,也许芯片行业的“血雨腥风”才只是个开始,特别是在云计算领域,这是一场涉及资本与人才的全球化较量。现在来看,这场豪赌只属于大玩家。】
2018年云栖大会期间,阿里巴巴宣布成立一家独立运营的芯片公司——“平头哥半导体有限公司”。一年过去,阿里的芯片战略进展如何?
9月25日,阿里巴巴集团首席技术官兼阿里云智能总裁张建锋发布了阿里的首款AI芯片含光800,该芯片是一款云端AI芯片,属于AI推理芯片。含光800主要应用于视觉场景,已经在阿里巴巴集团内多个场景大规模应用,其他企业可以通过阿里云获得含光NPU的算力。
张建锋表示,平头哥用大概一年半的时间实现了含光800从设计到商用。
依托阿里资源
作为一个长周期的行业,要想加速芯片的商用,在硬件和软件方面都需要有很强的实力,特别是在AI时代,软硬一体化的重要性更加突显。
芯片厂商面临着技术路径的选择:CPU虽然能解决单次复杂问题,但无法支撑深度学习的大规模并行计算需求。GPU最初随着图像处理需求出现,处理大量数据并行运算、浮点运算的能力迎合了深度学习的需求,相比CPU处理速度更快、功耗更低,因此被最先引入深度学习。FPGA可以通过FPGA配置文件来定义这些门电路及存储器间的连线,从而实现特定的功能,并且可以通过配置特定的文件将FPGA转变为不同的处理器。虽然有可以多次更改的优势,但是在AI芯片的进展上不算快。ASIC则是为了特定应用而设计的集成电路,除了不能扩展以外,在功耗、可靠性、体积方面都有优势,在云端和终端上挤满了一众蓄势待发的AI厂商。
相比之下,含光800性能突破得益于软硬件的协同创新,芯片架构方面,含光800采用创新的架构,针对深度学习中使用的大量权重参数和张量数据,在支持稀疏压缩与量化处理的基础上,通过独特设计的数据访存与流水线处理技术,大大减低了I/O需求和数据的搬移。NPU同时深度优化了卷积、向量计算和各种激活函数,通过更有效的硬件资源调度和全并行的数据流处理,提升了AI运算的性能和能效。
平头哥借力于阿里在软硬件方面的积累。算法方面,阿里巴巴达摩院机器智能实验室过去两年构建了完整的算法体系,涵盖语音智能、语言技术、机器视觉、决策智能等方向,并且取得多个世界领先水平的成果;硬件方面,阿里巴巴此前已在服务器、FPGA以及存储等领域拥有多年研发经验,此外,平头哥团队在体系结构、编译技术等领域拥有深厚的技术储备。
其中,性能的提升必须解决内存墙问题。所谓的内存墙,是指采用冯诺依曼结构的处理器,存储和运算处理分离,当进行深度神经网络处理时,算力得到了提升,但大量读写运行操作会受到带宽限制,芯片的整体性能提升也同时受到限制。
平头哥的做法是通过自研架构大幅减少对内存的访问,在保证性能的情况下,把芯片功耗降到最低水平。具体而言,含光800会根据神经网络推理运算特征,设计特定的硬件、高速连接的存储结构以及专用指令集,对内存和计算单元实现高效组织管理,实现单条指令完成多个操作,提高计算效率和内存访问效率。
目前,含光800已应用于阿里巴巴集团内多个场景,例如视频图像识别/分类/搜索、城市大脑等,未来还可应用于医疗影像、自动驾驶等领域。
比如,拍立淘是手机淘宝上用图片搜索商品的一个功能,拍立淘商品库每天新增10亿商品图片,为了让用户快速从海量图片中精准搜索到商品,需要强大的计算力支撑,使用含光800搜索效率可提升12倍,时间从传统通用GPU的1小时缩减至5分钟。
“含光800芯片的设计、封装、测试等环节已完成,流片一次通过,现在在跟业务方做适配、验证的过程,预计今年年底可以完成主要业务方适配、验证的过程。”9月25日,阿里巴巴平头哥半导体公司研究员骄旸告诉第一财经记者,虽然取得了一些成绩,但要达到英伟达的水平还有一段很长的路要走。
含光800是一款云端AI芯片,后续会做PC、手机端上的芯片,用IP的形式去赋能客户。“先在云端做大芯片、技术上占领制高点,如果在云上做成了之后,客户对于公司在PC、手机等端上也会充满信心。”骄旸表示。
阿里官方表示,成立仅一年的芯片公司平头哥仅用7个月时间完成了前端设计,之后用3个月成功流片。“和绝大多数芯片商不同的是,平头哥的目的并非卖芯片,含光800将通过阿里云对外输出AI算力,未来企业可以通过阿里云获取含光800的算力。”
另外,平头哥还将成立芯片开放社区,为芯片产业提供开放协作平台。北京清微智能科技有限公司首席科学家尹首一告诉第一财经记者,这能够给终端设备提供更高算力,在与平头哥无剑芯片合作的过程中,平头哥能够在系统模块、架构等方面有一个很深的优化。“因为有了平头哥这样的平台技术,可以使得我们产品迭代的速度更快,更具竞争力。”
芯片投资成“重资产”游戏
根据高盛的统计,2017云计算的市场渗透率达到了8%,2021年渗透率将增长至15%。未来它将成为IT市场的主导。
在过去10多年里,云计算改变了IT产品的产权归属,从客户端转移到云厂商。在这个转变的过程中,整个产业链的核心环节还算稳定,依旧是英特尔、AMD、英伟达等厂商提供芯片,联想、戴尔、浪潮等厂商组装服务器,然后卖给AWS、阿里云等这样的云计算厂商,由云厂商以服务和按需消费的方式提供给最终客户。
不过过去两年间,随着人工智能的兴起,市场的风向有了变化。
从行业看,经过数十年的快速迭代发展,高速的摩尔定律已经难以实现。
过去5年,通用CPU的发展遇到了许多技术瓶颈,单核性能平均每年提升不足10%。想要进一步实现提高技术能力,在晶体管上打主意太难,需要寻找其他路径。同时,目前在先进的大规模数据中心中,服务器成本占比持续提升。以目前华为云数据中心为例,服务器成本占比已超过60%,计算正在成为数据中心的主体。也就是说,如果华为购买其他市场上的板卡,再来提供云服务,不亏都很难达到。
行业的共识是,未来云计算一定成为全社会的基础设施或者公共服务,这时就需要云计算服务做到有规模,成本低,并且使用便利。
这几年,在云计算上排名靠前的头部厂商纷纷开始投入芯片领域,尤其是AI芯片,谷歌、阿里巴巴、亚马逊AWS等云厂商都在开发用于机器学习等应用场景的芯片技术。不同的技术路径“乱花渐欲迷人眼”。
有不愿意透露姓名的分析师质疑,“含光公布的指标是IPS,一改以往算flops的习惯,P4也是几年前的产品了,AI产品对标的标的有些讨巧。”
但他也坦言,半导体需要巨头不断投入,有泡沫才有机会,才有更多的人才愿意加入。虽然与英伟达、英特尔这些芯片厂商相比,云服务厂商的AI芯片计划仍处于相对初级阶段。但芯片主要是自用,为自家的AI应用量身打造,也将更加符合自身产品的特性。
此前,华为云总裁郑叶来对记者表示,公有云未来的集中度会越来越高,以后不仅仅是玩资本的游戏,更是一个研发投资的游戏。“做B端的生意,它一定不可能去挣快钱的。未来公有云不是长板战略,说我有一个东西特别厉害。别人学你,不会的。未来的云服务一定是短板战略,哪个不行就没人学你。客户买的是一个服务。云服务首先是短板战略,你哪个东西不行你就麻烦了。”
换言之,对于中小AI芯片厂商来说,也许芯片行业的“血雨腥风”才只是个开始,特别是在云计算领域,这是一场涉及资本与人才的全球化较量。现在来看,这场豪赌只属于大玩家。