在上周举办的2019云栖大会上,阿里巴巴旗下平头哥半导体公司发布了阿里巴巴第一款芯片——含光800,号称全球最高性能AI推理芯片。
含光为上古三大神剑之一,该剑含而不露,光而不耀,正如含光800气势不显,却天下侧目。
据悉,含光800AI芯片是阿里巴巴第一款正式流片的芯片,主要应用于云端视觉处理场景,性能打破了现有AI芯片记录,性能及能效比全球第一。
据悉,含光800采用自研架构,针对深度学习中使用的大量权重参数和张量数据,在支持稀疏压缩与量化处理的基础上,通过独特设计的数据访存与流水线处理技术,大大减低了I/O需求和数据的搬移;同时深度优化了卷积,矩阵乘,向量计算和各种激活函数,通过高有效的硬件资源调度和全并行的数据流处理,把AI运算的性能和能效双双推向极致。
算法方面,阿里巴巴达摩院机器智能实验室过去两年构建了完整的算法体系,涵盖语音智能、语言技术、机器视觉、决策智能等方向,并且取得多个世界领先水平的成果;硬件方面,阿里巴巴此前已在服务器、FPGA以及存储等领域拥有多年研发经验,此外,平头哥团队在体系结构、编译技术等领域拥有深厚的技术储备。
在阿里巴巴看来,数字化升级需要具备四大关键技术:可靠易用的云、全局智能的大数据、云端一体的智联网和随时随地的移动协同。
云栖大会现场演示了该芯片在多个场景带来的全方位提升,以杭州城市大脑实时处理1000路视频为例,过去使用GPU需要40块,延时为300ms,单路视频功耗2.8W;使用含光800仅需4块,延时150ms,单路视频功耗1W;拍立淘商品库每天新增10亿商品图片,为了让用户快速从海量图片中精准搜索到商品,需要强大的计算力支撑,使用含光800搜索效率可提升12倍,时间从传统通用GPU的1小时缩减至5分钟。
阿里巴巴方面的专家表示,在人工智能场景中,含光800是传统异构计算很好地补充,通过阿里云可以为企业提供更多的选择,未来他们还会推出更多形态的人工智能芯片,在终端、云数据中心都会有更大规模的部署和应用。
阿里巴巴为什么做芯片?
阿里巴巴经济体横跨电商、金融、物流、云计算、大数据、全球化等场景,用户规模庞大,拥有丰富且高难度的计算场景、网络场景、机器学习场景,因此需要使用大量芯片。
此外,阿里坚持做芯片,还可以让其与AI和云计算三位一体,形成协同发展:人工智能算法逐渐集成到芯片,集成算法的专用芯片为云服务提供了更强的性能,而云计算本身则加速了人工智能应用的大规模落地。
含光800性能的突破得益于软硬件的协同创新,芯片架构方面,含光800采用创新的架构,针对深度学习中使用的大量权重参数和张量数据,在支持稀疏压缩与量化处理的基础上,通过独特设计的数据访存与流水线处理技术,大大减低了I/O需求和数据的搬移。
随着含光800的发布,平头哥端云一体全栈产品系列初步成型,涵盖处理器IP、一站式芯片设计平台和AI芯片,实现了芯片设计链路的全覆盖。