“HyGCN,寓意向图神经网络的加速说’Hi’。”来自中国科学院计算技术研究所的研究团队提出图神经网络加速芯片设计“HyGCN”!
近日,《中国计算机学会通讯》(CCCF)刊发了中科院计算所特别研究助理严明玉、研究员范东睿以及研究员叶笑春共同撰写的综述文章《图神经网络加速芯片:人工智能“认知智能”阶段起飞的推进剂》。文章披露,该团队提出了图神经网络加速芯片设计“HyGCN”。相关论文也先后在计算机体系结构国际会议MICRO和HPCA上发表。
严明玉介绍道,图神经网络将深度学习算法和图计算算法相融合,取长补短,能达到更优的认知与问题处理等能力,在搜索、推荐、风险控制等重要领域有着广泛应用,但现有的处理器芯片在执行图神经网络的计算中效率低下。其团队前瞻性地展开面向图神经网络的加速芯片设计,为解决这一难题提供了可行方案。
让机器“会思考” 设计中“增引擎”
作为近年来新兴的一种智能算法,图神经网络不仅在学术界被高度重视,也已然成为近年来工业界非常重要的应用之一。而图神经网络能够备受学术界和工业界的青睐,要归功于其强大的数据和知识理解能力,以及关系推理能力。
图神经网络被认为有望解决深度学习无法处理的关系推理、可解释性等一系列问题,让机器“能理解、会思考”。然而由于图神经网络在图数据处理方面的特殊性,传统用于加速神经网络的芯片难以直接对图神经网络的执行提供高效计算支撑。
严明玉解释说,以图数据为输入,融合了深度学习算法和图计算算法的图神经网络具有与传统神经网络不一样的执行行为,即“混合执行行为”。这对现有的处理器结构带来巨大挑战,比如GPU在应对不规则执行行为时极为低效。
“为了应对图神经网络的混合执行行为,我们设计了新的处理器结构,以更高效地加速图神经网络的执行。”严明玉说,HyGCN芯片基于混合结构设计思想,分别为图神经网络的两个主要执行阶段——图遍历阶段和神经网络变换阶段设计相应的加速引擎。
研究团队实践证明,HyGCN芯片设计能够有效应对图神经网络图遍历阶段的不规则性,并能利用神经网络变换阶段的规则性提高执行效率。
“我们基于12nm工艺,对HyGCN的芯片设计的核心部件在主流的图神经网络模型和图测试数据集上进行了初步的评估。”严明玉介绍说,相对于运行在Intel至强服务器CPU和英伟达V100 GPU的先进图神经网络软件框架,HyGCN分别取得了数万倍和60余倍的能效提升。
目前是“无人区” 正加快布局
“图神经网络加速芯片目前在国际上还是‘无人区’,研究成果发表后得到了业界认可。”严明玉受访时说,目前中科院计算所正加快对HyGCN科技成果进行孵化,提升关键核心技术能力,推动各行各业从信息化向智慧化升级。
图神经网络在日常交通预测、网约车调度、金融诈骗侦查、运动检测等场景,在助力科研的知识推理、化学研究、宇宙发现等领域,以及在知识图谱、视觉推理、自然语言处理中的多跳推理等学科发展方向上,都有极大应用空间。
在工业界,图神经网络也已经有了落地应用。比如,谷歌地图的ETA评估、图片社交网站Pinterest的内容推荐、阿里巴巴的风控和推荐、腾讯等公司的视觉和风控等业务中都有图神经网络的影子。
根据Allied Market Research 发布的机器学习芯片市场报告显示,2022年机器学习芯片市场规模预计将达到 827.2 亿美元。图神经网络加速芯片有望在接下来3年内与现有的神经网络芯片共生,甚至在5年后替换大部分的神经网络学习芯片,成为主流的机器学习芯片。
(Author)
声明:本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。如果您发现网站上所用视频、图片、文字如涉及作品版权问题,请第一时间告知,我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容,以保证您的权益!联系电话:010-58612588 或 Email:editor@mmsonline.com.cn。
- 暂无反馈