|
8月28日在北京进行的2019人工智能计较大会(AICC2019)上,海潮公布开源宣布基于FPGA的高效AI计较框架TF2,这一框架的推理引擎回收全球创始的DNN移位计较技能,团结多项最新优化技能,可实现通用深度进修模子基于FPGA芯片的高机能低延迟陈设,这也是全球首个包括从模子裁剪、压缩、量化到通用模子实现等优化算法的完整方案的FPGA上AI开源框架,项目开源网址为https://github.com/TF2-Engine/TF2。据悉今朝已有快手、上海大学、华大智造、远鉴科技、睿视智觉、华展汇元等多家公司或研究机构插手TF2开源社区,社区将配合敦促基于可定制芯片FPGA的AI技能的开源开放相助成长,低落高机能AI计较技能门槛,辅佐AI用户和开拓者缩短开拓周期。 当前,可定制、低延迟、高机能功耗比的FPGA技能成为许多AI用户陈设推理应用的选择,但FPGA开举事度大、周期长,难以适应快速迭代的深度进修算法应用需求。TF2可快速实现基于主流AI练习软件和深度神经网络模子DNN的FPGA线上推理,辅佐用户最大限度的发挥FPGA计较本领,实现FPGA的高机能、低延迟陈设。同时TF2计较架构也可以快速实现AI芯片级设计和机能验证。
TF2计较加快流程 TF2由两部门构成。第一部门是模子优化转换东西TF2 Transform Kit,可将颠末PyTorch、TensorFlow、Caffe等框架练习获得的网络模子数据举办压缩、裁剪、8位量化等操纵,淘汰模子计较劲。如对付ResNet50模子,通过压缩32位浮点模子为4位整数模子、通道裁剪,可将模子文件裁剪掉93.75%,险些无精度损失并保持原始模子的根基计较架构。第二部门是FPGA智能运行引擎TF2 Runtime Engine,可将已优化转换的模子文件自动转化为FPGA方针运行文件,通过创新的DNN移位计较技能大幅晋升FPGA做推理计较的机能,并有效低落其实际运行功耗。TF2已完成在ResNet50、FaceNet、GoogLeNet、SqueezeNet等主流DNN模子上的测试验证。在海潮F10A FPGA卡上回收FaceNet模子对TF2举办的测试(BatchSize=1)表白,运行TF2后单张图片的计较耗时为0.612ms,提速12.8倍。 同时,海潮开源的项目中还包罗TF2的软件界说的可重构芯片设计架构。此架构完整支持当前CNN网络模子的开拓,并可快速移植使其支持Transformer、LSTM等网络模子开拓。以此架构为基本,可进一步实现ASIC芯片开拓原型设计。
开源的FPGA芯片级设计 按照海潮发布的开源社区建树打算,海潮将一连投入对TF2举办更新,将开拓开源自动模子理会、布局性裁剪、任意比特量化、基于AutoML的裁剪和量化等新成果,支持稀疏计较、Transformer网络模子、NLP通用模子等。另外,社区将按期进行开拓者集会会议和线上果真课,分享最新技能希望和履历成就,并通过高校教诲打算造就开拓者,同时开展用户移植方案拟定和开拓技能支持。 海潮团体AI&HPC总司理刘军暗示:“AI应用陈设涵盖云端、边端、移动端,需求很是多样,TF2可极大晋升跨端应用陈设的效率,快速适应差异场景下模子推理需求。接待宽大AI用户和开拓者插手TF2开源社区,配合加快AI应用陈设,敦促更多AI应用落地。” 海潮是人工智能计较的率领品牌,AI处事器中国市场份额保持50%以上,并与人工智能领先科技公司保持在系统与应用方面的深入细密相助,辅佐AI客户在语音、语义、图像、视频、搜索、网络等方面取得数量级的应用机能晋升。海潮与相助同伴共建元脑生态,共享AI计较、资源与算法三大焦点平台本领,助力行业用户开拓并陈设属于本身的“行业大脑”,加快推进财富AI化落地。 |
