一文详解 Arm 为何能成为适用于各类 AI 工作负载

科技 [db:作者] 浏览

小编:[db:摘要]

对人工智能 而言,任何单一硬件或盘算组件都无奈成为合适各种任务负载的全能处理计划。AI 贯串从云端到边沿侧的全部古代盘算范畴,为了满意差别的 AI 用例跟需要,一个能够机动应用 CPU、GPU 跟 NPU 等差别盘算引擎的异构盘算平台必弗成少。本文援用地点:依靠于 Arm CPU 的机能、能效、遍及性、易于编程性跟机动性,从小型的嵌入式装备到年夜型的数据核心,Arm CPU 曾经为种种平台上的 AI 减速奠基了基本。就机动性而言,这对生态体系年夜有裨益的三个重要起因是,起首, Arm CPU 能够处置普遍的 AI 推理用例,此中很多用例平日用于数十亿台装备,比方当今的智妙手机 、云跟数据核心。不只如斯,除了推理之外,CPU 还常常用于技巧栈中的数据预处置跟编排等其余义务。其次,开辟者可能在更多品种的数据格局中运转更普遍的软件,而无需构建多个版本的代码。最后,CPU 的机动性使之成为减速 AI 任务负载的幻想东西。供给多样性跟抉择,助力行业机动安排 AI 盘算除了 CPU 产物组合外,Arm 盘算平台还包含 GPU 跟 NPU 等 AI 减速器技巧,很多市场都在将这些技巧与 CPU 停止集成。在挪动端范畴, Arm 终端盘算子体系 (CSS) 包括 Armv9.2 CPU 集群 ,并与 Arm Immortalis-G925 GPU 集成,可为种种 AI 用例供给减速功效,包含图像宰割、工具检测、天然言语处置跟语音转文本等用例。在物联网 (IoT) 方面, Arm Ethos-U85 NPU 可与须要减速 AI 机能的基于 Arm Cortex-A 的体系一同计划,比方工场主动化等场景。别的,除了 Arm 本人的减速器技巧外,配合搭档借助咱们的 CPU 机动定制存在差别化的芯片处理计划。比方,NVIDIA 用于 AI 基本设备的 Grace Blackwell 跟 Grace Hopper 超等芯片均采取了 Arm CPU 跟 NVIDIA 的 AI 减速器技巧,从而明显晋升 AI 机能。NVIDIA Grace Blackwell 超等芯片将 NVIDIA 的 Blackwell GPU 架构与基于 Arm Neoverse 的 Grace CPU 相联合。Arm 奇特的产物组合使 NVIDIA 可能停止体系级计划优化,与 NVIDIA H100 GPU 比拟,其能耗下降了 25 倍,单个 GPU 机能进步了 30 倍。详细来说,得益于 Arm Neoverse 平台的机动性,NVIDIA 可能实现自有的高带宽 NVLink 互连技巧,并晋升 CPU、GPU 跟内存之间的数据带宽跟耽误。Arm 努力于经由过程 Arm 片面计划生态名目 ,为全部生态体系注入 AI 减速的机会。经由过程该生态名目,开辟者能够更快拜访 Arm CSS 技巧,赋能软硬件技巧提高,以此驱动 AI 跟芯片翻新,并放慢开辟跟安排 AI 优化的芯片处理计划。Arm 架构满意 AI 所需的奇特机动性Arm CPU 计划所存在机动性要害在于咱们当先的架构。它供给了一个能够与 AI 减速器技巧严密集成的基本平台,并支撑从 128 位到 2,048 位的种种向量长度,能够在很多差别的数据点上轻松履行多个神经收集。Arm 架构的机动性为全部芯片生态体系供给了多样化的定制机遇,咱们始终都努力于辅助配合搭档更快地构建本人的差别化芯片处理计划。这种奇特的机动性也使 Arm 可能一直停止架构翻新,按期推出要害指令跟功效来减速 AI 盘算,进而惠及全部生态体系,此中 包含当先的芯片配合搭档,以及在 Arm 盘算平台上构建利用的 2,000 多万软件开辟者等。这所有始于 Armv7 架构,该架构引入了高等单指令少数据 (SIMD) 扩大,比方 Neon 技巧,这是 Arm 初次涉足呆板进修 (ML) 任务负载。在从前多少年中,该架构一直加强,Armv8 中增添了向量点积跟矩阵乘法特征,之后在 Armv9 中又引入了 Arm SVE2 跟新的 Arm SME 技巧 ,为普遍的天生式 AI 任务负载跟用例进步了盘算机能并下降了功耗。与 AI 减速器技巧无缝集成Arm 是 AI 时期的盘算平台,推进了连续的架构翻新,以满意速率更快、互动性更好跟沉迷感更强的 AI 利用的开展。Arm CPU 作为机动处置 AI 任务负载的异构盘算方式中的一局部,能够无缝加强跟集成 GPU 跟 NPU 等 AI 减速器技巧。Arm CPU 是处置浩繁 AI 推理任务负载的适用之选, 凭仗杰出的机动性,它可能与减速器技巧无缝集成,打造更强盛、更高机能的 AI 功效, 精准满意特定用例跟盘算需要。 对咱们的技巧配合搭档而言,杰出的机动性有助于实现丰盛的定制抉择,使他们可能为 AI 任务负载构建完全的芯片处理计划。   申明:新浪网独家稿件,未经受权制止转载。 -->

当前网址:https://www.tianyuanqing.com//a/keji/180.html

 
你可能喜欢的: