隨著人工智能 (AI) 成為當今個人電腦 (PC) 和移動設備使用體驗（從聊天機器人到生產力提升）中不可或缺的一部分
，這些設備對 CPU 高效、可擴展的推理需求也在持續增長。Arm 與yu微wei軟ruan正zheng攜xie手shou合he作zuo以yi滿man足zu這zhe一yi需xu求qiu，在zai從cong高gao端duan台tai式shi電dian腦nao和he筆bi記ji本ben電dian腦nao到dao旗qi艦jian級ji和he入ru門men級ji智zhi能neng手shou機ji等deng各ge類lei廣guang泛fan的de消xiao費fei類lei電dian子zi設she備bei上shang，為wei用yong戶hu帶dai來lai加jia速su的de AI 體驗。

Arm 和微軟共同將 Arm KleidiAI 進一步擴展到 ONNX Runtime （業界廣泛使用的開源 AI 運行時之一）中。KleidiAI 是一款麵向 AI 框架開發者的輕量級內核庫，它能夠在無可比擬的規模下，為廣泛的技術市場以及各類基於 Arm 架構的設備，提供 AI 模型和工作負載的無縫性能優化。鑒於 KleidiAI 已成功集成到其他領先的 AI 框架上，這次的合作是在此成功基礎上的又一重要進展。

加速邊緣設備上的 AI 體驗

Windows on Arm 生態係統在過去幾年實現了顯著的增長。包括 Adobe Photoshop、Google Chrome、Spotify 和 Zoom 等廣受歡迎的應用程序，都紛紛推出了 Arm 原生版本，以充分發揮其性能和能效優勢。通過將 KleidiAI 集成到 ONNX Runtime 中

，廣大的應用程序開發者無需額外投入工程時間，就能獲得 PC 和移動設備的 AI 性能提升。ONNX Runtime 為微軟諸多產品的 AI 工作負載提供支持，包括 Microsoft 365 套件以及 Microsoft Copilot 等，並為 Copilot + PC 打造卓越的 AI 體驗。

KleidiAI 與 ONNX Runtime 的集成優化了包含 Phi-3 Mini 等一係列模型在內的 AI 工作負載。Phi-3 Mini 是一個擁有 38 億參數的小型語言模型，專為邊緣設備的先進 AI 體驗量身定製。這些 AI 體驗包括實時聊天機器人、虛擬助手、智能文本補全以及生產力工具的功能增強等，所有這些功能均可在設備本地實現。通過將 Phi-3 Mini 緊湊的結構與 KleidiAI 高效的 CPU 執行提供程序 (Execution Provider) 集成配對，開發者無需依賴雲端連接，即可在設備上快速實現智能功能。

提升 PC 和移動設備上的實際 AI 性能

在 PC 和移動平台上，該集成已為終端用戶帶來了切實的益處。它顯著加快了 AI 的響應速度，使設備能夠直接實現更智能、更快速的交互，且無需開發者進行架構改動或後端重寫。

根據 Arm 的基準測試顯示
，在 KleidiAI 集成到 ONNX Runtime 後
，係統性能得到了顯著的提升，包括在基於 Armv9 平台的 Windows 設備上運行 Phi-3 模型時，提示處理吞吐量提升了 2.4 倍，詞元 (token) 生成速度加快了 12%。這些性能改進使聊天機器人等 AI 應用能夠給出更加自然流暢的回應。同樣地
，在搭載最新 Armv9 CPU 的 vivo X200 Pro 旗艦智能手機上運行相同 Phi-3 模型的參考安卓應用中，提示處理速度加快了 2.6 倍。

由於 KleidiAI 的集成運行在全球應用廣泛的 Arm CPU 架構上，這使得 AI 應用與工作負載能夠在不同的生態係統及芯片組之間無縫移植。KleidiAI 的設計旨在與當前的 Arm 架構特性，如 Neon、可伸縮矢量擴展 (SVE2) 及可伸縮矩陣擴展 (SME) ，展開協同工作。這些麵向未來的功能確保開發者能夠構建當下的 AI 增強體驗，並使其隨著未來的硬件創新而擴展。KleidiAI 與 ONNX Runtime 的集成已在 ONNX RT V1.22 中發布。

推動 AI 規模化落地

Arm 與微軟的合作為開發者普及優化 AI 邁出了變革性的一步。該合作簡化了在各類 PC 和移動設備上部署智能功能的流程，無需增加成本或開發工作量
，同時為終端用戶帶來加速的 AI 體驗。隨著 AI 的持續演進
，這些優化工作將確保開發者、OEM 廠商和操作係統提供商擁有出色的性能、靈活性和廣泛的覆蓋範圍，為更多用戶帶來更優質、更智能的體驗。

訪問以下學習路徑
，了解 KleidiAI 與 ONNX Runtime 集成的更多信息：

在基於 Arm 的 Windows 設備上，通過 ONNX Runtime 運行 Phi-3 模型

使用 ONNX Runtime API 構建安卓聊天應用