隨著人工智能 (AI) 的演進，利用小語言模型 (SLM) 在嵌入式設備上執行 AI 工作負載成為業界關注的焦點。Llama、Gemma 和 Phi3 等小語言模型
，憑借其出色的成本效益、高效率以及在算力受限設備上的易部署性，贏得了廣泛認可。Arm 預計這類模型的數量將在 2025 年繼續增長。

Arm 技(ji)術(shu)以(yi)其(qi)高(gao)性(xing)能(neng)與(yu)低(di)功(gong)耗(hao)的(de)顯(xian)著(zhu)優(you)勢(shi)
，為(wei)小(xiao)語(yu)言(yan)模(mo)型(xing)提(ti)供(gong)了(le)理(li)想(xiang)的(de)運(yun)行(xing)環(huan)境(jing)，能(neng)夠(gou)有(you)效(xiao)提(ti)升(sheng)運(yun)行(xing)效(xiao)率(lv)
，並(bing)進(jin)一(yi)步(bu)優(you)化(hua)用(yong)戶(hu)體(ti)驗(yan)。為(wei)了(le)直(zhi)觀(guan)展(zhan)示(shi)端(duan)點(dian) AI 在物聯網和邊緣計算領域的巨大潛力，Arm技術團隊近期打造了一場技術演示。在演示中，當用戶輸入一個句子後，係統將基於該句擴展生成一個兒童故事。這項演示受到了微軟 “Tiny Stories” 論文和 Andrej Karpathy 的 TinyLlama2 項目的啟發，TinyLlama2 項目使用了 2,100 萬個故事來訓練小語言模型生成文本。

該演示搭載了 Arm Ethos-U85 NPU，並在嵌入式硬件上運行小語言模型。盡管大語言模型 (LLM) 更geng加jia廣guang為wei人ren知zhi，但dan由you於yu小xiao語yu言yan模mo型xing能neng夠gou以yi更geng少shao的de資zi源yuan和he較jiao低di的de成cheng本ben提ti供gong出chu色se的de性xing能neng，而er且qie訓xun練lian起qi來lai也ye更geng為wei簡jian易yi且qie成cheng本ben更geng低di，因yin此ci越yue來lai越yue受shou到dao關guan注zhu。

在嵌入式硬件上實現基於 Transformer 的小語言模型

Arm 的演示展示了 Ethos-U85 作為一個小型低功耗平台
，具備運行生成式 AI 的能力，並凸顯了小語言模型在特定領域中的出色表現。TinyLlama2 模型相較 Meta 等公司的大模型更為簡化，很適合用於展示 Ethos-U85 的 AI 性能
，可作為端點 AI 工作負載的理想之選。

為開發此演示
，Arm 進行了大量建模工作，包括創建一個全整數的 INT8（和 INT8x16）TinyLlama2 模型，並將其轉換為適合 Ethos-U85 限製的固定形狀 TensorFlow Lite 格式。

Arm 的量化方法表明，全整數語言模型在取得高準確度和輸出質量之間實現了良好平衡。通過量化激活

、歸一化函數和矩陣乘法，Arm 無需進行浮點運算。由於浮點運算在芯片麵積和能耗方麵成本較高，這對於資源受限的嵌入式設備來說是一個關鍵考量。

Ethos-U85 在 FPGA 平台上以 32 MHz 的頻率運行語言模型，其文本生成速度可達到每秒 7.5 到 8 個詞元 (token)，與人類的閱讀速度相當，同時僅消耗四分之一的計算資源。在實際應用的係統級芯片 (SoC) 上
，該性能最多可提高十倍，從而顯著提升了邊緣側 AI 的處理速度和能效。

兒童故事生成特性采用了 Llama2 的開源版本，並結合了 Ethos NPU 後端，在 TFLite Micro 上運行演示。大部分推理邏輯以 C++ 語言在應用層編寫，並通過優化上下文窗口內容，提高了故事的連貫性
，確保 AI 能夠流暢地講述故事。

由於硬件限製，團隊需要對 Llama2 模型進行適配，以確保其在 Ethos-U85 NPU 上高效運行
，這要求對性能和準確性進行仔細考量。INT8 和 INT16 混合量化技術展示了全整數模型的潛力，這有利於 AI 社區更積極地針對邊緣側設備優化生成式模型，並推動神經網絡在如 Ethos-U85 等高能效平台上的廣泛應用。

Arm Ethos-U85 彰顯卓越性能

Ethos-U85 的乘法累加 (MAC) 單元可以從 128 個擴展至 2,048 個
，與前一代產品 Ethos-U65 相比，其能效提高了 20%。另外相較上一代產品，Ethos-U85 的一個顯著特點是能夠原生支持 Transformer 網絡。

Ethos-U85 支持使用前代 Ethos-U NPU 的合作夥伴能夠實現無縫遷移，並充分利用其在基於 Arm 架構的機器學習 (ML) 工具上的既有投資。憑借其卓越能效和出色性能
，Ethos-U85 正愈發受到開發者青睞。

如果在芯片上采用 2,048 個 MAC 配置，Ethos-U85 可以實現 4 TOPS 的性能。在演示中
，Arm 使用了較小的配置，即在 FPGA 平台上采用 512 個 MAC，並以 32 MHz 的頻率運行具有 1,500 萬個參數的 TinyLlama2 小語言模型。

這一能力凸顯了將 AI 直接嵌入設備的可能性。盡管內存有限（320 KB SRAM 用於緩存，32 MB 用於存儲），Ethos-U85 仍能高效處理此類工作負載
，為小語言模型和其他 AI 應用在深度嵌入式係統中的廣泛應用奠定了基礎。

將生成式 AI 引入嵌入式設備

開發者需要更加先進的工具來應對邊緣側 AI 的複雜性。Arm 通過推出 Ethos-U85
，並支持基於 Transformer 的模型，致力於滿足這一需求。隨著邊緣側 AI 在嵌入式應用中的重要性日益增加，Ethos-U85 正在推動從語言模型到高級視覺任務等各種新用例的實現。

Ethos-U85 NPU 提供了創新前沿解決方案所需的卓越性能和出色能效。Arm 的演示顯示了將生成式 AI 引入嵌入式設備的重要進展，並凸顯了在 Arm 平台上部署小語言模型便捷可行。

Arm 正為邊緣側 AI 在廣泛應用領域帶來新機遇，Ethos-U85 也因此成為推動新一代智能、低功耗設備發展的關鍵動力。