隨著人工智能 (AI)，尤其是生成式 AI 的引入
，汽車行業正迎來變革性轉變。麥肯錫最近對汽車和製造業高管開展的一項調查表明，超過 40% 的受訪者對生成式 AI 研發的投資額高達 500 萬歐元
，超過 10% 受訪者的投資額超過 2,000 萬歐元。

隨著行業向軟件定義汽車 (SDV) 不斷發展，到 2030 年，汽車中的代碼行數預計將從每輛車 1 億行增加至約 3 億行。麵向汽車的生成式 AI 與 SDV 相結合
，可共同實現性能和舒適性方麵的車載用例，以幫助提升駕乘體驗。

本文將介紹一項由 Arm 與亞馬遜雲科技 (AWS) 合作開發的車載生成式 AI 用例及其實現詳情。

用例介紹

suizheqicheyufajingmi
，chezhuyijingnengzaijiaochehouchixujieshouzhurutingchefuzhuhuochedaobaochidenggongnenggengxin，bansuierlaidetiaozhanshi，ruherangchezhujishilejiexinzengdegengxinhexingongneng？guowangtongguozhizhihuozaixianshoucedengchuantongfangfadegengxinfangshiyizhengmingcunzaibuzu，daozhichezhuwufachongfenlejieqichedeqianneng。

為了應對這一挑戰
，AWS 將生成式 AI
、邊緣計算和物聯網 (IoT) 的強大功能相結合
，開發了一項車載生成式 AI 的演示。這項演示所展現的解決方案是由小語言模型 (SLM) suozhichidechezaiyingyong，zhizaishijiashiyuannenggoutongguoziranyuyinjiaohuhuoquzuixindecheliangxinxi。gaiyanshiyingyongnenggouzaibushuhoulixianyunxing，quebaojiashiyuanzaimeiyouhulianwanglianjiedeqingkuangxia，yenengfangwenyouguancheliangdezhongyaoxinxi。

該解決方案集成了多項先進技術
，為用戶打造出更無縫、更高效的產品體驗。這項演示的應用部署在車內本地的小語言模型
，該模型利用經 Arm KleidiAI 優化的例程對性能進行提升。未經 KleidiAI 優化的係統的響應時間為 8 至 19 秒左右，相比之下，經 KleidiAI 優化的小語言模型的推理響應時間為 1 至 3 秒。通過使用 KleidiAI，應用開發時間縮短了 6 周，而且開發者在開發期間無需關注底層軟件的優化。

Arm 虛擬硬件 (Arm Virtual Hardware) 支持訪問許多 AWS 上的熱門物聯網開發套件。當物理設備不可用
，或者全球各地的團隊無法訪問物理設備時，在 Arm 虛擬硬件上進行開發和測試可節省嵌入式應用的開發時間。AWS 在汽車虛擬平台上成功測試了該演示應用，在演示中，Arm 虛擬硬件提供了樹莓派設備的虛擬實例。同樣的 KleidiAI 優化也可用於 Arm 虛擬硬件。

這個在邊緣側設備上運行的生成式 AI 應用所具備的關鍵特性之一是，它能夠接收 OTA 無線更新
，其中部分更新使用 AWS IoT Greengrass Lite 接收
，從而確保始終向駕駛員提供最新信息。AWS IoT Greengrass Lite 在邊緣側設備上僅占用 5 MB 的 RAM
，yincijuyouhengaodeneicunxiaolv。ciwai，gaijiejuefanganbaohanzidongzhiliangjiankonghefankuixunhuan，yongyuchixupingguxiaoyuyanmoxingxiangyingdexiangguanxinghezhunquexing。qizhongcaiyongleyigebijiaoxitong，duichaochuyuqizhiliangyuzhidexiangyingjinxingbiaoji
，yijinxingshenhe。ranhou，tongguo AWS 上(shang)的(de)儀(yi)表(biao)板(ban)
，以(yi)近(jin)乎(hu)實(shi)時(shi)的(de)速(su)度(du)對(dui)收(shou)集(ji)到(dao)的(de)反(fan)饋(kui)數(shu)據(ju)進(jin)行(xing)可(ke)視(shi)化(hua)，使(shi)整(zheng)車(che)廠(chang)的(de)質(zhi)保(bao)團(tuan)隊(dui)能(neng)夠(gou)審(shen)核(he)和(he)確(que)定(ding)需(xu)要(yao)改(gai)進(jin)的(de)方(fang)麵(mian)，並(bing)根(gen)據(ju)需(xu)要(yao)發(fa)起(qi)更(geng)新(xin)。

這個由生成式 AI 提供支持的解決方案，所具備的優勢不僅僅在於為駕駛員提供準確的信息。它還體現了 SDV shengmingzhouqiguanlidefanshizhuanbian，shixianlegengchixudegaijinzhouqi，zhengchechangkeyigenjuyonghujiaohulaitianjiaxinneirong
，erxiaoyuyanmoxingkeyishiyongtongguowuxianwangluowufengbushudegengxinxinxijinxingweitiao。zheyangyilai，tongguobaozhengzuixindecheliangxinxi，yonghutiyandeyitisheng
，ciwaizhengchechangyeyoujihuixiangyonghujieshaohezhidaoxintexinghuokegoumaidefujiagongneng。tongguoliyongshengchengshi AI
、物聯網和邊緣計算的強大功能
，這個生成式 AI 應用可以起到汽車用戶向導的作用
，其中展示的方法有助於在 SDV 時代實現更具連接性、信息化和適應性的駕駛體驗。

端到端的上層實現方案

下圖所示的解決方案架構用於對模型進行微調、在 Arm 虛擬硬件上測試模型，以及將小語言模型部署到邊緣側設備，並且其中包含反饋收集機製。

圖：基於生成式 AI 的汽車用戶向導的解決方案架構圖

上圖中的編號對應以下內容：

1. 模型微調：AWS 演示應用開發團隊選擇 TinyLlama-1.1B-Chat-v1.0 作為其基礎模型
，該模型已針對會話任務進行了預訓練。為了優化駕駛員的汽車用戶向導聊天界麵，團隊設計了言簡意賅、重點突出的回複
，以便適應駕駛員在行車時僅可騰出有限注意力的情況。團隊創建了一個包含 1,000 組問答的自定義數據集，並使用 Amazon SageMaker Studio 進行了微調。

2. 存儲：經過調優的小語言模型存儲在 Amazon Simple Storage Service (Amazon S3) 中。

3. 初始部署：小語言模型最初部署到基於 Ubuntu 的 Amazon EC2 實例。

4. 開發和優化：團隊在 EC2 實例上開發並測試了生成式 AI 應用
，使用 llama.cpp 進行小語言模型量化，並應用了 Q4_0 方案。KleidiAI 優化預先集成了 llama.cpp。與此同時，模型還實現了大幅壓縮，將文件大小從 3.8 GB 減少至 607 MB。

5. 虛擬測試：將應用和小語言模型傳輸到 Arm 虛擬硬件的虛擬樹莓派環境進行初始測試。

6. 虛擬驗證：在虛擬樹莓派設備中進行全麵測試，以確保功能正常。

7. 邊緣側部署：通過使用 AWS IoT Greengrass Lite，將生成式 AI 應用和小語言模型部署到物理樹莓派設備，並利用 AWS IoT Core 作業進行部署管理。

8. 部署編排：AWS IoT Core 負責管理部署到邊緣側樹莓派設備的任務。

9. 安裝過程：AWS IoT Greengrass Lite 處理從 Amazon S3 下載的軟件包，並自動完成安裝。

10. 用戶界麵：已部署的應用在邊緣側樹莓派設備上為最終用戶提供基於語音的交互功能。

11. 質量監控：生成式 AI 應用實現對用戶交互的質量監控。數據通過 AWS IoT Core 收集，並通過 Amazon Kinesis Data Streams 和 Amazon Data Firehose 處理，然後存儲到 Amazon S3。整車廠可通過 Amazon QuickSight 儀表板來監控和分析數據，及時發現並解決任何小語言模型質量問題。

接下來將深入探討 KleidiAI 及該演示采用的量化方案。

Arm KleidiAI

Arm KleidiAI 是專為 AI 框架開發者設計的開源庫。它為 Arm CPU 提供經過優化的性能關鍵例程。該開源庫最初於 2024 年 5 月推出，現在可為各種數據類型的矩陣乘法提供優化，包括 32 位浮點、Bfloat16 和 4 位定點等超低精度格式。這些優化支持多項 Arm CPU 技術
，比如用於 8 位計算的 SDOT 和 i8mm，以及用於 32 位浮點運算的 MLA。

憑借四個 Arm Cortex-A76 核心
，樹莓派 5 演示使用了 KleidiAI 的 SDOT 優化，SDOT 是最早為基於 Arm CPU 的 AI 工作負載設計的指令之一，它在 2016 年發布的 Armv8.2-A 中推出。

SDOT 指令也顯示了 Arm 持續致力於提高 CPU 上的 AI 性能。繼 SDOT 之後，Arm 針對 CPU 上運行 AI 逐步推出了新指令，比如用於更高效 8 位矩陣乘法的 i8mm 和 Bfloat16 支持，以期提高 32 位浮點性能

，同時減半內存使用。

對於使用樹莓派 5 進行的演示，通過按塊量化方案，利用整數 4 位量化（也稱為 llama.cpp 中的 Q4_0）來加速矩陣乘法，KleidiAI 扮演關鍵作用。

llama.cpp 中的 Q4_0 量化格式

llama.cpp 中的 Q4_0 矩陣乘法包含以下組成部分：

· 左側 (LHS) 矩陣
，以 32 位浮點值的形式存儲激活內容。

· 右側 (RHS) 矩陣，包含 4 位定點格式的權重。在該格式中，量化尺度應用於由 32 個連續整數 4 位值構成的數據塊，並使用 16 位浮點值進行編碼。

因此

，當提到 4 位整數矩陣乘法時，它特指用於權重的格式，如下圖所示：

在這個階段
，LHS 和 RHS 矩陣均不是 8 位格式，KleidiAI 如何利用專為 8 位整數點積設計的 SDOT 指令？這兩個輸入矩陣都必須轉換為 8 位整數值。

對於 LHS 矩陣
，在矩陣乘法例程之前
，還需要一個額外的步驟：動態量化為 8 位定點格式。該過程使用按塊量化方案將 LHS 矩陣動態量化為 8 位
，其中，量化尺度應用於由 32 個連續 8 位整數值構成的數據塊，並以 16 位浮點值的形式存儲
，這與 4 位量化方法類似。

動dong態tai量liang化hua可ke最zui大da限xian度du降jiang低di準zhun確que性xing下xia降jiang的de風feng險xian
，因yin為wei量liang化hua尺chi度du因yin子zi是shi在zai推tui理li時shi根gen據ju每mei個ge數shu據ju塊kuai中zhong的de最zui小xiao值zhi和he最zui大da值zhi計ji算suan得de出chu的de。與yu該gai方fang法fa形xing成cheng對dui比bi的de是shi，靜jing態tai量liang化hua的de尺chi度du因yin子zi是shi預yu先xian確que定ding的de，保bao持chi不bu變bian。

對於 RHS 矩陣，在矩陣乘法例程之前

，無需額外步驟。事實上，4 位量化充當壓縮格式
，而實際計算是以 8 位進行的。因此
，在將 4 位值傳遞給點積指令之前，首先將其轉換為 8 位。從 4 位轉換為 8 位的計算成本並不高，因為隻需進行簡單的移位/掩碼運算即可。

既然轉換效率如此高，為什麼不直接使用 8 位
，省去轉換的麻煩？

使用 4 位量化有兩個關鍵優勢：

· 縮小模型尺寸：由於 4 位值所需的內存隻有 8 位值的一半，因此這對可用 RAM 有限的平台尤其有益。

· 提升文本生成性能：文wen本ben生sheng成cheng過guo程cheng依yi賴lai於yu一yi係xi列lie矩ju陣zhen向xiang量liang運yun算suan
，這zhe些xie運yun算suan通tong常chang受shou內nei存cun限xian製zhi。也ye就jiu是shi說shuo
，性xing能neng受shou限xian於yu內nei存cun和he處chu理li器qi之zhi間jian的de數shu據ju傳chuan輸shu速su度du，而er不bu是shi處chu理li器qi的de計ji算suan能neng力li。由you於yu內nei存cun帶dai寬kuan是shi一yi個ge限xian製zhi因yin素su
，縮suo小xiao數shu據ju大da小xiao可ke最zui大da限xian度du減jian少shao內nei存cun流liu量liang
，從cong而er顯xian著zhu提ti高gao性xing能neng。

如何結合使用 KleidiAI 與 llama.cpp？

非常簡單

，KleidiAI 已集成到 llama.cpp 中。因此，開發者不需要額外的依賴項就能充分發揮 Armv8.2 及更新架構版本的 Arm CPU 性能。

兩者的集成意味著，在移動設備、嵌入式計算平台和基於 Arm 架構處理器的服務器上運行 llama.cpp 的開發者，現在可以體驗到更好的性能。

除了 llama.cpp

，還有其他選擇嗎
？

對於在 Arm CPU 上運行大語言模型
，雖然 llama.cpp 是一個很好的選擇，但開發者也可以使用其他采用了 KleidiAI 優化的高性能生成式 AI 框架。例如（按首字母順序排列）：ExecuTorch、MediaPipe、MNN 和 PyTorch。隻需選擇最新版本的框架即可。

因此，如果開發者正考慮在 Arm CPU 上部署生成式 AI 模型，探索以上框架有助於實現性能和效率的優化。

總結

SDV 和生成式 AI 的融合
，正在共同開創一個新的汽車創新時代
，使得未來的汽車變得更加智能化，更加以用戶為中心。文中介紹的車載生成式 AI 應用演示由 Arm KleidiAI 進行優化並由 AWS 所提供的服務進行支持，展示了新興技術如何幫助解決汽車行業的實際挑戰。該解決方案可實現 1 至 3 秒的響應時間並將開發時間縮短數周
，證明更高效且離線可用的生成式 AI 應用不僅能夠實現，而且非常適合車載部署。

汽車技術的未來在於打造無縫融合邊緣計算、物聯網功能和 AI 的解決方案。隨著汽車不斷演變且軟件越來越複雜

，潛在解決方案（比如本文介紹的解決方案）將成為彌合先進汽車功能與用戶理解間差距的關鍵。