近年來，在AIoT數據量快速成長、硬件效能提升、綠色低碳意識抬頭等趨勢影響下，邊緣AI應用的係統架構也出現改變。隨著越來越多企業將AI模型訓練由雲端轉移至邊緣端
，邊緣AI服務器（Edge AI Server）的市場需求快速擴大。

過往，企業大多會先在雲端進行AImoxingxunlian
，zaijiangxunlianhaodemoxingbushudaobianyuanduan
，youbianyuanzhuangzhijinxingmoxingtuilun，bingdingqijiangzhongduanshujujiyucejieguochuanhuiyunduan。rujin，suizheyingjianjishugengxindiedai，bianyuanzhuangzhideyunsuanliangnengyulaiyuqiang，keyimanzuAI模型訓練的運算需求
，再加上AIoT數據量快速成長，大幅增加數據由邊緣端傳輸到雲端的成本，致使企業開始思索「在邊緣端進行AI模型訓練的可行性」。對此，研華整合軟硬體及服務打造完整的邊緣AI服務器解決方案，協助企業資金更有效率地導入AI技術。

AI模型訓練在雲端還是邊緣
？

研華嵌入式物聯網事業群產品經理郭祐伸建議，企業可以根據AI應用類型與AI模型參數大小、數據量、數據的機密等級等因素，決定是要在雲端或邊緣端進行AI模型訓練。如果AI模型參數較大
，邊緣端的運算能力不足，導致進行AI模型微調訓練所耗費的時間過長
，就比較適合放在雲端高速運算。另外，若企業用來訓練AI模型的數據屬於重要機密，便不適合上傳到雲端，又或者AI模型微調訓練的數據太大致使傳輸至雲端的成本過高
，就可以通過邊緣端設備進行AI數據預處理（Data Mining）或AI微調模型訓練（Finetune）。

以生成式AI應用為例，企業除了發展客服機器人來服務客戶，也開始結合知識管理係統
、機台維修手冊等數據用來優化員工作業效率

，如：加快資料檢索速度、協助新進工程師快速進入工作等。由於內部資料有機密性，通常不適合上傳到雲端
，企業便可在邊緣端部署邊緣AI服務器來進行大型語言模型（LLM）微調訓練。

另一方麵
，當企業微調訓練生成式AI（GenAI）的大型語言模型（LLM）時，會消耗相當大量的內存（VRAM）
，若VRAM內存容量不足，將產生無法進行LLM模型微調訓練的問題，最終需要再額外添購更多專用顯示卡來擴充VRAM容量，對企業而言是高成本的負擔。因此，如何降低不斷成長的生成式AI模型參數所需的VRAM擴充成本並兼顧數據安全保密性便是生成式AI應用能否快速普及的關鍵。

硬件、軟件、服務
，三大麵向打造整體解決方案

為滿足企業在邊緣端進行AI模型訓練與推論的需求，研華除了研發AIR-500係列邊緣AI服務器

，提供高頻高效能的硬件設備

，更結合軟件與服務
，從三大麵向打造一站式邊緣AI應用解決方案，一次滿足企業的各種需求，加速企業導入AI應用。

多種硬件規格，滿足多產業的AI應用需求

AIR-500係列是針對邊緣端高性能AI推理與特定大小參數AI模型微調訓練的應用需求而設計
，除了滿足工控市場基本要求的係統EMC測試與安規認證

，亦提供10年長供貨保證。此外，針對AI高速運算時產生的熱能，研華特別加強散熱設計，確保在環境溫度40℃以內穩定運作
，避免超過AI加速卡的最高工作溫度，同時提供適合應用在被動式散熱AI加速卡專用的散熱風扇模塊，讓企業無論采用哪一種AI加速卡，都不必擔心會有過熱而降頻的問題，確保設備運作性能最大化。

郭佑伸產品經理指出
，AIR-500係列產品提供510、520及530三種規格。其中AIR-520是研華首度將服務器等級芯片平台導入至邊緣係統，它能額外擴充最多4張單槽顯卡或2張雙槽顯卡，具備相當強大的AI運算能力，整合群聯“aiDAPTIV+”技術，最高可以支持大型語言模型LLaMA2 70B的地端微調訓練
，滿足企業在邊緣端進行AI模型訓練的需求。

群聯獨家專利的AI人工智慧運算方案“aiDAPTIV+”
，是通過群聯獨創整合SSD的AI運算構架，將大型AI模型做結構性拆分，並將模型參數隨應用時間序列與SSD協同運行，以達到在有限的GPU與VRAM資源下
，最大化可執行的AI模型，能發揮既有硬件構架下的最大效益。

AIR-530可進行大量高速的數據傳輸，通過NVIDIA SmartNIC芯片可將網絡頻寬拉高至200 GbE
，適合高速數據串流的AI應用
，例如：醫療內視鏡係統、布建多台監控攝像機的場域等。AIR-510提供豐富的I/O接口

，適合需要整合多元裝置的AI應用，例如半導體設備的光學檢測機
、物流業的包裹分檢機等。

結合軟件與服務，加速企業導入

AI應用軟件方麵，研華也針對AI應用需求代理相關軟件，如：Intel針對模型訓練的輔助工具Intel Geti、NVIDIA針對AI算法開發的最佳化服務NVIDIA AI Enterprise
，可協助企業打造完整的Edge AI應用環境。

服fu務wu方fang麵mian更geng是shi涵han蓋gai全quan方fang麵mian。首shou先xian
，研yan華hua在zai全quan球qiu各ge地di設she立li的de服fu務wu中zhong心xin，可ke以yi根gen據ju在zai地di客ke戶hu需xu求qiu提ti供gong服fu務wu，如ru彈dan性xing調tiao整zheng設she備bei規gui格ge。其qi次ci，研yan華hua提ti供gong完wan整zheng技ji術shu支zhi持chi
，如ru企qi業ye可ke向xiang研yan華hua購gou買maiCPU
、DRAM
、SSD、顯卡等周邊元件，也可以由研華協助安裝Window、Ubuntu等deng操cao作zuo係xi統tong，讓rang企qi業ye收shou到dao設she備bei後hou插cha電dian就jiu能neng使shi用yong。再zai者zhe
，研yan華hua一yi直zhi與yu芯xin片pian商shang緊jin密mi合he作zuo
，可ke以yi在zai第di一yi線xian提ti供gong客ke戶hu技ji術shu顧gu問wen服fu務wu，如ru今jin更geng成cheng為wei台tai灣wanIPC產業第一家獲得NVIDIA AI Enterprise軟件平台認證的全球經銷商，研華計劃培育近200名邊緣AI應用專家，期能建立更強大的技術支持，從更多方麵協助客戶導入AI應用。

展望未來，AIR-500係列產品的發展將依循研華“產業驅動”（Sector-Driven）策略，依照各產業的特殊需求開發相關功能並直接內嵌於產品之中，甚至推出產業專用機，讓各行各業都能快速部署AI應用，大步邁向AIoT的新時代。

相關產品現已上市，如需了解更多產品和服務相關信息，歡迎撥打研華嵌入式服務專線400-001-9088。