中國自動化學會專家谘詢工作委員會指定宣傳媒體
新聞詳情

“一芯四用”,米爾RK3576如何同時駕馭4路YOLOv8視頻流?

http://www.kadhoai.com.cn 2026-04-07 14:43:56 來源:米爾電子

在科技飛速發展的當下,人工智能與邊緣計算的融合正以前所未有的速度重塑著我們的生活。RK3576芯片擁有4核Cortex-A72以及4核Cortex-A53提供基礎算力,6TOPS算力NPU來模型推導運算。使用YOLOv8模型時也是手到擒來,接下來隨著步伐看看它表現如何。

圖:此次的板卡米爾RK3576核心板開發板

YOLO簡介

YOLO(You Only Look Once)shidangqianyejielingxiandeshishimubiaojiancesuanfaxilie,yiqisuduhejingdudewanmeipinghengerwenming。congtafabuzhijin,jinglilehaojigebanbenbiange,xiatushitafazhanlishi。

1-1. YOLO版本發展史

YOLOv8在性能、易用性、架構現代性和生態之間取得了最佳的平衡,它是目前最全麵,最省心選擇。

同樣YOLOv8也有很多尾綴,用一個表簡單列一下它們分別代表什麼意思:

1-1.按任務類型區分

後綴

全稱

任務

輸出

典型應用

-det

Detection

目標檢測

邊界框 (BBox)+類別和置信度

找出圖像中所有感興趣的物體並用框標出。如:行人檢測、車輛檢測、安全帽檢測。

-seg

Segmentation

實例分割

邊界框+類別+像素級掩膜 (Mask)

在目標檢測的基礎上,進一步勾勒出物體的精確輪廓。如:摳圖、自動駕駛中識別道路和車輛形狀。

-pose

Pose

關鍵點檢測

邊界框+人體關鍵點(17個點)

檢測人體的關鍵骨骼點。如:動作識別、健身姿態分析、人機交互。

-cls

Classification

圖像分類

整個圖像的類別標簽

判斷一張圖片屬於哪個類別。如:貓狗分類、圖像質量評估。

-obb

Oriented Bounding Boxes

旋轉目標檢測

旋轉邊界框(BBox+角度θ)+類別和置信度

檢測帶有角度的物體,其邊界框不是水平的。

1-2.按模型尺寸分

前綴

含義

特點

適用場景

n

Nano

極小的模型,速度最快,精度最低

移動端、嵌入式設備(如 Jetson Nano)、CPU實時推理

s

Small

小模型,速度和精度平衡

最常用的起點,適合大多數需要實時性的場景(如視頻流分析)

m

Medium

中等模型,精度和速度的最佳權衡

對精度有較高要求,且仍有不錯的速度

l

Large

大模型,精度高,速度較慢

服務器端應用,其中精度比速度更重要

x

X-Large

超大模型,精度最高,速度最慢

學術研究、刷榜、對精度有極致要求的離線分析

米爾Demo模型選擇

基於MYD-LR3576來說,選擇s/n小模型相對合適,使用基礎功能和-seg,-obb,-pos來演示。

單獨測試視頻場景效果展示

1.YOLOv8s.int 目標檢測模型

2.YOLOv8s-seg.int 實例分割模型

3.YOLOv8s-pose.int 人體姿態估計模型

4.YOLOv8s-obb.float 旋轉目標檢測模型

上麵已經看到了單獨解析視頻時,每一種模型效果,接下來演示MYD-LR3576通過4路攝像頭同時推導效果。

實現方式如下:

MYD-LR3576擁有3路MIPI-CSI接口,通過3個MY-CAM004M分別接入3路MIPI-CSI,采用2+1+1方式搭載4路AHD高清攝像頭,攝像頭采集的畫麵輸出為H.264編碼的RTSP碼流,1920*1080分辨率,30幀。經過MYD-LR3576開發板處理後,單路視頻輸出1920*1080,25fps,4路視頻加起來在60~70幀,cpu占用率接近100%,NPU綜合利用率在50~60%。

1-2. 實物接線概要圖

1-3. 攝像頭數據處理流程圖

MYIR在程序中做了哪些優化

AI推導一輪流程

  • 獲取CSI一幀數據
  • 裁剪數據到xxx*yyy較小圖片
  • 調用RKNN api處理
  • 獲取返回特征位置和相似度
  • 對應放大到原始圖片
  • 增加方框和相似度值到原圖

這樣做後果是CPU利用率不高,視頻采集幀數低,最後顯示效果會卡頓。

米爾采用線程池方案,將上述過程通過線程處理,充分利用4個A72和4個A53資源,同時采用RGA來做圖片裁剪和放大。將CPU,GPU,NPU,VPU4個模塊協同工作,資源最大限度開發使用。

總結:

RK3576 在 YOLOv8 模型表現上十分亮眼,它的應用場景涉及到很多領域。例如智能安防,在公共場所,如機場、火車站、商場等,部署的安防監控係統,快速準確地識別出人群中的異常行為,如打架鬥毆、奔(ben)跑(pao)逃(tao)竄(cuan)等(deng),並(bing)及(ji)時(shi)發(fa)出(chu)警(jing)報(bao),同(tong)時(shi),通(tong)過(guo)人(ren)臉(lian)識(shi)別(bie)技(ji)術(shu),係(xi)統(tong)可(ke)以(yi)對(dui)進(jin)入(ru)場(chang)所(suo)的(de)人(ren)員(yuan)進(jin)行(xing)身(shen)份(fen)識(shi)別(bie),與(yu)數(shu)據(ju)庫(ku)中(zhong)的(de)信(xin)息(xi)進(jin)行(xing)比(bi)對(dui),實(shi)現(xian)對(dui)重(zhong)點(dian)人(ren)員(yuan)的(de)監(jian)控(kong)和(he)追(zhui)蹤(zong)。又(you)或(huo)者(zhe)搭(da)載(zai)智(zhi)能(neng)機(ji)器(qi)人(ren)賦(fu)予(yu)迅(xun)速(su)反(fan)饋(kui)。

更多MYD-LR3576創新應用,敬請期待。

版權所有 工控網 Copyright©2026 Gkong.com, All Rights Reserved