中國自動化學會專家谘詢工作委員會指定宣傳媒體
新聞詳情

如何通過智能軟件和硬件解決方案克服實時立體視覺中的挑戰

http://www.kadhoai.com.cn 2026-04-07 19:48:57 來源:TELEDYNE

立(li)體(ti)視(shi)覺(jiao)是(shi)一(yi)種(zhong)強(qiang)大(da)的(de)成(cheng)像(xiang)技(ji)術(shu),通(tong)過(guo)使(shi)用(yong)兩(liang)台(tai)或(huo)多(duo)台(tai)相(xiang)機(ji)以(yi)略(lve)微(wei)不(bu)同(tong)的(de)角(jiao)度(du)拍(pai)攝(she),模(mo)擬(ni)人(ren)類(lei)通(tong)過(guo)雙(shuang)眼(yan)感(gan)知(zhi)深(shen)度(du)的(de)方(fang)式(shi),從(cong)而(er)捕(bu)捉(zhuo)環(huan)境(jing)的(de)三(san)維(wei)結(jie)構(gou)。這(zhe)項(xiang)技(ji)術(shu)能(neng)夠(gou)提(ti)供(gong)全(quan)視(shi)野(ye)的(de)高(gao)密(mi)度(du)三(san)維(wei)測(ce)量(liang),並(bing)在(zai)非(fei)結(jie)構(gou)化(hua)和(he)動(dong)態(tai)環(huan)境(jing)中(zhong)表(biao)現(xian)出(chu)色(se),特(te)別(bie)適(shi)用(yong)於(yu)工(gong)業(ye)機(ji)器(qi)人(ren)應(ying)用(yong)。

從(cong)料(liao)箱(xiang)撿(jian)取(qu)到(dao)自(zi)主(zhu)導(dao)航(hang),立(li)體(ti)視(shi)覺(jiao)使(shi)得(de)各(ge)種(zhong)機(ji)器(qi)人(ren)應(ying)用(yong)成(cheng)為(wei)可(ke)能(neng)。然(ran)而(er),在(zai)實(shi)時(shi)應(ying)用(yong)場(chang)景(jing)中(zhong)部(bu)署(shu)立(li)體(ti)視(shi)覺(jiao)係(xi)統(tong)時(shi),常(chang)常(chang)麵(mian)臨(lin)以(yi)下(xia)幾(ji)個(ge)挑(tiao)戰(zhan):

圖像處理的高計算需求

對低延遲性能的要求

環境變數,如陰影、眩光或光線不足

嵌入式機器人平台上有限的處理能力

智能解決方案:結合軟件效率與硬件性能

為應對這些挑戰,必須通過優化算法與專用硬件的結合來提供解決方案。在深度估計方麵,像半全局匹配(SGM)zheyangdesuanfa,zaisuduhejingduzhijiantigonglelianghaodepingheng。tongshi,shenduxuexijishukeyijinyibuyouhuashichatu,tishengshendujingdu,tebieshizaiwenlijiaoshaohuobeizhedangdequyu。

立體圖像中的噪聲是另一個常見問題。噪聲通常由光照條件或鏡頭偽影引起,但可以通過邊緣保持濾波器(如雙邊濾波器或引導濾波器)來最小化。這些濾波器在去除噪聲的同時,能夠保留重要的結構細節,這對於高精度機器人任務至關重要。

然而,即使使用優越的軟件,也需要強大的硬件支持才能發揮出色效能。這時,像Bumblebee X這樣的機載處理立體相機就顯得尤為重要。它通過在設備上直接處理計算密集型任務(如立體匹配、圖像校正和視差計算),將主機器人處理器的負載卸載,從而釋放出更多係統資源用於AI決策、運動規劃或傳感器融合,使機器人運行更加高效、智能。

高分辨率立體相機在實時係統中的計算負載管理

平衡實時響應與有限計算能力,尤其是在高精度應用(如外科導航)zhong,yizhishijiqirenjishumianlindezhongyaotiaozhan。gaoxiaochulichuanganqishujuzhiguanzhongyao。xiandailitixiangjitongguotigongyuchulideshendutu,xianzhujianshaoledaikuanxuqiu,bingjianhualexitongjicheng,bimianlejiangyuanshituxiangshujuchuanshugeixitong。

盡管GPU在並行計算中表現出色且被廣泛應用,但立體匹配是一項計算密集型任務,尤其是在其他AI或控製任務並行執行時,容易迅速消耗大量GPU資源。在這種情況下,基於FPGA的處理方式提供了顯著的優勢。通過將視覺處理任務卸載到專用的FPGA平台,像Bumblebee X這樣的係統能夠優化計算負載,從而實現更平穩、更快速和更高效的運行,特別是在資源受限的嵌入式環境中。

應對惡劣和不可預測環境中的挑戰

戶外和工業環境對立體視覺係統提出了巨大的挑戰。強烈陽光、深陰影、霧霾和雨水等因素會導致圖像質量下降,並影響深度精度。與此相對,主動傳感器(如結構光或飛行時間(ToF)相機)在這些環境中往往難以達到理想的效果,因為它們對環境光幹擾極為敏感。

相xiang比bi之zhi下xia,依yi賴lai自zi然ran圖tu像xiang對dui比bi的de被bei動dong立li體ti係xi統tong在zai這zhe些xie環huan境jing中zhong表biao現xian得de更geng為wei穩wen定ding,因yin此ci在zai光guang照zhao變bian化hua較jiao大da的de情qing況kuang下xia具ju有you更geng強qiang的de魯lu棒bang性xing。結jie合he高gao動dong態tai範fan圍wei(HDR)成像技術,立體相機能夠在不同亮度級別之間捕捉豐富的細節,從而在高光和陰影區域都保留關鍵信息。

對dui於yu需xu要yao進jin一yi步bu提ti升sheng圖tu像xiang清qing晰xi度du的de場chang景jing,基ji於yu深shen度du學xue習xi的de去qu噪zao技ji術shu也ye可ke以yi改gai善shan深shen度du圖tu質zhi量liang。然ran而er,這zhe些xie方fang法fa計ji算suan量liang大da,並bing且qie需xu要yao經jing過guo精jing心xin準zhun備bei的de訓xun練lian數shu據ju才cai能neng達da到dao出chu色se的de效xiao果guo。

盡管如此,在不同的應用場景中,並不存在一種“完美”的深度感知解決方案。每個應用場景,無論是自主導航、物體追蹤,還是高精度的抓取和放置,都需要結合多種技術進行量身定製。然而,從設計一個具備HDR能力的高質量被動立體係統開始,將為在動態和不可預測環境中提供穩定性能奠定堅實基礎。

高分辨率3D點雲在路麵檢查中的應用

解決工業環境中的標定漂移問題

保持立體視覺係統的長期標定精度至關重要,但這在實際應用中往往充滿挑戰。在實際部署中,振動、溫度變化和物理操作等因素可能會導致標定漂移,即相機的內外參數發生細微變化,從而影響深度的準確性。

在機器人應用中,哪怕是微小的標定誤差,也可能會導致托盤堆疊不穩定、抓取失敗或導航錯誤等問題。為減緩這些問題,可以采取以下措施:

使用熱穩定的材料來設計相機

設計能夠減少振動的支架

將定期重新標定納入預防性維護計劃

Bumblebee X憑借超過20niandebiaodingjingyanheqiangdadebiaodingsuanfa,zhuanweigongyejikekaoxingersheji。qijiangudewaikeherewendingdejixiesheji,yijigongchangbiaodingdejingtou,youxiaojianshaolebiaodingpiaoyi,quebaozaichangshijianyunxingzhongbaochiwendingxingneng。zhezhongjingxinshejiquebaolejibianzaieliehuanjingxia,xitongrengnengchixutigongyizhidexingneng,jianshaotingjishijian,bingzaicangchuzidonghua、托盤化和機器人引導等應用中實現出色的工作效率。

最後思考

立體視覺使機器人能夠實時感知深度,提供豐富的3D數(shu)據(ju),這(zhe)對(dui)於(yu)動(dong)態(tai)環(huan)境(jing)中(zhong)的(de)自(zi)動(dong)化(hua)至(zhi)關(guan)重(zhong)要(yao)。然(ran)而(er),要(yao)充(chong)分(fen)發(fa)揮(hui)其(qi)潛(qian)力(li),僅(jin)僅(jin)依(yi)靠(kao)兩(liang)台(tai)相(xiang)機(ji)是(shi)不(bu)夠(gou)的(de)。高(gao)分(fen)辨(bian)率(lv)立(li)體(ti)成(cheng)像(xiang)技(ji)術(shu)需(xu)要(yao)在(zai)智(zhi)能(neng)軟(ruan)件(jian)和(he)專(zhuan)用(yong)硬(ying)件(jian)之(zhi)間(jian)找(zhao)到(dao)恰(qia)當(dang)的(de)平(ping)衡(heng),以(yi)克(ke)服(fu)現(xian)實(shi)環(huan)境(jing)中(zhong)的(de)各(ge)種(zhong)挑(tiao)戰(zhan)。

從應對高計算負載、處理複雜光照環境,到確保長期標定精度,每一個環節都至關重要。這正是像Bumblebee X這樣先進平台設計的核心—不僅僅為了捕捉圖像,更是為了在機載係統中解決立體視覺的關鍵技術難題。

版權所有 工控網 Copyright©2026 Gkong.com, All Rights Reserved