自成立以來，跨維智能致力於將先進的三維幾何深度學習技術賦能機械臂柔性操作等垂直領域
，為客戶提供AI視覺算法、3D智能相機及高性價比的軟硬件一體化三維視覺解決方案，讓機器人以靈活主動的方式完成複雜環境下基於三維視覺的定位、識別
、引導等任務。

近日，記者有幸邀請到跨維（深圳）智能數字科技有限公司創始人賈奎（博士）做客《機器視覺》雜誌，深入了解到跨維智能3D視覺解決方案區別與傳統AI+3D視覺解決方案的優勢所在。

M：MACHINE VISION

J：賈奎

M： 賈博士您好，AI技術可賦能的領域眾多
，為什麼您會帶領跨維選擇了“以AI技術助力3D視覺賦能機械臂完成柔性操作感知”這一細分領域
？

J：AI領域涵蓋麵非常廣闊
，從計算機視覺
、自然語言處理


、語音識別等都屬於AI領域，我從2000年開始就深耕於計算機視覺這個細分領域，在多年的研究中，也積累了相當的研究成果。而3D視覺因為有著模仿人眼、在物理空間形成立體視覺的優勢
，成為了計算機視覺中最底層的訴求。從2015年開始，我主要專注於3D視覺領域
，將AI技術結合到3D視覺中的應用當中。這項研究放眼當時的整個國際學術圈，都是較為領先的存在。

在AI技術助力3D視(shi)覺(jiao)的(de)眾(zhong)多(duo)分(fen)支(zhi)應(ying)用(yong)中(zhong)
，經(jing)過(guo)綜(zong)合(he)考(kao)量(liang)，賦(fu)能(neng)機(ji)械(xie)臂(bi)完(wan)成(cheng)相(xiang)關(guan)柔(rou)性(xing)操(cao)作(zuo)感(gan)知(zhi)是(shi)可(ke)落(luo)地(di)性(xing)與(yu)商(shang)業(ye)變(bian)現(xian)周(zhou)期(qi)較(jiao)短(duan)的(de)。而(er)且(qie)工(gong)業(ye)智(zhi)能(neng)製(zhi)造(zao)的(de)大(da)多(duo)場(chang)景(jing)都(dou)是(shi)半(ban)開(kai)放(fang)的(de)環(huan)境(jing)
，通(tong)過(guo)AI技術助力3D視(shi)覺(jiao)，可(ke)以(yi)從(cong)根(gen)本(ben)上(shang)改(gai)變(bian)以(yi)往(wang)機(ji)械(xie)臂(bi)柔(rou)性(xing)操(cao)作(zuo)在(zai)傳(chuan)統(tong)方(fang)案(an)中(zhong)的(de)固(gu)有(you)缺(que)陷(xian)。從(cong)長(chang)遠(yuan)出(chu)發(fa)，這(zhe)樣(yang)的(de)產(chan)品(pin)形(xing)式(shi)能(neng)夠(gou)改(gai)變(bian)當(dang)前(qian)自(zi)動(dong)化(hua)產(chan)線(xian)的(de)設(she)計(ji)思(si)路(lu)，以(yi)搭(da)積(ji)木(mu)方(fang)式(shi)實(shi)現(xian)整(zheng)個(ge)產(chan)業(ye)線(xian)的(de)自(zi)動(dong)化(hua)，也(ye)能(neng)夠(gou)把(ba)自(zi)動(dong)化(hua)推(tui)向(xiang)智(zhi)能(neng)製(zhi)造(zao)的(de)新(xin)階(jie)段(duan)。

M： 在跨維智能成立的有限時間裏，卻迸發出了無限的潛力，可以分享一下貴司核心技術嗎？

J：從底層出發，跨維智能核心技術是Sim2Real AI雲中台DexVerse。行業中絕大部分的AI技術，還是傳統意義上的圖像的識別、理解、語義分割等圖像層麵上的。而3D技術本身解決的是三維物理空間中的問題，對物體的空間位置進行感知定位，並完成相關操作。而跨維的雲中台DexVerse是一款新型的AI平台
，它可以通過打通物理仿真、數據合成

、AI 設計與訓練、模型軟硬件部署的閉環，建立 Sim2Real 虛擬空間與現實空間的映射關聯，實現對機械臂柔性操作
、機器人感知與控製等任務的AI賦能。

例li如ru，機ji械xie臂bi如ru何he將jiang桌zhuo麵mian上shang的de水shui杯bei拿na起qi這zhe樣yang的de操cao作zuo，在zai人ren類lei的de感gan知zhi中zhong似si乎hu是shi非fei常chang輕qing而er易yi舉ju的de，但dan在zai機ji器qi的de眼yan中zhong，這zhe是shi一yi個ge相xiang當dang複fu雜za的de過guo程cheng。首shou先xian需xu要yao解jie讀du的de是shi杯bei子zi放fang在zai桌zhuo麵mian上shang，距ju離li機ji械xie臂bi的de距ju離li是shi多duo少shao？高gao度du是shi多duo少shao

？其qi次ci世shi界jie上shang杯bei子zi千qian變bian萬wan化hua，杯bei子zi形xing態tai變bian換huan後hou，機ji器qi是shi否fou還hai能neng認ren出chu這zhe是shi一yi個ge杯bei子zi
？機ji器qi如ru何he去qu應ying對dui形xing態tai
、顏色、大小均各異的“杯子”？

機械臂在跨維雲中台DexVerse的助力下
，通過物理仿真與數據合成
，可以訓練出機械臂拿起水杯所需要的各種數據，去支持機械臂實現對目標物體後續的抓取
、定位
、上下料、拆垛等操作。通過仿真空間中模擬物體之間的相互作用

、運動和變形，以預測真實世界中的物理行為，並合成虛擬數據用於深度學習模型訓練。

M：為何Sim2Real AI是實現3D視覺大模型和通往垂直場景AGI高效且低成本的重要技術
？

J：跨維智能Sim2Real AI雲中台DexVerse所使用的AIjishu
，xiangbiqijichudetuxianglijie
，shikuaweidudenanduyuesheng。shouxiansanweishujudehuoqubenshenxiangbierweishujujiunandeduo，gongyechangjingzhongdesanweishujuyouyukaifangduobiandechangjingjiyinsibaohudaozhihailiangzhenshishujucaijinanshangjianan，erqiezhenduigezhongcorner cases的真實數據難以有效獲取。其次是現階段的AI技術從數據獲取到AImoxingxunlian

，zaidaochuizhideyingyongchangjing，zhezhijianyouyujishuyuyingyongdefenli，daozhimoxingdeyingyongxiaoguobutailixiang。zaigongyelingyuzhongduochangjingli
，jiuhuixingchengshujugudao，congshujuyuzhishishangnanyihutongliyong。zuihoushixianyouAI技術的標注難題
，如何實現高精度3D等高維標注仍然屬於痛點難題。

基於現有AI所麵臨的難題成就了跨維智能的核心產品Sim2Real AI雲中台DexVerse，通過物理仿真合成數據，可以實現加速AI在垂直場景中的落地應用。DexVerse對於跨維自身產品的形成也是決定性的，可以以更快速、更低成本
、更產品化的方式解決3D視覺助力機械臂的非標定製問題。

M：可以簡單介紹一下跨維智能的係列產品嗎？

J：基於自研的Sim2Real AI雲中台DexVerse
，跨維智能構建了完善的智能製造軟硬件產品生態，也就是跨維智能的“1+3”產品體係。“1”是自研的Sim2Real AI雲中台DexVerse，“3”即DexVision3D工業視覺軟件
、DexSense3D工業智能相機
、DexOne智能視覺一體化設備。

基於DexVerse所構建的DexVision3D工業視覺軟件：PickWiz 3Dshijiaoyindaoruanjian
，keyizaifangzhenkongjianmoniduoyanghuachangjing，bingshengchengdaliangdehechengshuju。zheyangdegongyeshijiaoruanjiankeyingyongdechangjinggengduoyanghua，bujinjianshaolemoxingzhongfudajiandechengben
，erqiezuizhongshibiexiaoguoyouyuzhenshishuju，bingqiemonideduoyanghuachangjingyeshishijiaoxitongdewendingxinghexiaolvdafutisheng。

DexSense 3D工業智能相機：XEMA北極鷗係列開源相機，它可以支持一鍵連接跨維 PickWiz 3D視覺引導軟件的，搭載上DexVerse雲平台，可實時收集真實數據，不斷在雲端優化視覺算法。如果DexVerse雲平台是大腦，那麼DexSense 3D工業智能相機就是眼睛，好的成像能力可以減輕大腦的負載壓力，這也是跨維智能自研相機的初衷。

最後，DexOne 智能視覺一體化設備，是跨維智能布局引領智能智造領域範式改變的重要一步。該設備也是基於自研的 DexVerse 平台，通過深度域適應優化算法實現整個流程的自動化，針對工業場景中的痛點進行模型設計，滿足工業現場落地需求。以3D視覺引導機械臂對物料進行上下料抓取，搬運，替代傳統人工作業抓取搬運，有效提高產線的生產效率和生產質量
，產能提高20%以上
；同tong時shi，該gai項xiang目mu機ji器qi人ren為wei模mo塊kuai化hua架jia構gou
，針zhen對dui未wei來lai不bu同tong的de產chan品pin工gong藝yi
，具ju有you更geng高gao兼jian容rong性xing，可ke觸chu及ji更geng多duo更geng廣guang的de生sheng產chan範fan圍wei，以yi滿man足zu客ke戶hu日ri益yi增zeng長chang的de柔rou性xing化hua需xu求qiu。

M: 作為公司自研的Sim2Real AI雲中台DexVerse，您可以談談未來公司基於DexVerse的產品研發規劃嗎
？

J：基於我們自研的Sim2Real AI雲中台DexVerse所能夠支撐的，其實不單是機械臂
、智能製造相關的應用
，更是服務泛機器人底層AI能力形成的加速器。無論是幫助具身智能去感知3D定位，還是去幫助無人車做導航和物體識別，它都是一款非常不錯的AI能力平台，3D合成數據還有機會賦能3D AIGC、AI生物製藥、AI新材料等更廣泛的領域。

M：自公司成立以來
，貴司一直致力於推動3D視覺引導機械臂柔性操作領域的普及化應用，請問在這個方向上取得了哪些成果？

J：“3D視覺+智能相機+機械臂”是(shi)未(wei)來(lai)自(zi)動(dong)化(hua)新(xin)型(xing)應(ying)用(yong)重(zhong)要(yao)的(de)載(zai)體(ti)。目(mu)前(qian)
，在(zai)國(guo)內(nei)自(zi)動(dong)化(hua)產(chan)線(xian)智(zhi)能(neng)製(zhi)造(zao)的(de)升(sheng)級(ji)過(guo)程(cheng)中(zhong)，這(zhe)樣(yang)的(de)新(xin)型(xing)應(ying)用(yong)載(zai)體(ti)隨(sui)處(chu)可(ke)見(jian)。基(ji)於(yu)市(shi)場(chang)需(xu)求(qiu)，我(wo)們(men)在(zai)產(chan)品(pin)研(yan)發(fa)和(he)應(ying)用(yong)探(tan)索(suo)上(shang)也(ye)一(yi)直(zhi)走(zou)在(zai)行(xing)業(ye)的(de)前(qian)沿(yan)
，迄(qi)今(jin)為(wei)止(zhi)，我(wo)們(men)已(yi)經(jing)取(qu)得(de)了(le)很(hen)大(da)的(de)進(jin)展(zhan)

，比(bi)如(ru)在(zai)3D視覺解決方案產品迭代方麵，我們推出了四大解決方案，包含：3D視覺引導淺框無序抓取、3D視覺引導單目標精定位、3D視覺引導工件上下料、3D視覺引導拆垛解決方案等； 在應用場景探索落地方麵，我們也跟諸如汽車零部件、工程機械、家電、光伏新能源和物流等行業內的眾多頭部集成商客戶成功落地了多種應用場景，實現了行業應用從0到1的突破。

M：在未來幾年內，您對那些應用行業比較看好？

J：機器視覺對於提高工業機器人的靈活性和可操作性具有重要意義，在大批量工業生產過程中
，3D視覺助力機器人實現更多高精度動作
，拓寬其應用場景
，也大大提高了生產效率和柔性化程度。目前來說
，物流
、金屬加工和汽車零部件等行業，已經成為開始規模化應用3D機器視覺的幾個主要應用市場，另外，家電、醫療、guangfuxinnengyuandengduogegengdatiliangdeshichangyezaiqidongjiqishijiaoduiyuzidonghuachanxiandeshengjigaizao。weilai，gengdadeshichangjihuiyejianglaiziyushangshugongyeshichangdeshangyeleiyingyong。