自成立以來，跨維智能致力於將先進的三維幾何深度學習技術賦能機械臂柔性操作等垂直領域，為客戶提供AI視覺算法、3D智能相機及高性價比的軟硬件一體化三維視覺解決方案，讓機器人以靈活主動的方式完成複雜環境下基於三維視覺的定位、識別、引導等任務。

近日，記者有幸邀請到跨維（深圳）智能數字科技有限公司創始人賈奎（博士）做客《機器視覺》雜誌
，深入了解到跨維智能3D視覺解決方案區別與傳統AI+3D視覺解決方案的優勢所在。

M：MACHINE VISION

J：賈奎

M： 賈博士您好，AI技術可賦能的領域眾多，為什麼您會帶領跨維選擇了“以AI技術助力3D視覺賦能機械臂完成柔性操作感知”這一細分領域

？

J：AI領域涵蓋麵非常廣闊，從計算機視覺
、自然語言處理、語音識別等都屬於AI領域
，我從2000年開始就深耕於計算機視覺這個細分領域，在多年的研究中，也積累了相當的研究成果。而3D視覺因為有著模仿人眼、在物理空間形成立體視覺的優勢
，成為了計算機視覺中最底層的訴求。從2015年開始
，我主要專注於3D視覺領域，將AI技術結合到3D視覺中的應用當中。這項研究放眼當時的整個國際學術圈，都是較為領先的存在。

在AI技術助力3D視shi覺jiao的de眾zhong多duo分fen支zhi應ying用yong中zhong
，經jing過guo綜zong合he考kao量liang，賦fu能neng機ji械xie臂bi完wan成cheng相xiang關guan柔rou性xing操cao作zuo感gan知zhi是shi可ke落luo地di性xing與yu商shang業ye變bian現xian周zhou期qi較jiao短duan的de。而er且qie工gong業ye智zhi能neng製zhi造zao的de大da多duo場chang景jing都dou是shi半ban開kai放fang的de環huan境jing，通tong過guoAI技術助力3D視shi覺jiao，可ke以yi從cong根gen本ben上shang改gai變bian以yi往wang機ji械xie臂bi柔rou性xing操cao作zuo在zai傳chuan統tong方fang案an中zhong的de固gu有you缺que陷xian。從cong長chang遠yuan出chu發fa
，這zhe樣yang的de產chan品pin形xing式shi能neng夠gou改gai變bian當dang前qian自zi動dong化hua產chan線xian的de設she計ji思si路lu，以yi搭da積ji木mu方fang式shi實shi現xian整zheng個ge產chan業ye線xian的de自zi動dong化hua，也ye能neng夠gou把ba自zi動dong化hua推tui向xiang智zhi能neng製zhi造zao的de新xin階jie段duan。

M： 在跨維智能成立的有限時間裏，卻迸發出了無限的潛力，可以分享一下貴司核心技術嗎
？

J：從底層出發
，跨維智能核心技術是Sim2Real AI雲中台DexVerse。行業中絕大部分的AI技術，還是傳統意義上的圖像的識別、理解、語義分割等圖像層麵上的。而3D技術本身解決的是三維物理空間中的問題
，對物體的空間位置進行感知定位，並完成相關操作。而跨維的雲中台DexVerse是一款新型的AI平台
，它可以通過打通物理仿真、數據合成
、AI 設計與訓練
、模型軟硬件部署的閉環，建立 Sim2Real 虛擬空間與現實空間的映射關聯

，實現對機械臂柔性操作、機器人感知與控製等任務的AI賦能。

liru，jixiebiruhejiangzhuomianshangdeshuibeinaqizheyangdecaozuo
，zairenleideganzhizhongsihushifeichangqingeryijude，danzaijiqideyanzhong，zheshiyigexiangdangfuzadeguocheng。shouxianxuyaojiedudeshibeizifangzaizhuomianshang，julijixiebidejulishiduoshao？gaodushiduoshao
？qicishijieshangbeiziqianbianwanhua，beizixingtaibianhuanhou
，jiqishifouhainengrenchuzheshiyigebeizi？jiqiruhequyingduixingtai、顏色、大小均各異的“杯子”
？

機械臂在跨維雲中台DexVerse的助力下，通過物理仿真與數據合成，可以訓練出機械臂拿起水杯所需要的各種數據，去支持機械臂實現對目標物體後續的抓取
、定位

、上下料、拆垛等操作。通過仿真空間中模擬物體之間的相互作用
、運動和變形，以預測真實世界中的物理行為，並合成虛擬數據用於深度學習模型訓練。

M：為何Sim2Real AI是實現3D視覺大模型和通往垂直場景AGI高效且低成本的重要技術？

J：跨維智能Sim2Real AI雲中台DexVerse所使用的AIjishu，xiangbiqijichudetuxianglijie
，shikuaweidudenanduyuesheng。shouxiansanweishujudehuoqubenshenxiangbierweishujujiunandeduo，gongyechangjingzhongdesanweishujuyouyukaifangduobiandechangjingjiyinsibaohudaozhihailiangzhenshishujucaijinanshangjianan
，erqiezhenduigezhongcorner cases的真實數據難以有效獲取。其次是現階段的AI技術從數據獲取到AI模mo型xing訓xun練lian，再zai到dao垂chui直zhi的de應ying用yong場chang景jing，這zhe之zhi間jian由you於yu技ji術shu與yu應ying用yong的de分fen離li

，導dao致zhi模mo型xing的de應ying用yong效xiao果guo不bu太tai理li想xiang。在zai工gong業ye領ling域yu眾zhong多duo場chang景jing裏li，就jiu會hui形xing成cheng數shu據ju孤gu島dao
，從cong數shu據ju與yu知zhi識shi上shang難nan以yi互hu通tong利li用yong。最zui後hou是shi現xian有youAI技術的標注難題，如何實現高精度3D等高維標注仍然屬於痛點難題。

基於現有AI所麵臨的難題成就了跨維智能的核心產品Sim2Real AI雲中台DexVerse，通過物理仿真合成數據
，可以實現加速AI在垂直場景中的落地應用。DexVerse對於跨維自身產品的形成也是決定性的，可以以更快速、更低成本、更產品化的方式解決3D視覺助力機械臂的非標定製問題。

M：可以簡單介紹一下跨維智能的係列產品嗎？

J：基於自研的Sim2Real AI雲中台DexVerse，跨維智能構建了完善的智能製造軟硬件產品生態，也就是跨維智能的“1+3”產品體係。“1”是自研的Sim2Real AI雲中台DexVerse，“3”即DexVision3D工業視覺軟件、DexSense3D工業智能相機、DexOne智能視覺一體化設備。

基於DexVerse所構建的DexVision3D工業視覺軟件：PickWiz 3Dshijiaoyindaoruanjian，keyizaifangzhenkongjianmoniduoyanghuachangjing
，bingshengchengdaliangdehechengshuju。zheyangdegongyeshijiaoruanjiankeyingyongdechangjinggengduoyanghua，bujinjianshaolemoxingzhongfudajiandechengben，erqiezuizhongshibiexiaoguoyouyuzhenshishuju

，bingqiemonideduoyanghuachangjingyeshishijiaoxitongdewendingxinghexiaolvdafutisheng。

DexSense 3D工業智能相機：XEMA北極鷗係列開源相機，它可以支持一鍵連接跨維 PickWiz 3D視覺引導軟件的
，搭載上DexVerse雲平台，可實時收集真實數據
，不斷在雲端優化視覺算法。如果DexVerse雲平台是大腦，那麼DexSense 3D工業智能相機就是眼睛，好的成像能力可以減輕大腦的負載壓力，這也是跨維智能自研相機的初衷。

最後，DexOne 智能視覺一體化設備，是跨維智能布局引領智能智造領域範式改變的重要一步。該設備也是基於自研的 DexVerse 平台
，通過深度域適應優化算法實現整個流程的自動化，針對工業場景中的痛點進行模型設計，滿足工業現場落地需求。以3D視覺引導機械臂對物料進行上下料抓取，搬運

，替代傳統人工作業抓取搬運，有效提高產線的生產效率和生產質量，產能提高20%以上；同(tong)時(shi)
，該(gai)項(xiang)目(mu)機(ji)器(qi)人(ren)為(wei)模(mo)塊(kuai)化(hua)架(jia)構(gou)，針(zhen)對(dui)未(wei)來(lai)不(bu)同(tong)的(de)產(chan)品(pin)工(gong)藝(yi)，具(ju)有(you)更(geng)高(gao)兼(jian)容(rong)性(xing)，可(ke)觸(chu)及(ji)更(geng)多(duo)更(geng)廣(guang)的(de)生(sheng)產(chan)範(fan)圍(wei)

，以(yi)滿(man)足(zu)客(ke)戶(hu)日(ri)益(yi)增(zeng)長(chang)的(de)柔(rou)性(xing)化(hua)需(xu)求(qiu)。

M: 作為公司自研的Sim2Real AI雲中台DexVerse，您可以談談未來公司基於DexVerse的產品研發規劃嗎
？

J：基於我們自研的Sim2Real AI雲中台DexVerse所能夠支撐的
，其實不單是機械臂
、智能製造相關的應用
，更是服務泛機器人底層AI能力形成的加速器。無論是幫助具身智能去感知3D定位

，還是去幫助無人車做導航和物體識別，它都是一款非常不錯的AI能力平台，3D合成數據還有機會賦能3D AIGC、AI生物製藥
、AI新材料等更廣泛的領域。

M：自公司成立以來，貴司一直致力於推動3D視覺引導機械臂柔性操作領域的普及化應用，請問在這個方向上取得了哪些成果？

J：“3D視覺+智能相機+機械臂”是shi未wei來lai自zi動dong化hua新xin型xing應ying用yong重zhong要yao的de載zai體ti。目mu前qian，在zai國guo內nei自zi動dong化hua產chan線xian智zhi能neng製zhi造zao的de升sheng級ji過guo程cheng中zhong

，這zhe樣yang的de新xin型xing應ying用yong載zai體ti隨sui處chu可ke見jian。基ji於yu市shi場chang需xu求qiu，我wo們men在zai產chan品pin研yan發fa和he應ying用yong探tan索suo上shang也ye一yi直zhi走zou在zai行xing業ye的de前qian沿yan，迄qi今jin為wei止zhi
，我wo們men已yi經jing取qu得de了le很hen大da的de進jin展zhan，比bi如ru在zai3D視覺解決方案產品迭代方麵，我們推出了四大解決方案，包含：3D視覺引導淺框無序抓取、3D視覺引導單目標精定位、3D視覺引導工件上下料、3D視覺引導拆垛解決方案等； 在應用場景探索落地方麵
，我們也跟諸如汽車零部件
、工程機械
、家電
、光伏新能源和物流等行業內的眾多頭部集成商客戶成功落地了多種應用場景
，實現了行業應用從0到1的突破。

M：在未來幾年內，您對那些應用行業比較看好
？

J：機器視覺對於提高工業機器人的靈活性和可操作性具有重要意義
，在大批量工業生產過程中
，3D視覺助力機器人實現更多高精度動作，拓寬其應用場景，也大大提高了生產效率和柔性化程度。目前來說，物流、金屬加工和汽車零部件等行業
，已經成為開始規模化應用3D機器視覺的幾個主要應用市場，另外，家電、醫療、光guang伏fu新xin能neng源yuan等deng多duo個ge更geng大da體ti量liang的de市shi場chang也ye在zai啟qi動dong機ji器qi視shi覺jiao對dui於yu自zi動dong化hua產chan線xian的de升sheng級ji改gai造zao。未wei來lai，更geng大da的de市shi場chang機ji會hui也ye將jiang來lai自zi於yu上shang述shu工gong業ye市shi場chang的de商shang業ye類lei應ying用yong。