3D機器視覺的核心技術壁壘是什麼

時間 2022-01-11 06:26:42

1樓:與非網

萬物智慧型的明天會發展成什麼樣?可以肯定的是,不論是機械人還是智慧型裝置,都需要與人、與周圍環境進行互動。在機器裝置自動化、智慧型化的發展趨勢下,機器視覺正步入新的發展階段,對於三維深度感知能力的需求不斷加大,傳統的2D機器視覺正快速向3D公升級。

可以說,3D視覺技術是高階製造和智慧型機械人的關鍵技術,它賦予了機械人「眼睛和大腦」的三維感知能力,是構建AI智慧型機器生態的重要一環。

3D視覺,為何遲遲未能爆發?

圖源 | mbvision.si

3D視覺利用近紅外線光來掃瞄周圍環境,再由CMOS影象感測器接收並轉換為數碼訊號,最後通過晶元計算出物體在三維空間中的遠近與相對位置,因此能了解物體的動作、與環境的互動,由此即能發展出由動作控制計算機的體感操控,檢測出前方的物體;它也可以通過環境掃瞄建立3D模型,以供製圖或虛擬導覽運用的3D掃瞄器等應用。

由於2D視覺逐漸無法滿足對複雜物件識別和尺寸測量精度日益增加的要求,因此也催生了3D視覺的增長。那麼3D視覺應用已經爆發了嗎?首先從以往的場景來看,其實還不夠豐富,主要應用於大型工業製造業企業、物流、智慧型城市監控,以及少部分消費應用等。

再從技術本身的發展來看,從2D轉向3D,需要所獲取資訊質量和數量的飛躍。相對來說,2D視覺市場積澱深,3D視覺方案只有達到一定的成熟度,才可以全面實現2D向3D的轉變。

但是,3D機器視覺技術門檻高,涉及到光學、結構、散熱等跨學科設計問題,再加上晶元、演算法構成的複雜系統設計,需要一定的技術實力,投入足夠的時間和人才,才可以研發相關方案。也就是說,技術門檻高、投入大、研發企業少,都是阻礙3D視覺快速普及的原因。

在筆者與一位機械人領域的研發人員交流中,他表示,「機械人是一種基於多種技術融合和實現的產品,特別是在視覺領域,由於核心技術研發投入大、周期長,通常下游設計需要完整的系統級解決方案,需要有競爭力的、高度整合的、易於使用的產品,這樣才能帶動下游大規模的市場需求。」在他看來,完整的系統級解決方案是推動整個產業生態發展的關鍵一環。

要做機器視覺領域的「聯發科」?

圖源 | issart.com

來自下游的需求,正在與上游的布局匹配起來。

筆者在對3D晶元及模組廠商銀牛微電子的採訪中了解到,該公司正在從晶元到模組,包括3D視覺+SLAM+AI演算法,形成一體化的系統解決方案。

用銀牛微電子董事長兼CEO 曲冠誠的話來說,銀牛當前在機器視覺產業鏈中的定位「就像是手機行業當年的聯發科」。他表示,「從晶元到模組再加上應用演算法,根據各個行業的需求推出系統解決方案。我們的首款3D機器視覺模組面向機械人行業,希望以此加速行業的變革。

」當年在智慧型手機市場,聯發科通過turn-key解決方案,把智慧型方案從成本到應用程度做成了成熟的商業模式。「我們現在處於同樣的位置,機械人這個領域不管有多少玩家,大家都可以很方便地用我們的模組去做3D視覺方案,整個機械人產業的功能、生產成本、生產週期,都會大大改善」, 曲冠誠表示。

那麼,銀牛微電子的信心源於什麼?該公司是為併購以色列3D視覺和AI晶元公司Inuitive而成立的一家初創公司。追溯Inuitive的發展,據稱它是世界上第乙個在晶元內實現對3D雙目功能的支援,3D engine同時支援雙目和結構光技術。

不僅如此,Inuitive還能在晶元中同時實現3D engine + SLAM + AI功能。基於近十年的技術儲備,Inuitive在計算機視覺、人工智慧、光學、系統架構、嵌入式系統軟體、邊緣計算及晶元設計等領域積累了豐富經驗。迄今共已迭代了兩代晶元並實現量產,並有多款模組產品滿足不同應用需求。

去年11月底,銀牛微電子與Inuitive完成了收購協議的工商變更,至此實現了對Inuitive的絕對控股。

最新推出的銀牛3D機器視覺模組C158,就是基於Inuitive 3D深度感知技術的首款模組產品,針對中國本土化需求而設計。C158基於NU4000晶元,深度解析度為1280 x 800 @60fps,感知距離6m,深度感知精度誤差為1%,可滿足對3D深度效能有高要求的應用;AI效能方面,該產品擁有2 TOPs的AI運算能力和靈活配置;模組體積為125mm x 40mm x 27mm,支援120fps的2路攝像頭以及6自由度座標的重定位,能夠實現實時高精度姿態跟蹤;功耗方面,C158以0.5w可實現5-6 TOPS算力。

據銀牛微電子聯合創始人兼副Quattroporte何火高介紹,通過在模組中整合3D深度、SLAM實時定位建圖引擎及人工智慧等功能,銀牛希望推動3D視覺與AI融合的新發展。而構建3D視覺+AI融合的方案,除了深度感知技術所涉及的深度視覺引擎,需要專為3D感知功能設計,同時要具備出色的效能功耗。此外,SLAM(實時定位與建圖)和TimeWarp (ATW)非同步時間扭曲也是兩大核心技術,前者有助於感測器在運動過程中探測並建立環境模型,同時估計自身的運動並定位;後者則可以產生中間幀,從而有效減少畫面的抖動,這項技術對AR、VR尤其重要,因為VR目前面臨的最大問題就是眩暈感,非同步時間扭曲通過產生中間幀減少畫面抖動,現在從動作到畫面反應的延遲,已經做到了小於1毫秒。

「機器視覺不僅僅是看到,而是要達到某種目的。人也好,機器也好,理解這個世界,看到同時需要處理資訊,這就需要強大的計算能力。之後還要進行分析、判斷、決策、執行,需要系統的整體的設計或功能塊不斷增強,這些都是缺一不可的,這是所有機器視覺都需要不斷完善的方向」, 何火高表示。

已站上四大風口起點

機械人、自動駕駛、金融支付已經體現出對3D視覺的強需求,當然,還有虛實相融的元宇宙,AR、VR等XR裝置和3D互動需求已經率先凸顯。

這些需求帶來了龐大的市場,但這也是極度碎片化的市場。

僅以機械人應用來看,就有各種機械人廣義上的變形。不同機械人在雙目之間的距離差距較大,有的要求100公釐,有的要求55公釐……再看具體的應用場景,有的是倉儲機械人,有的是服務機械人……又體現出千差萬別的設計需求。

「機械人產業很龐大,雖然碎片化確實很嚴重,但是這對我們來說不是問題,因為我們提供的是針對機械人行業的通用3D視覺模組」,銀牛微電子聯合創始人兼首席戰略官白逸表示,「模組的好處是隨著在個別市場的應用成熟,在某個市場通過量產、客戶和市場的考驗後,能夠基於已有的完整的基礎軟體和開發環境繼續完善。它可以用在任何乙個市場的,乙個市場需求成熟後,只需要快速迭代乙個新的模組產品,就可以滿足突然爆發的需求。」

至於為什麼首個細分賽道選擇機械人?曲冠誠表示,「現在看來,機械人的需求是爆發性的,只要有貨就有人要,現在是產能能能跟上的問題。這個應用場景有真實和巨大的需求,和我們的產品特點也非常契合,整體效益、利潤率都很高。

模組產品能夠幫助使用者以更低的門檻、成本加快研發和應用落地,最終促進3D視覺生態的發展。」

不僅是機械人,隨著元宇宙概念的出圈,XR市場已接近高速發展的拐點。

德勤在最新推出的《未來已來:全球XR產業洞察》中指出,現階段元宇宙處於起步階段,在於對基礎設施及裝置的建設和開發,特別是擴充套件現實裝置(XR)是現階段的關鍵產品,包括VR、AR、MR等,XR當前的發展的狀態十分類似於智慧型手機進入高速發展期的拐點階段。

「一項好的技術要形成一款成功的產品,從而最終推動整個生態的發展,中間有著巨大的鴻溝,這個鴻溝可能90%是軟體的工作量」, 白逸表示,「軟體工作的缺口還是非常大的,我們在國內已經開始建立龐大的軟體團隊,且明年至少規劃120-150人的軟體團隊規模,來支撐不斷湧現的細分市場、不斷增長的客戶需求,這也是銀牛打造生態的關鍵環節。」

寫在最後

GGII資料顯示,預計到2023年我國機器視覺市場規模將達到208.6億元,其中3D視覺市場規模將達到34.28億元,預計到2023年我國3D視覺市場規模將超過100億元。

在這個未來的百億級市場中,3D視覺將趨於智慧型化、整合化、實時性、高效能、多場景應用等方向。而從當前整體產業布局來看,處於底層的視覺硬體裝置中繞不開的卡脖子技術就是晶元和光學鏡頭等,這些將是我國下一步發展的重點。

銀牛通過通過收購以色列公司,基於晶元、演算法、模組等構築了人工智慧時代IoT和邊緣端完整的3D感知和異構計算平台,以及相關生態,如何繼續推進核心晶元、演算法技術的迭代,以及建立生態圈將是下一步的重點。

「人生就像滾雪球,最重要之事是發現濕雪和長長的山坡。」巴菲特用滾雪球來比喻通過複利的長期作用實現巨大財富的積累。對企業來說,所謂長長的坡就是指行業發展空間巨大;而厚厚的雪,則指自身的核心技術、商業模式、盈利能力足夠強。

在現實的市場中,充滿了要麼坡不夠長、要麼雪不夠厚的企業。從這個層面來看,銀牛及其所處的3D視覺行業是幸運的。

就像採訪中曲冠誠所說,不論是產品還是行業,都有其生命週期,都要經歷從開始到爆發、再到實現平衡、最後走向遞減的過程。也許起點只是乙個新興的、很小的點,存在很多競爭,不同廠商在其中做不同的市場測試,再到逐步讓使用者接受,然後產業做大做強。「現階段,3D視覺就是正好在風口的起點上。

明後年會有大規模的出貨,比之前有爆發式的增長,這是很顯著的發展勢頭」,他表示。

檢視完整報告,請戳:

3D視覺+AI賽道,長坡厚雪迎來爆發期?-基礎器件-與非網

3D列印技術的優勢 侷限是什麼?目前技術應用情況怎麼樣?相關技術的研究依賴哪方面的技術突破?前景如何?對製造業的影響展望?

3D智作工作室 馬上2021年了,這裡問題答案太老了。我更新下答案。3D列印現階段技術優勢是在產品開發和小批量生產,雖然批量生產目前也有應用,但是還侷限性很大。你構思的產品都能通過3D列印實現實物化。前提是不違背現實理論,比如重力之類的。免去了你產品設計到實物樣品繁瑣的製作流程。機器好,夠多也可以通...

3D 全息的實現技術都有哪些?是否成熟?

目前完全不採用任何介質,直接在空氣中成像的技術是沒有的,但是已經有了一種偽全息3D的技術,這種機器叫 全息3D廣告機,這種廣告機是通過LED燈的旋轉排列進行成像,當旋轉達到一定轉速後,風扇的葉子人的視覺是無法看到的,通過視覺上的短暫停留產生3D效果。我們公司有完整的產品方案。當然還有一些採用全息膜或...

3D渲染中的技術能解決哪些問題?

Milo Yip 問題太多,恕不詳答。總括而言,一些技術用於提公升渲染品質,一些技術在不改變品質下 或少許影響下 優化渲染效能。例如各種紋理過濾屬前者,各種空間剖分屬後者。另外,還有一些是為了令製作更方便,例如各種建模和動畫製作技術。 Vinjn張靜 Real Time Rendering 是好書,...