我國學(xué)者墨子和他的學(xué)生,做了世界上第一個(gè)小孔成倒像的實(shí)驗(yàn),解釋了小孔成倒像的原因,指出了光沿直線進(jìn)行的性質(zhì)。2000多年后的今天,機(jī)器視覺技術(shù)變得越來越復(fù)雜,工業(yè)領(lǐng)域的圖像處理更多的專注于3D傳感器,而且越來越多的技術(shù)已經(jīng)完善并且投入到實(shí)際應(yīng)用中,包括焊縫的檢測,以及在生產(chǎn)過程中對未分類部件進(jìn)行倉揀或精確測量金屬板??梢哉f,機(jī)器視覺已經(jīng)轉(zhuǎn)向了3D成像。
GGII數(shù)據(jù)顯示,2019年中國機(jī)器視覺市場規(guī)模65.50億元(該數(shù)據(jù)未包含計(jì)算機(jī)視覺市場規(guī)模),同比增長21.77%。2014-2019年復(fù)合增長率為28.36%。GGII預(yù)測,到2023年中國機(jī)器視覺市場規(guī)模將達(dá)到155.6億元。
機(jī)器視覺典型應(yīng)用
機(jī)器視覺,或者說計(jì)算機(jī)分析和預(yù)測圖像內(nèi)容的能力,通常只取決于輸入的圖像的好壞。這就是為什么工程師們一直孜孜不倦地從硬件和軟件的角度創(chuàng)造出新的、更好的三維成像技術(shù)手段的原因。
什么是3D成像?
在研究成像時(shí),工程師可以從人眼捕獲和解釋圖像的方式中找到靈感。
一種視差模擬相機(jī)的工作原理
人類視覺系統(tǒng)的工作方式是,每只眼睛從不同的角度觀看世界,并通過稱為視差的過程將這些圖像合并為一個(gè)圖像。3D成像采用相同的方法,每次拍攝都使用兩個(gè)鏡頭,每個(gè)鏡頭拍攝的圖像彼此都不相同。
主動與被動3D成像
3D成像技術(shù)按照工作原理,首先分為被動式和主動式兩類。
被動式視覺效仿生物的雙眼視覺(binocular vision)原理,由至少2枚圖像傳感器(image sensor)構(gòu)成,運(yùn)用其觀測對象在每個(gè)圖像傳感器單獨(dú)成像的位置,結(jié)合2枚圖像傳感器的相對物理位置,根據(jù)幾何關(guān)系測量原理,可以計(jì)算出景深(depth),如下圖所示。
雙目視覺系統(tǒng)的核心在于關(guān)聯(lián)同一觀測點(diǎn)在各自圖像傳感器中的坐標(biāo)位置,如上圖的左圖所示。然而,在實(shí)際使用中,由于受到外部環(huán)境和拍攝對象表面紋理屬性等客觀因素影響,特征點(diǎn)自動匹配在算法上較為復(fù)雜,匹配精度也直接影響到景深計(jì)算精度,影響系統(tǒng)整體效果。
主動式視覺系統(tǒng)則由于其工作原理的不同,有效解決了這一問題。
主動式視覺系統(tǒng)利用獨(dú)立的人工光源,主動投射到觀測對象來測量景深。主動式視覺根據(jù)投射光源和景深技術(shù)原理的不同,又分為三小類:三角測距法、結(jié)構(gòu)光法、飛行時(shí)間法。如下圖所示。下面做詳細(xì)介紹:
主動視覺系統(tǒng)分類
(1)三角測距法(triangular)
三角測距法是利用投射光源、觀測對象和接收圖像傳感器的空間位置,利用三角幾何學(xué)計(jì)算景深的方法。此方法是眾多主動式3D景深視覺系統(tǒng)的底層基礎(chǔ)算法。
(2)結(jié)構(gòu)光法(structured light)
結(jié)構(gòu)光法可以認(rèn)為是針對在被動式視覺系統(tǒng)中特征點(diǎn)匹配問題的對策性方案。如下圖所示,結(jié)構(gòu)光的含義是主動光源通過特定圖案編碼投射到被測物體,例如將分布較密集的均勻光柵投影到被測物體上面,由于被測物體表面的不規(guī)則性具有的不同深度,反射到圖像傳感器的光柵條紋會有所變形,這個(gè)過程可以看作是由物體表面的深度信息對光柵的條紋進(jìn)行了調(diào)制。通過對比圖像傳感器接收到的發(fā)生畸變的光柵圖案和原生圖案,就可以解析出每個(gè)觀測點(diǎn)的深度信息,形成深度點(diǎn)云(point cloud),即深度幀(depth frame)。
結(jié)構(gòu)光景深成像原理示意圖
(3)飛行時(shí)間法(time of flight)
飛行時(shí)間又稱TOF,簡要來說,是基于測量投射的光源信號發(fā)射與接收之間的時(shí)間差,計(jì)算出景深或距離的一種景深計(jì)算方法。
TOF根據(jù)如何測量時(shí)間差又可細(xì)分為脈沖波測距和連續(xù)波測距。脈沖波測距原理是直接測量脈沖信號發(fā)射和接收的時(shí)間差;連續(xù)波測距則是通過連續(xù)發(fā)射整數(shù)波長,通過計(jì)算接收波與發(fā)射波之間的相位差,間接計(jì)算時(shí)間差,如下圖所示。
TOF景深成像原理示意圖
3D成像應(yīng)用
許多領(lǐng)域可以極大地受益于3D成像。
目前比較熱門的應(yīng)用就是自動駕駛汽車。隨著3D成像技術(shù)的改進(jìn),自動駕駛汽車的視覺系統(tǒng)將會更好,讓它們實(shí)時(shí)做出更準(zhǔn)確、更安全的決策。另外增強(qiáng)現(xiàn)實(shí)也是將受益于3D成像應(yīng)用。
除了機(jī)器視覺,醫(yī)學(xué)領(lǐng)域尤其可以看到許多值得注意的應(yīng)用,3D成像在超聲、心臟探查和外科視覺等領(lǐng)域的應(yīng)用將極大地造福于醫(yī)生和患者。
視覺引導(dǎo)脊柱外科手術(shù)
3D成像是已成為科技領(lǐng)域熱門領(lǐng)域之一,隨著技術(shù)在電路層面的不斷完善,很多領(lǐng)域都可能將3D成像確立為一項(xiàng)司空見慣的技術(shù)。