前言

在制造業(yè)中，裝配技術(shù)旨在采用快速，可靠，低成本的裝配方法來提高產(chǎn)品設(shè)計質(zhì)量，縮短產(chǎn)品開發(fā)周期，節(jié)約成本。傳統(tǒng)的原型裝配方法就是制造出零件的原型。零件原型雖然能夠給操作者提供真實的裝配操作體驗，但零件原型的開發(fā)成本非常高，如果發(fā)現(xiàn)產(chǎn)品設(shè)計不足，無法在零件原型上直接修改，必須重新制造原型來改進，反復(fù)這個過程直到得到滿意的產(chǎn)品設(shè)計。這種開發(fā)方式導(dǎo)致產(chǎn)品設(shè)計周期長，成本高。隨著計算機輔助設(shè)計技術(shù)的發(fā)展，裝配操作變得越來越自動化，虛擬裝配極大地推動了裝配技術(shù)的進步。虛擬裝配技術(shù)采用計算機生成的虛擬三維零件模型來代替零件原型，不需要加工出樣品原型，可以大幅度降低生產(chǎn)成本，而且零件的改進只需要修改對應(yīng)的虛擬模型，大大縮短了設(shè)計時間。然而虛擬裝配也有其不足之處，就是其將設(shè)計人員完全浸入在虛擬的環(huán)境中，沒有任何真實裝配空間的信息，導(dǎo)致操作環(huán)境真實感不足，操作不夠直觀高效。如果將增強現(xiàn)實技術(shù)應(yīng)用到裝配設(shè)計中，就可以利用增強現(xiàn)實的虛實結(jié)合的特點，將真實的裝配空間和虛擬的零件模型操作結(jié)合到一起，使裝配環(huán)境更加真實，交互方式更加自然，裝配操作更加直觀高效，裝配效果更加可靠。

本文提出了一個基于增強現(xiàn)實的協(xié)同式裝配系統(tǒng)的框架結(jié)構(gòu)并詳細闡述了系統(tǒng)中注冊跟蹤、遮擋處理、碰撞檢測、人機交互、運動仿真等幾個關(guān)鍵模塊的設(shè)計和實現(xiàn)方法。系統(tǒng)包含了增強現(xiàn)實和裝配設(shè)計上的諸多關(guān)鍵技術(shù)：為支持多用戶協(xié)同設(shè)計，系統(tǒng)采用c／s體系結(jié)構(gòu)；遮擋處理是用于計算虛擬模型和真實物體正確的遮擋關(guān)系；碰撞檢測用來判斷零件之間是否發(fā)生碰撞，進而判斷零件之間的約束關(guān)系和輔助交互工具與零件的交互過程；在人機交互設(shè)計上，系統(tǒng)不是采用傳統(tǒng)的二維鼠標和菜單，而是設(shè)計了一系列針對增強現(xiàn)實裝配操作的交互工具，用以模擬真實環(huán)境下的三維交互。這些交互工具是虛擬面板、虛擬筆和虛擬手套。本文還提出了一個全新的基于增強現(xiàn)實的裝配體運動仿真方法，探討了虛擬零件與真實零件相互驅(qū)動的可能性。當(dāng)產(chǎn)品零件裝配完畢后，系統(tǒng)可以根據(jù)裝配體零件的約束關(guān)系和裝配特征，計算運動過程中零件的運動方位信息，實現(xiàn)運動仿真，用來輔助設(shè)計人員驗證裝配體安裝可行性，發(fā)現(xiàn)產(chǎn)品設(shè)計的缺陷和衡量產(chǎn)品的性能。根據(jù)系統(tǒng)的框架結(jié)構(gòu)和技術(shù)細節(jié)，本文開發(fā)了一個原型系統(tǒng)并通過實例給出了各技術(shù)模塊的實現(xiàn)結(jié)果，驗證了系統(tǒng)的可行性。

1、增強現(xiàn)實在裝配技術(shù)上的應(yīng)用

本文主要探討增強現(xiàn)實在裝配領(lǐng)域中的應(yīng)用開發(fā)。裝配技術(shù)是現(xiàn)代制造業(yè)中一項非常重要的領(lǐng)域，已經(jīng)被證明為對早期階段的產(chǎn)品設(shè)計有重大的意義(Nof et a1．1997)。裝配過程一般在產(chǎn)品的整個設(shè)計制造過程中占用約40％-60％的人時數(shù)。如何找到高效、可靠，能夠保證產(chǎn)品質(zhì)量，同時又能夠減少生產(chǎn)成本，提高產(chǎn)品競爭力的裝配技術(shù)對整個制造業(yè)都有著重要意義(Yan et a1．2003)。傳統(tǒng)的裝配方式就是加工出產(chǎn)品的物理原型零件(PhysicalPrototyping)，通過零件裝配過程幫助用戶發(fā)現(xiàn)設(shè)計的不足和漏洞，進而改進產(chǎn)品設(shè)計，這種裝配方式由于是制造出產(chǎn)品原型，能夠給用戶提供真實的視覺、聽覺和觸覺反饋，在過去二十多年中得到非常廣泛的應(yīng)用，但是原型方式是一個非常耗時耗資源的過程，加工出產(chǎn)品的原型后如果發(fā)現(xiàn)出產(chǎn)品設(shè)計缺陷，無法在原型上直接修改，需要重新設(shè)計，重新制造，反復(fù)整個過程直到得到滿意的設(shè)計結(jié)果，因此導(dǎo)致整個設(shè)計開發(fā)周期長，成本高。

隨著計算機輔助技術(shù)和虛擬現(xiàn)實技術(shù)的發(fā)展，虛擬原型(VirtualPrototyping)技術(shù)逐漸發(fā)展成熟并得到應(yīng)用，被稱之為虛擬裝配(VirtualAssembly)。虛擬裝配采用虛擬現(xiàn)實技術(shù)，通過計算機生成一個全虛擬的三維裝配環(huán)境，虛擬裝配系統(tǒng)通過運動跟蹤和力反饋等技術(shù)給用戶提供在裝配環(huán)境中的操作手段，仿真整個裝配過程。Jayaram et al(1997)開發(fā)了一個稱為VADE(Virtual Assembly Design Environment)的虛擬裝配設(shè)計環(huán)境系統(tǒng)，提供一個完全浸入式的虛擬環(huán)境，來幫助設(shè)計人員從設(shè)計初期就考慮到零件裝配、拆卸的過程，輔助分析產(chǎn)品設(shè)計。圖1．3為德國A．R．T．GmbH公司的全身定位系統(tǒng)在虛擬裝配的應(yīng)用示例。操作人員先將在CAD系統(tǒng)建立的零件模型導(dǎo)入到虛擬裝配系統(tǒng)中，然后佩戴定位系統(tǒng)和力反饋設(shè)備，在虛擬裝配環(huán)境中直接操作虛擬零件進行裝配，通過虛擬的裝配過程檢驗產(chǎn)品的可裝配性，獲得裝配體驗，評估和改進產(chǎn)品設(shè)計。

 
(a)操作人員佩戴全身定位系統(tǒng)進行裝配操作

 
(B)對應(yīng)的虛擬裝配環(huán)境和操作
圖1 A.R.I虛擬裝配

由此可見，虛擬裝配不需要加工出產(chǎn)品原型，而只是操作虛擬的CAD模型．可以反復(fù)設(shè)計修改，因此能夠大幅度的縮短開發(fā)周期和降低開發(fā)成本，使裝配過程變得更加快速、高效、經(jīng)濟。然而虛擬裝配技術(shù)同樣存在一定的缺陷，那就是操作人員處在一個完全由計算機圖形組成的虛擬的裝配環(huán)境中，沒有包含真實環(huán)境中的信息．僅僅是通過虛擬場景來模擬出真實的工作環(huán)境，其通過視覺，力反饋等技術(shù)所虛擬出來的真實感是有限的。雖然現(xiàn)在的計算機軟硬件性能已經(jīng)越來越強，但是要開發(fā)能夠滿足生成有足夠真實感的場景，能夠處理復(fù)雜的裝配操作．同時又達到實時性要求的系統(tǒng)往往還是很困難的(Pang et al2005)。

增強現(xiàn)實由于其虛實結(jié)臺的特性，恰恰能夠解執(zhí)虛擬現(xiàn)實的場景真實感不足的問題，如果將增強現(xiàn)實技術(shù)應(yīng)用到裝配領(lǐng)域中，則能夠給操作者提供一個即包含周圍真實裝配環(huán)境又同時有虛擬信息的混臺環(huán)境，大大增強用戶的真實感。在這樣的裝配系統(tǒng)中，一部分零件是加工出來的原型，另一部分是虛擬的CAD模型，操作者既可以操作真實的零件也可以同虛擬的模型交互，從而將物理原型(Physical prototyping)和虛擬原型(Virtual prototyping)的優(yōu)點結(jié)合起來。

許多學(xué)者不斷研究探索增強現(xiàn)實在裝配技術(shù)中的關(guān)鍵技術(shù)和應(yīng)用。Haniffet al(1999)提出了基于增強現(xiàn)實的裝配訓(xùn)練系統(tǒng)，通過將零件名稱、裝配信息、正確的裝配位置以圖形的形式疊加到真實裝配環(huán)境中來，使得訓(xùn)練者能夠較快的獲得裝配體驗，熟練掌握裝配過程。Yuan et al(2008)采用RCE神經(jīng)網(wǎng)絡(luò)模型設(shè)計了一個交互工具來輔助裝配操作。Shen et a1．(2008)詳細的闡述了如何將虛擬的信息，如注釋、高亮顯示的模型特征等．無遮擋的顯示給用戶，以指導(dǎo)用戶進行裝配。在汽車制造業(yè)，已經(jīng)出現(xiàn)采用增強現(xiàn)實技術(shù)指導(dǎo)車門裝配的應(yīng)用(Reiners et a1．1998)。．隨著基予增強現(xiàn)實的裝配技術(shù)不斷發(fā)展，一些學(xué)者開始對這種裝配技術(shù)的性能進行評估(Tang et a1．2003，1|I『iedenmaier et al。2003)。

隨著裝配技術(shù)的復(fù)雜化，協(xié)同式裝配系統(tǒng)逐漸成為進一步的研究方向。協(xié)同式系統(tǒng)采用客戶／服務(wù)器(Client／Server)式架構(gòu)，能夠同時支持多入?yún)f(xié)同式工作，用戶可以從不同焦度觀察和操作共同的裝配體，通過交流合作完成裝配任務(wù)。Billinghurst et al。(1998)開發(fā)了TransVision系統(tǒng)，利用虛擬物體的信息作為提示輔助多用戶的合作決策過程。Broll et a1．(2000)展示了～個虛擬圓桌(Virtual Round Table)，能夠?qū)⒘Α⑤d荷等抽象信息用可視化的圖形表達出來，支持多用戶協(xié)同操饞。Amin Hammad et a1．(2009)采用分布式協(xié)同結(jié)構(gòu)，通過增強現(xiàn)實技術(shù)模擬起重機作業(yè)，并提出一個增強現(xiàn)實分布式協(xié)同建設(shè)的方法(DARCC)。

作為一個新興的領(lǐng)域，基于增強現(xiàn)實的裝配技術(shù)還遠來成熟，還需要更多的研究和探索。然而增強現(xiàn)實技術(shù)虛實結(jié)合的特性必將使其得到越來越廣泛的應(yīng)用，甚至成為新一代的制造技術(shù)(Pang et a1．2005)。

2 、系統(tǒng)框架

與虛擬裝配相比，基于增強現(xiàn)實的裝配由于其虛實結(jié)合的特性能夠提供更加真實的裝配環(huán)境和更加直觀的交互方式。本文提出的系統(tǒng)的設(shè)計目的是使裝配操作變得更加真實、直觀、簡單、快速和節(jié)約成本。協(xié)同式設(shè)計是為了使系統(tǒng)能支持多用戶同時進行裝配操作，用戶可咀從不同角度觀察產(chǎn)品設(shè)計，通過交流合作完成裝配設(shè)計。圖1給出該系統(tǒng)的框架結(jié)構(gòu)。下文將介紹系統(tǒng)框架中的各個模塊。

 
圖1系統(tǒng)的框架圖

為支持多用戶操作，系統(tǒng)采用技術(shù)成熟的客戶／服務(wù)器(c／s)軟件體系結(jié)構(gòu)。客戶／服務(wù)器結(jié)構(gòu)是20世紀90年代逐步發(fā)展成熟的技術(shù)。該結(jié)構(gòu)將軟件應(yīng)用一分為二，服務(wù)器作為后臺管理數(shù)據(jù)，處理客戶請求；客戶端為前臺顯示數(shù)據(jù)，完成用于客戶交互和預(yù)處理。該結(jié)構(gòu)利用客戶機和服務(wù)器各自的硬件環(huán)境處理能力，將任務(wù)合理的分配到兩端。客戶端接收客戶輸入和前期處理后提交給服務(wù)器，服務(wù)器負責(zé)處理客戶端請求。這樣一方面減輕了服務(wù)器端的數(shù)據(jù)負荷同時保證了數(shù)據(jù)存儲管理的一致性。

在本文的裝配系統(tǒng)中客戶端主要包含客戶信息(C1ient Information)、本地數(shù)據(jù)庫(Local Database)、注冊跟蹤、顯示和修改更新等子模塊。其中客戶信息是指當(dāng)前客戶端的名稱、用戶類型、當(dāng)前工作狀態(tài)等信息。不同類型的用戶擁有不同的權(quán)限等級，對應(yīng)不同的觀察和修改權(quán)限，后面將詳細介紹用戶權(quán)限管理。本地數(shù)據(jù)庫用來保存和管理本地模型。本地模型是指組成當(dāng)前裝配體的模型以及用戶從服務(wù)器端調(diào)出的臨時模型。在裝配過程中，服務(wù)器端模型庫保存全部的零件模型，但客戶端并不需要將所有這些模型調(diào)入到本地數(shù)據(jù)庫中，而只需將當(dāng)前裝配體的組成模型和候選零件模型等調(diào)入，當(dāng)某些零件從裝配體中移走后，客戶端數(shù)據(jù)庫將刪除這些零件模型。由于每一個客戶端用戶處于不同的觀察角度，所以每一個客戶端都需要單獨注冊跟蹤模塊來注冊裝配空間坐標系，實時獲取自己當(dāng)前的所處位置信息。顯示模塊主要采用OpenGL為圖形接口繪制虛擬模型并將其與攝像機獲得的真實場景圖像融合，最終輸出到用戶的監(jiān)視器或頭盔顯示器上顯示。在圖像融合過程中會涉及到遮擋處理等技術(shù)，達到虛實融合的目的。當(dāng)用戶使用交互工具執(zhí)行裝配操作時，需要將裝配體的修改請求提交給服務(wù)器端，服務(wù)器將根據(jù)用戶權(quán)限和修改命令來更改數(shù)據(jù)，并更新到所有客戶端數(shù)據(jù)庫中，使所有用戶能夠看到統(tǒng)一的修改后的裝配體，保持裝配體的一致性。

服務(wù)器端用來管理數(shù)據(jù)和處理客戶端請求。其中模型庫(Model Library)保存所有裝配設(shè)計所需的零件模型，這些模型由商用的CAD軟件創(chuàng)建并導(dǎo)入到系統(tǒng)中。零件模型不但包含用于顯示的幾何信息，還包括實體信息、裝配特征和約束特征等。裝配樹(assembly tree)是用來管理裝配體零件的組成關(guān)系，用戶修改裝配體的過程實際就是對裝配樹的修改，具體細節(jié)將在后文描述。當(dāng)用戶完成一個裝配體的初步設(shè)計后，運動仿真模塊可以對裝配體的運動進行仿真，用以幫助用戶發(fā)現(xiàn)設(shè)計不足，評估設(shè)計效果，進而改進設(shè)計。在運動仿真的過程中，服務(wù)器端實時的將裝配體各個零件的位置信息更新給客戶端，客戶端根據(jù)新的零件位置信息顯示相應(yīng)的裝配體運動姿態(tài)。同客戶端一樣，服務(wù)器端也包含服務(wù)器信息，用于保存當(dāng)前服務(wù)器狀態(tài)。命令列表(Command List)

用來保存和調(diào)度客戶的命令請求，由服務(wù)器端依次執(zhí)行相應(yīng)的命令。注釋(Annotation)模塊是保存模型庫中零件的名稱、裝配特征、幫助信息等內(nèi)容，這些內(nèi)容會在裝配操作過程中根據(jù)需要調(diào)入到客戶端并顯示出來，作為提示信息，輔勘用戶操作。權(quán)限控制(Authority Contr01)是用來管理不同類型用戶的操作權(quán)限。比如離級用戶對裝配體的修改請求可以得到確認，觀察者的修改請求則不能通過，兩只能查看數(shù)據(jù)庫，觀察當(dāng)前裝配體。由于多個客戶端都扶服務(wù)器端載入當(dāng)前裝配樹所對應(yīng)的模型到本地數(shù)據(jù)庫中，麗不同用戶還可以對其進行修改，系統(tǒng)必須保證裝配體襁關(guān)數(shù)據(jù)的一致性。也就是說每個客戶端除了當(dāng)前操作需要高亮顯示的裝配特征、注釋和臨時操作的模型外，其他裝配體模型都要相同，這也就是裝配體的一致性。當(dāng)某個用戶提出修改，服務(wù)器端驗證通過了其權(quán)限，并對裝配樹做出了相應(yīng)修改后，服務(wù)器將立刻更新所有客戶端的數(shù)據(jù)庫，使得最新的修改能夠即時的顯示給所有用戶，保證數(shù)據(jù)一致性。

本文所提出的協(xié)同式裝配系統(tǒng)應(yīng)用到了增強現(xiàn)實中的許多關(guān)鍵技術(shù)，如注髓跟蹤、遮擋處理、交互設(shè)計和本文提出的一種新的運動仿真技術(shù)。這些技術(shù)模塊將在后續(xù)章節(jié)詳纓討論。下面先介紹系統(tǒng)框架中其他的一些技術(shù)模塊。

3、顯示方式

簡單地說，增強現(xiàn)實就是將計算機生成的虛擬模型與真實場景結(jié)合到一起，達到增強現(xiàn)實世界的效果(Azuma，1997)。這個結(jié)合過程一般采用兩種方式：光學(xué)透視(optical)和視頻(video)，兩種方式有各自的優(yōu)點和缺點，每種方式都對應(yīng)一種透過式頭盔顯示器(see-through腿D)。透過式頭盔顯示器與封閉式頭盔顯示器不同，它可以讓觀察者看到周圍真實環(huán)境，同時又能看到疊掘在上面的虛擬物體。麗封閉式頭盔顯示器不能看到周圍真實環(huán)境，只有顯示器上的虛擬物體。透過式頭盔顯示器又分為兩種。光學(xué)透視頭盔顯示器(Opticalsee-through HMD)可以讓觀察者直接看到真實場景，系統(tǒng)將虛擬的圖片同時顯示到顯示器上，實現(xiàn)虛實結(jié)合。圖2．2給出光學(xué)透視顯示方法的原理圖。圖3為Hughes電子公司生產(chǎn)的光學(xué)透視頭盔顯示器。

 
圖2 光學(xué)透視顯示原理

 
圖3 Trivisio LCD29 增強現(xiàn)實頭盔

視頻透過式頭盔顯示器(video see—through HMD)為封閉式的咖D并在上方加一到二個攝像頭，代替雙眼。攝像頭用于采集真實場景的視頻圖像，這些視頻同計算機生成的虛擬場景的圖像結(jié)臺到一起，形成虛實結(jié)合后的視頻輸入到頭盔顯示器上顯示。圖4為視頻透視顯示方法的原理圖。

 
圖4 視頻透視顯示原理圖

頭盔顯示器由于佩戴在頭部，能夠隨著觀察者的方位變化而移動，頭盔上的頭部傳感器用來跟蹤觀察者頭部位置，使系統(tǒng)能夠根據(jù)觀察者當(dāng)前視場來將虛擬模型繪制到正確的位置上。這樣觀察者就可以一邊觀察虛實結(jié)合的場景一邊操作，而不需要去看固定位置的顯示器，使得觀察和操作更加方便，真實感更強。頭盔顯示器的主要缺點是其比較笨重，價格高，另外顯示器的刷新率和分辨率還不夠高，佩戴久了容易引起觀察者的眼部和頸部疲勞。

當(dāng)然，除了采用頭盔顯示器．增強現(xiàn)實系統(tǒng)還可以采用一般的監(jiān)視器．如電腦顯示器、投影儀、手機屏幕等等。圖2 5為電腦監(jiān)視器顯示方法的原理圖。本文的原型系統(tǒng)就是采用這種顯示方式。Azuma(1997)在其文章中詳細的分析以上幾種顯示方式的各自優(yōu)缺點。

 
圖5監(jiān)視器顯示原理圖

3、裝配樹

在基于虛擬現(xiàn)實的虛擬裝配系統(tǒng)中，所有零件模型都是虛擬的，多是由CAD軟件生成并導(dǎo)入到系統(tǒng)中來，裝配系統(tǒng)維護一個虛擬零件庫。與虛擬裝配不同的是，基于增強現(xiàn)實的裝配系統(tǒng)不僅包含虛擬零件庫，同時還有一些已經(jīng)加工出來的主要產(chǎn)品零件原型，也就是說虛擬和真實的零件同時存在。在一般的裝配任務(wù)中，特別是對現(xiàn)有產(chǎn)品設(shè)計改進和裝配訓(xùn)練中，往往先將一些主要的零件加工出原型，操作者通過操作雕屬的虛擬零件裝配到主體零件的過程，來發(fā)現(xiàn)設(shè)計不足，衡量設(shè)計效果。這些主體零件原型可以作為裝配環(huán)境的基本參照，并且一般在裝配任務(wù)中是不變動位置，甚至是固定在工作臺上的。

裝配系統(tǒng)一般采用裝配樹(Assembly Tree)的數(shù)據(jù)結(jié)構(gòu)來表達零件之間的裝配組織關(guān)系。圖2 6為一個典型的裝配樹結(jié)構(gòu)，圖中每個節(jié)點代表一個零件或者子裝配樹。一個零件節(jié)點包含其索引號、模型幾何信息、模型實體信息、裝配特征、約束狀態(tài)、空間變換矩陣、以及是虛擬還是真實的零件等信息。在裝酉己設(shè)計(Assembly Design)過程中，裝配序列是靠操作人員的專業(yè)知識和經(jīng)驗來生成的；在裝配指導(dǎo)(Assembly Guidance)中，裝配序列是預(yù)先定義好的，并以注釋等形式顯示出來，輔助操作者逐步執(zhí)行裝配操作。

 
圖6裝配樹示意圖

4、本文小結(jié)

本文提出了系統(tǒng)框架并對客戶／服務(wù)器架構(gòu)、模型庫、權(quán)限管理等模塊給出詳細的說明。討論了框架中有代表性的兩個子模塊：顯示技術(shù)和裝配樹。顯示技術(shù)體現(xiàn)了增強現(xiàn)實系統(tǒng)中虛擬模型和真實場景的結(jié)合方式和輸出方式。裝配樹用來表達和管理裝配體中各種零件的組成關(guān)系。本章提出整個系統(tǒng)的架構(gòu)和主要的關(guān)鍵技術(shù)，后續(xù)章節(jié)將詳細介紹這些關(guān)鍵技術(shù)的細節(jié)和實現(xiàn)方法。