今年天貓雙11晚會上，一場別開生面的“明星到你家”AR互動活動令人印象深刻。晚會現(xiàn)場，范冰冰、盧靖姍瞬間穿越到了所有觀眾家中。
這場活動不僅有大牌明星助陣，還有大量黑科技：真人動態(tài)三維建模與傳輸和SLAM、平面監(jiān)測等AR技術(shù)。 核心的真人動態(tài)三維重建與傳輸由創(chuàng)業(yè)團(tuán)隊(duì)Owlii實(shí)現(xiàn)，雷鋒網(wǎng)特意采訪了Owlii團(tuán)隊(duì)，全面解析“明星到你家”背后的技術(shù)實(shí)現(xiàn)和應(yīng)用落地。
晚會現(xiàn)場的效果很魔幻。范冰冰走進(jìn)一個魔術(shù)盒子，瞬間就消失在了舞臺上。在現(xiàn)場連線范冰冰時，她已經(jīng)出現(xiàn)在了觀眾的家里。這不是視頻錄制的效果，因?yàn)楸瑫r出現(xiàn)在了成千上萬人的家里。
這是如何實(shí)現(xiàn)的呢？
舞臺上的魔術(shù)當(dāng)然只是一個幌子，實(shí)際上是手機(jī)AR將范冰冰的“動態(tài)三維影像”投射到了每個人家里的真實(shí)環(huán)境中。
觀眾參與的方式是：打開手機(jī)天貓/淘寶 App→首頁搖一搖→進(jìn)入“明星到你家”界面， 點(diǎn)擊立即開啟→前后水平移動手機(jī)，將光標(biāo)對準(zhǔn)地面或平面。
范冰冰和盧靖姍的3D影像就出現(xiàn)在了“千家萬戶”，更為神奇的是，觀眾可以走進(jìn) 攝像機(jī)的拍 攝范圍，與范冰冰和盧靖姍一同合影。這可不是和一個平面影像拍照，你甚至可以圍著冰冰繞一圈，拍到冰冰的各個角度。
在幾分鐘的瞬間傳送結(jié)束后，盧靖姍還調(diào)皮地說，希望下次到觀眾家，能給做點(diǎn)好吃的！
據(jù)雷鋒網(wǎng)了解，“明星到你家”活動的技術(shù)主要由兩部分構(gòu)成，真人動態(tài)三維重建和傳輸、手機(jī)AR技術(shù)。整個活動由天貓AR團(tuán)隊(duì)和一家專注“動態(tài)三維重建與傳輸”技術(shù)的創(chuàng)業(yè)公司Owlii合作完成。
Owlii負(fù)責(zé)生成范冰冰和盧靖姍的動態(tài)三維影像。Owlii告訴雷鋒網(wǎng)( 公眾號：雷鋒網(wǎng))，他們采用了多個深度 攝像頭來拍 攝，捕捉真人的外貌、表情和動作，然后再用軟件處理深度圖，點(diǎn)云，網(wǎng)格，合成貼圖，形成三維動態(tài)影像。
動態(tài)三維重建技術(shù)早已不新鮮，之所以說是黑科技在于壓縮和傳輸技術(shù)。動態(tài)三維影像的體積通常特別大，而要在手機(jī)上傳輸則需要壓縮在20M以下，這是非常難實(shí)現(xiàn)的。動態(tài)三維重建與壓縮正是Owlii的 核心技術(shù)。
雷鋒網(wǎng)發(fā)現(xiàn)，“明星到你家”這個活動可以被稱做是AR互動，但是卻與現(xiàn)在我們通常見到的AR互動有本質(zhì)的區(qū)別，從“全息傳送”來理解這個活動的意義更為合適。
（微軟Holoportation演示)
微軟最先提出“Holoportation全息傳送”這一概念。2016年微軟在Build大會上演示了基于HoloLens的Holoportation全息傳送技術(shù)。在Holoportation的演示視頻中，我們看到遠(yuǎn)距離對話的兩個人的影像都被傳送到了對方所處的環(huán)境中，全息影像還可以被放大、縮小。
大部分的AR應(yīng)用的內(nèi)容是由計算機(jī)生成的三維虛擬物體。而“全息傳送”以及“明星到家”的關(guān)鍵在于對真人進(jìn)行三維動態(tài)重建，把人的動態(tài)影像傳送到另一個環(huán)境進(jìn)行交互。即使相隔萬里，也能瞬間以全息影像的方式進(jìn)行交流，可以說是人類傳播技術(shù)的終極目標(biāo)。“明星到家”這個活動的技術(shù)實(shí)現(xiàn)方式其實(shí)和微軟全息傳送是一樣的，都是依賴動態(tài)三維影像重建與傳輸和AR技術(shù)。但是微軟的是實(shí)時的和多人的，而“明星到家”是離線的和單向的。
目前，國內(nèi)外有一些專注于動態(tài)三維建模和傳輸?shù)墓荆宋④洠€有美國公司8i。8i成立于2014年，專注VR/AR領(lǐng)域的3D人物成像，2017年獲得由時代華納領(lǐng)投的2700萬美元B輪融資。
Owlii CEO 溫子煜告訴雷鋒網(wǎng)，“在實(shí)時這個上面，目前只有微軟和Owlii做到了。”今年8月底在硅谷舉行的2017SIGGRAPH計算機(jī)圖形學(xué)大會上，Owlii展示了其基于手機(jī)AR的“全息傳送——三維人物的重建與傳輸技術(shù)”。通過手機(jī)AR看到身處北京的工程師被“全息傳送”到美國洛杉磯SIGGRAPH現(xiàn)場。
要做到實(shí)時傳輸，最關(guān)鍵的是三維影像的壓縮技術(shù)。“去年，微軟做實(shí)時的傳輸需要1Gbps的帶寬，今年他們做到了50Mbps，而我們將實(shí)時傳送的全息媒體流壓縮到了10Mbps，離線的僅為2.5Mbps，僅用手機(jī)4G LTE的無線網(wǎng)絡(luò)就可以實(shí)時加載和交互。雖然壓縮的同時要保持圖像質(zhì)量很難，但是單說壓縮到這么小，就是很難的事情。”
目前動態(tài)三維重建需要多個 攝像頭的拍 攝環(huán)境，動態(tài)影像合成的工具，壓縮的特殊算法，這些都導(dǎo)致技術(shù)在大規(guī)模應(yīng)用上的障礙。溫子煜強(qiáng)調(diào)他們的技術(shù)全球領(lǐng)先，但是他們也一直在尋找一個合適的應(yīng)用場景，使得真人三維動態(tài)重建與傳輸技術(shù)讓人眼前一亮。
天貓雙11晚會對新科技、新玩法一直很大膽。去年天貓雙11晚會上就嘗試了跨屏的AR互動，天貓請來了臺灣女神林志玲，志玲姐姐在晚會現(xiàn)場將她身上穿的風(fēng)衣脫下來，對著鏡頭扔出去，風(fēng)衣穿過電視屏幕進(jìn)入觀眾的手機(jī)屏，在手機(jī)屏上開展了一場搶風(fēng)衣的AR游戲。
天貓一直在布局AR/VR技術(shù)。在2016年的雙11，天貓推出了VR Buy+平臺，支持VR購物。用戶通過HTC Vive或者手機(jī)360度全景視頻可以去到美國第五大道購物天堂，巴黎時尚商店。今年天貓推出了AR Buy+平臺，全面發(fā)力AR購物，并且發(fā)布了自己的AR技術(shù)開放平臺，支持更多開發(fā)者利用天貓的技術(shù)開發(fā)AR應(yīng)用和內(nèi)容。今年的雙十一晚會上當(dāng)然少不了秀一秀他們的AR技術(shù)。
Owlii完成對范冰冰和盧靖姍的動態(tài)三維重建和壓縮之后，后面的工作由天貓團(tuán)隊(duì)完成。負(fù)責(zé)此次“明星到你家”活動的是天貓工程師蔡建平。蔡建平介紹到，此次活動采用了蘋果ARKit工具來實(shí)現(xiàn)AR功能，而其他無法使用ARKit的安卓機(jī)則使用天貓自身的AR平臺的SLAM、平面監(jiān)測和運(yùn)動追蹤技術(shù)。結(jié)合owlii的解碼sdk，和天貓、淘寶的渲染引擎，經(jīng)過反復(fù)的適配和調(diào)適，天貓做到了適配全部高、中、低端手機(jī)，安裝了天貓/淘寶App的上億用戶都可以參與這場“明星到家”的活動。
據(jù)Owlii介紹，由于這場活動是大牌明星、晚會盛宴，天貓對他們的真人三維重建的影像效果要求十分嚴(yán)格。盡管天貓因?yàn)镺wlii領(lǐng)先的技術(shù)質(zhì)量選擇了Owlii作為本次伙伴，但是為了讓消費(fèi)者能夠體驗(yàn)到更驚艷的互動效果，雙方對人像質(zhì)量設(shè)定了更高的標(biāo)準(zhǔn)，促使Owlii對軟硬件系統(tǒng)進(jìn)行了全新的升級，在提升人像質(zhì)量的同時還將文件壓縮到了更小的體積。Owlii針對不同手機(jī)終端壓縮生成了多個內(nèi)容版本，這些版本中最大的碼率也不超過 5Mbps。
“明星到你家”這場大規(guī)模的互動活動正是Owlii想要尋求的令人驚艷的落地應(yīng)用。同時天貓讓上億用戶直接接觸了“全息傳送”這個黑科技，也熟悉了AR應(yīng)用的玩法。未來手機(jī)AR和真人動態(tài)三維重建與傳輸技術(shù)或許會擦出更多的火花。
