胡 璇 騰訊研究院高級研究員
王煥超 騰訊研究院研究員
2021 年底，微軟亞洲研究院以論文形式發布了一項沉浸式 3D 視頻交流系統——VirtualCube，并一舉拿下虛擬現實與圖形學領域 IEEE VR 2022 (& IEEE TVCG) 的最佳期刊論文獎。
從技術層面看，VirtualCube 為構建出每個用戶的實時 3D 影像，硬件方面采用包括用于獲取用戶 3D 模型的六臺攝像機，以及由三個 65 寸 4K 屏幕組成的環繞顯示設備，位于隔間之內。同時，利用軟件系統和專用算法保障視覺還原度，包括參與者的形體、相對位置關系、相互注視，并保證視頻流幀率穩定。研發團隊也在探索未來加入空間音頻支持和復雜手勢處理等更多維度。
簡單來說，VirtualCube 的作用，是把傳統視頻會議中的“紙片人”（由每秒 24 幀圖片構成的視頻），還原成了真正的“大活人”：即使對方保持不動，你也能轉過頭看到 ta 的側臉。
在傳統的視頻會議中，經典難題就是與會者缺乏眼神交流：如果發言者注視攝像頭，會感覺自己在和屏幕而非人類對話；而一旦注視屏幕中的人臉，就更無法與對方“對視”，看起來心不在焉。VirtualCube 創造性地解決了這一問題：視頻雙方不必看攝像頭，也會有自然的眼神交流。
根據官方的介紹，VirtualCube 系統的核心目標正是實現“參與者位于同一房間中”的臨場感，從而讓不同時空環境下的參會者，都能夠更沉浸和放松，更專注于溝通本身。在它之前，谷歌的 Starline、Facebook 的 Horizon Workrooms 也都是解決這一需求的先行者。
在新冠疫情的大背景下，遠程辦公成為不少公司的選擇，而視頻會議作為兼顧體驗與溝通效率的一項工具，成為遠程辦公的標配。但與真實的線下交流相比，視頻會議仍顯得不夠自然，前述的缺乏眼神交流等問題的存在，都讓參與者無法沉浸。從這一角度出發，我們自然就能理解 VirtualCube 等技術努力的意義所在。
對于遠程辦公者來說，VirtualCube 是以一種比視頻會議更生動的方式，把你的同事和老板搬到了你的面前，從而實現了媲美線下的臨場感。
但也有不少觀點認為，所謂的“臨場感”可能是一種偽需求，對于遠程辦公來說，連接才是第一性的目標，視頻甚至是語音通話的作用已經足夠，對臨場感的追尋顯然并不必要。問題來了，對遠程辦公乃至更廣義上的工作模式而言，“臨場感”真的是冗余的嗎？通過技術追求“臨場感”到底有什么意義？
接下來，我們就討論這個問題。
比起線下， 遠程辦公到底差了點啥？
得益于各種數字化技術和工具的存在，遠程辦公不再是一件稀奇事。通過語音通話和即時通訊軟件，我們可以與同事保持聯系；通過在線會議工具，能夠參加大大小小的會議或研討；通過在線協同工具，可以與團隊同步工作進度，流程化地完成長鏈條任務。
所以，在新冠疫情暴發之后，遠程辦公很快就成為許多公司選擇的工作模式。艾媒咨詢數據顯示，2020 年復工期間，中國有超過 1800 萬家企業采用了線上遠程辦公模式，超過 3 億用戶使用遠程辦公應用。騰訊研究院 T-ask 的一項調研也發現，接近 7 成（69.8%）被調研者都有過遠程辦公經歷。不久前，攜程公司官宣了混合辦公的規定，全球范圍內，微軟、Google、meta 等公司也都推出相關措施。
可以說，遠程辦公正在成為大多數人所接受的常態。但是，隨著常態化過程的深化，遠程的一些弊端或者說劣勢也在逐漸凸顯出來。
先把時間線拉回到世紀之初，彼時的科技界也曾有過一波遠程辦公浪潮。以 IBM 為例，其在 2009 年的一項報告中宣稱，全球 38.6 萬公司員工中有 40% 都居家辦公，十年間，公司將節省下來的辦公空間出售就獲益 19 億美元。但這波浪潮很快就退卻了，原因就在于，這些先行者發現，遠程辦公在員工溝通效果、工作效率以及企業文化的形成方面存在諸多問題，因此仍不能替代線下辦公。
其中最有代表性的是雅虎。2013 年，雅虎頒布了一項規定，明確禁止員工遠程，而是必須到最近的辦公區中辦公，否則將被辭退。2017 年，IBM 也將員工召回辦公室現場工作。彼時的雅虎全球人力資源總監 Jackie Reses，在內部備忘錄中寫道：“作為一個雅虎人，不僅僅要做好日常工作，更重要的是要互動和體驗。而互動和體驗只有在辦公室才能完成?！?/p>
是的，互動和體驗，正是對比遠程與現場辦公的關鍵線索。遠程辦公雖然以某種方式實現了“互動”和“體驗”，但并不完整。
在現場辦公中，工作者能夠直接進行面對面溝通，在這種溝通模式中，除了口語交流，雙方能看到彼此的眼神、表情、手勢、動作這些語言之外的要素。同時，交流時所處的環境也相當重要：氣味、光線、現場布置、雙方所處的位置，甚至是對方的毛孔、飛濺的唾沫。它們的存在，賦予每次交流以深刻的獨特性。
這些因素的加總，共同構成了交流的“語境”，它對于傳達意涵與感情，從而使交流雙方建立更好的理解與合作而言相當重要。用一個統一的詞來定義，這些東西就是“臨場感”，它涵蓋了你在交流語境中的所見、所聽、所聞、所思、所感，以及由這些全部觀察與感受形成的綜合感覺。對比之下，遠程辦公可以借助各種工具，實現語音、視頻畫面的傳遞，并在某種程度上模擬現實，但它缺少的就是這種“臨場感”。
瓦爾特·本雅明曾經提出過“靈韻”（Aura）的概念，用以描述藝術品實體以及線下劇場的演出所具有的一種綜合的真實特質。當機械復制時代來臨，通過大規模的復制（本雅明主要指攝影），藝術品和演出的傳播范圍廣了，但“靈韻”卻消失了。而遠程辦公所不具備的，正是線下辦公的“靈韻”。
靈韻的消失是一個觸發點。與面對面的現場辦公相比，遠程辦公無疑增加了溝通成本。線下幾句話能說明白的事情，要經過很多次低效的線上溝通才能達成目的。同時，面對面的互動決定了要在同一時間內和空間內進行同一件事，因此有利于更快地做出決策。而遠程辦公就不行，你不會知道網線另一端的同事到底在干什么：擼貓、哄娃，還是蹬劃船機。即便同在一個視頻會議上，也不能保證同事有沒有開著其他窗口。
第二個層面是工作關系。在工作場所中，員工通過觀察同事的表現和行為，能夠了解公司的制度、規范和文化，這是一個學習的過程。同時，員工之間的真實互動，有助于建立起良好的工作關系，這不僅能增強團隊凝聚力和公司文化，而且緊密、融洽的工作關系本身就是工作效率和創造力的一部分。
對于新員工來說，類似互動尤為重要。如果缺少這些環節，直接進入到遠程辦公的模式中，很可能面臨難以融入的問題?！度A爾街日報》的一篇報道寫到一名年輕人在工作一年半后，才有機會和其他同事見面：“開會時，大家關掉了攝像頭，我甚至不知道他們長什么樣。”顯然，這無助于工作者之間建立起正常的關系，并進一步影響工作的開展。
鮑曼在《工作、消費主義和新窮人》中指出，工作場所承載了最主要的社交融合功能?，F代社會中，成年人大部分時間都是在工作中度過的，這意味著工作中的人際關系，不僅僅是純工作層面，也是我們作為與他人建立連接、參與社會化的一種必須。
這或許是工作制度更深遠的意義，也是遠程辦公缺失臨場感最嚴重的后遺癥：長時間以工作和任務導向，缺乏人際互動，不但會促成焦慮和抑郁等不良情緒，也嚴重影響了成年人正常的社會化過程。
這些技術在 努力追求“數字臨場感”
正是考慮到遠程辦公的一系列負面影響，不少遠程辦公的支持者紛紛“反水”。2021 年 2 月，谷歌在提交給監管機構的年度報告中指出，居家辦公影響了公司的工作效率、競爭力和企業文化，并表示更多員工將會回歸到線下辦公。
回到傳統模式當然是一種選擇，但考慮到遠程辦公仍然可能是未來重要的工作模式之一，哪怕只著眼于疫情反復的近期，它也是實用主義的應對之策，所以，彌補遠程辦公在“臨場感”方面的不足，未嘗不是一種可選項。
試想一下，如果能通過 VirtualCube 這樣的方式，把同事的 3D 形象投影到你的身旁，即便是居家辦公，同事也坐在你旁邊或與你面對面，隨時能閑談或開會交流（空間音頻完美還原），其實已經在很大程度上解決了“臨場感”不足的問題。
其實在 VirtualCube 之前，谷歌于 2021 年 5 月公開的視頻通話 Starline 項目，就已實現了令人驚嘆的“隔空傳人”，遠在千里外的家人影像如此清晰、立體，仿佛觸手可及。示范了 3D 全息影像對“臨場感”的有力加成，也初步克服了最大挑戰：在手機、電視、VR 等 2D“平板”顯示設備上還原 3D 內容。
對面的女士是實時影像，既非真人，也非普通視頻
VirtualCube 和 Starline 效果相似，但技術路徑不同。下面從視覺原理和技術脈絡兩方面來看全息影像如何步步進化，我們距離科幻電影中的“真全息”還有多遠。
全息投影是鋼鐵俠眾多黑科技之一
3D 視覺是人類的生存法寶，多種線索幫助大腦形成空間感。狩獵求生時，祖先依靠雙眼來判斷獵物的遠近、大小、形態；直到今天，視覺仍是各種感官中最主要的信息來源，對空間、光影、運動等保持高度靈敏。
第一類是平面線索，包括近大遠小、遮擋關系、光影紋理等，這也是繪畫、攝影中立體感的基礎。我們憑借生活經驗，將圖像視作三維物體在二維平面的投影，“腦補”其原本的模樣。
左圖：立方體，而非三個鄰接的平行四邊形
右圖：陰影、遮擋、近大遠小在繪畫中應用的實例
畫面動起來，立體效果翻倍：比如“添加兩條白杠變 3D“的例子。白杠遮擋了部分原圖，將視頻切割成了前景（魁地奇）中景（白杠）和背景（哈利波特）三部分，模糊效果進一步拉遠了三個景別的心理距離。
當心！魁地奇要飛到你鼻尖上啦
第二類是深度線索，它們是突破“臨場感”的關鍵。即在 XY 軸構成的平面外、Z 軸上的更多信息，包括：雙目視差，移動視差和聚焦模糊。雙目視差的典型應用是 3D 電影和 VR 眼鏡，戴上特制的眼鏡后，左右眼接收到的畫面會有些微差異，經由大腦重新加工為立體的畫面。
移動視差更為重要，現實中“橫看成嶺側成峰”，對著手機圖片可沒這效果。畢竟顯示器中每一幀畫面的像素排列都是恒定的，無論晃頭看還是調節焦點，圖像不會有任何差異，因此立體感也是不完整的。
實現移動視差，就要確保觀看者在不同的位置和角度看到不同的內容，大致有兩條技術路徑：第一是在顯示器本身做文章，第二是追蹤觀看者并發送正確的畫面。
借用lookingglass的效果示意圖
路線一的典型代表是 LookingGlass、京東方等生產的新型光場顯示器，谷歌 Starline 中使用的也是這種設備。原理是在顯示層上疊加一層柱狀透鏡，使不同視角下進入眼睛的光線不同。外觀上和普通顯示器區別不大，只是很厚，像一塊大玻璃。這本身并不是一項黑科技，你小時候一定見過。
在 2010 年前后曾興起過一陣裸眼 3D 電視風潮，飛利浦在 2010 柏林電子展就率先展出，東芝、索尼也有布局；最大的瓶頸是芯片算力，要增加多少微視角，就要同時渲染多少倍的畫面，很快因為體驗不佳而被遺忘。
飛利浦的專利到期后，多家廠商又重新撿起這一科技樹。在強勁顯卡支持下，LookingGlass 在 2018 年推出首臺設備，2021 年初發布了體積更小的消費級產品 portrait，可同時渲染 45 個視角畫面，可視范圍更大；能配合各種外接設備使用，從而實現與全息內容的高級交互，包括 VR 手柄，傳感器，觸覺反饋系統等。
LookingGlass與傳感器聯動效果示意
路線二的典型代表是 VirtualCube 項目中搭建的設備。原理為根據用戶眼睛的位置，持續顯示正確的圖像和視角，相比 Lookingglass 等更為節約算力；缺點是體積稍大，同時只支持 1 人觀看。
也有產品融合以上兩種方式，如 Sony 的 ELFD 3D 顯示器，在 2020 年的 CES 上展出 15 英寸原型機后受到廣泛關注。ELFD 采用了索尼的三項專利技術：高速、高精度、實時傳感；實時光場渲染；高精度 3D 顯示。既追蹤用戶，以最小的延遲實現精確的眼部檢測；也結合微光透鏡實現更立體的效果。
不要因為熟悉，就覺得“必須”
本文的討論主要是從“遠程辦公”出發，但“臨場感”及相關的技術努力，顯然不局限于這一個場景。數字技術在大大小小的領域推進著范式變革，也自然會引出傳統范式與新興范式的特性對比。沿著這一思路，再來思考“臨場感”這個概念，恐怕也沒有那么簡單了。
我們對于臨場感的理解與認知，建立在面對面人際交往的傳統模式的基礎之上，我們認為它是“好”的，是要去追尋的，在很大程度上是因為臨場感是舊范式的固定屬性，因此具備了合理性，也自然而然地成為我們評價和衡量新范式的標準。但是隨著數字時代的延伸，“臨場感”的定義也會發生變化，說不定“在線連接”的時代也會發展出屬于自己的“光韻”，正如攝影也已經成為嚴肅藝術的代表一樣。
所以我們不必過于糾結。每一代人都有所屬的媒介環境和所處的時代背景，據此又會形成不同的價值觀念和認知。沒有什么是變動不居的，時代在發展，工具和技術在進步，我們對于事物的認知和態度也會因此發生變化?！肮ぷ鳌钡亩x也在發生漂移，生活在 21 世紀的我們所理解的“工作”，與 16 世紀紡織工廠工人的認知幾乎完全不同，同理，一直處在線上辦公模式中的人，對于工作的認知，顯然也會與我們這一代人有很大差別。
這就意味著，我們對“臨場感”這種傳統范式屬性的追尋，很可能缺少合理性的支撐。因為對于新一代或者說下一代工作者來說，他們對工作的認知可能就是“分散各地的人們，通過在線協同工具，相互溝通與協作，模塊化、流程化完成任務”，既然遠程連接能夠提供這些條件，那為什么還要有一個物理的工作空間呢？為什么還要追求什么“臨場感”呢？
所以，當我們討論臨場感時，要保持警惕，它可能不是未來工作模式中所必須的，避免因為熟悉，就覺得必須。不能因為傳統事物的固有認知，限制了我們對新事物的想象。這跟我們對元宇宙等新事物的態度應該是一致的，所有人都在討論元宇宙，但它到底是什么樣貌，不是以現在的技術形態為標準的。與其按照舊思維去構想，去定義，去框定，不如打開想象空間，不設限，靜待它自我發展與延伸，這就可以了。
