廳院好好玩蔡遵弘／不只看表演，還可以走入故事裡、觸摸人物和場景──跟著《黑》體驗擴增實境AR劇場
刊出日期 2024.03.20
一般大眾較熟悉的劇場表演，是觀眾被安排在固定的座位上，一起觀看舞台上的一切，比電視、電影等平面影像傳達的方式，多了臨場感，具備空間性的特質讓觀看的自由度更加靈活與沉浸。但，這種方式又可能受限於劇場空間的安排。
2024年的TIFA中，一齣由臺法共同製作的擴增實境展演《黑》，使用了微軟（Microsoft）開發的混合實境頭戴式裝置HoloLens 2，劇場裡的觀眾穿戴擴增實境的AR裝置與骨傳導耳機，劇裡的人物角色透過容積擷取技術（Volumetric Capture）捕捉的立體影像呈現；展演空間也經過巧妙的編排，劇情中所設計的空間以實體設置於現場，觀眾可任意走動、站立、坐下與觸摸，隨時選擇自己想要的視角來觀賞這齣劇，以體驗的方式來感受劇場的表演訊息，AR技術的介入讓劇場的呈現添增了更多可能性。
《黑》如何呈現美國民權運動的多重視角？
《黑》是法國作家蒙泰涅（Tania de Montaigne）根據美國民權運動先鋒克羅黛特．科爾文（Claudette Colvin）生平改編的沉浸式作品。1955年科爾文因不接受「種族隔離政策」，拒絕在公車上讓座給一名白人乘客而遭到逮捕入獄，是美國民權運動期間第一位公開拒絕服從巴士種族隔離法的非裔美國人，而那一年，她只有15歲。9個月之後，另一名非裔女子羅莎．帕克斯（Rosa Parks）也拒絕讓座給白人遭捕，點燃了非裔族群發動聯合抵制蒙哥馬利公車，掀起了美國公民不服從的運動。
《黑》劇訴說無名英雄科爾文從進入民權運動到遭世人遺忘的一生，由金馬影后桂綸鎂擔任中文版說書人，穿戴高科技混合實境頭戴式裝置HoloLens 2，帶領觀眾展開一場震撼又獨特的沉浸式之旅。此次展演將比照法國當代藝術館龐畢度中心之最高規模，包括公車、監獄與教堂等場景，外加場外展牆，一一重現被隱藏的歷史，還原被遺忘的真實。
觀眾戴上頭戴式裝置後，隨著劇情推進，可自由走動，切換視角，選擇成為受壓迫黑人，或是迫害他人的白人，也可以是冷眼旁觀的第三者，一次體驗多重身分。
＊延伸閱讀：非裔美國人長期飽受種族歧視，過去社會上也普遍實施「種族隔離政策」，一直到民權先鋒們發起的「抵制巴士運動」，才真正吹起「種族平權」的號角。想了解更多美國非裔族群的人權抗爭史，請見〈勇敢說NO！2位拒絕在巴士上讓坐給白人的女子，掀起美國非裔人權運動浪潮〉。
從頭戴式顯示器問世，VR已成為正式影展項目
如何自然地融合真實與虛擬世界，是當今科技發展中相當熱門的領域，而其中虛擬實境（VR）與擴增實境（AR）是近年來大家相對常聽聞的技術。
VR的發展，是致力於讓人類可以進到完全虛擬的世界，並在其中自由體驗與進行互動，無論是電影《駭客任務》（The Matrix）、《一級玩家》（Ready Player One）、或是動畫《夏日大作戰》、《刀劍神域》、《龍與雀斑公主》，這些作品都將VR希望呈現的概念充分表達了出來──在現實中所無法滿足的一切，透過建構出來的虛擬世界、讓人們盡情實現另外一個自我，完成許多現實世界無法做到的事情。
2012年虛擬實境科技公司Oculus（2014年被社群媒體Facebook的母公司Meta併購）推出的逼真虛擬實境頭戴式顯示器DK1問世後，VR相關技術有了很大的進步，在視覺與聽覺上的發展成果相對顯著；至於在觸覺，嗅覺、味覺與體感、溫度、移動、力回饋等方面也持續進行研究，例如：Meta於2021年發表了觸覺手套的研究，以及迪士尼公司2024年發表的全方向互動地板系統HoloTile，都說明了人類在全沉浸的路上持續努力中。VR發展至今，不僅在娛樂產業已有相對穩定的發展，全世界各大影展也開始出現了VR的項目。
寶可夢到史博館的展覽，AR技術多元運用
相對於VR，AR則是反過來讓虛擬的資訊配合真實空間來安置，讓我們在正確的時間與正確的地點，獲取來自電腦運算的結果，擴展真實世界的可能性。運用反射與折射原理的全像（Hologram）效果，常被作為AR的展示手段之一，常見的便是透過金字塔形狀，或單面45度折射面讓虛像與真實物件疊合：通常其正上方或正下方會有一個螢幕，螢幕的4個角落各有虛擬物件的4個視角影像，透過在金字塔的4個面反射對應的視角，讓影像彷彿漂浮在金字塔中央，這樣的呈現方式屬於技術門檻較低的方案。
大家比較熟知的手機遊戲寶可夢（Pokémon GO），則是透過手機的GPS、WiFi等定位技術，捕捉使用者在地圖上的座標，以其為中心讓寶可夢出現在地圖上對應的各個座標地點，當玩家經過對應的位置就能遇到系統事先安排好的「寶可夢」（遊戲角色名稱）。因此，不同的玩家在相同的地點會遇到相同的寶可夢，則是屬於「適地性擴增實境技術」（Location-based AR）。
近年來隨著技術的發展，行動設備對真實世界的感知能力愈來愈強大，因此也發展出了基於物件或空間特徵點辨識的AR技術，例如中央研究院歷史文物陳列館的「虛實漫遊──博物館的動物園」AR互動展，便是透過辨識物件來產生AR效果的應用。
如今，受惠於行動裝置的感測技術與電腦視覺計算能力的提升，讓同步定位與地圖構建（Simultaneous localization and mapping, SLAM）技術有了相當顯著的成效。基於SLAM的AR，可以做到在真實世界的任意處置放虛擬內容，即便我們在空間中持續來回走動，這些內容還是能正確地留存在對應的位置，只要搭配前面提到的圖像、物件或空間特徵點辨識技術，確保擴增起點的正確性，就能達到相當準確而流暢的體驗結果，例如2022年國家圖書館的「憶起上學！百年教育的四季交響曲」互動展就使用了SLAM AR的技術，讓民眾可以在展場空間自由走動，與實體空間中的虛擬角色進行互動。
這樣的技術過去多仰賴App運作，時至今日也已可透過網頁執行，也就是所謂的「WebAR」。WebAR可以做影像AR，也可以做到SLAM AR，例如：2021關渡藝術節「出蘆入關」以及2023台灣客家文化館「拼．靚：台灣客家多重面貌特展」中的AR互動內容，都是運用了WebAR做到SLAM AR效果的案例。
此外，台灣藝術團隊在地實驗2022年研發的「智慧型AR直播機器人」，更是結合了SLAM AR、5G與動態捕捉（Motion capture, MOCAP）技術，創造出可以讓虛擬演員現身於真實空間的效果，該機器人也被應用在2022年於牯嶺街小劇場「出發吧！楊桃！」的表演中，讓虛擬角色可以現身於現場。
16
AR眼鏡推陳出新，帶動劇場革命性的新體驗
「AR眼鏡」是科技發展中，最接近理想的AR體驗載體。市面上比較廣為人知的AR眼鏡包括：微軟推出的Hololens、Magic Leap與蘋果（Apple）共同推出的Vision Pro。這些眼鏡目前造價都相當昂貴，原因是它們需要透過遍布在眼鏡上的感測器一同作用，並使用高性能的晶片進行SLAM的運算，即時疊合虛擬影像在正確位置，才能讓使用者透過眼睛直接看到擴增結果，並可自由在真實世界中改變視角；同時眼鏡體積要小、重量要輕，並且維持一定的續航力，可說是結合許多高科技的結晶，因而也反映在它們的造價上。
數位藝術基金會2019年邀請三缺一劇團共創的「在空襲的當下：擴增實境式沉浸式表演計畫」便是使用了Magic Leap，觀眾需帶著AR頭戴式裝置在演出空間中觀賞作品，而空間中除了有真實的布景與舞者外，同時有散布在空間中的虛擬影像，這些內容隨著劇情的演進變化與發展，構成了過去傳統劇場所無法呈現的體驗。
隨著科技的進步，勢必會有愈來愈多的相關技術問世，為表演藝術相關領域帶來更多的可能，以兩廳院TIFA的《黑》為例，立體影像隨著劇情的推進，出現在空間中被編排好的位置，讓同一個現場能幻化成不同時空，而觀眾置身於其中，並不是坐在被設計好的觀眾席，其自由度與沉浸感的體驗獲得更大的提升，如同在一場表演中親身經歷般地體會劇情過程，這是過往傳統的演出所無法達到的效果，透過AR技術得以實現。
12
少年報導者×國家兩廳院，暢玩文化藝術RPG
「劇場」（theatre），這個字源是指古希臘劇場的階梯觀眾席區域，意思是「看的地方」（seeing place）。進入劇場裡，我們看的不只是台上表演的人，看的也是表演者呈現的技藝，最奇妙的是，劇場每一個美妙的瞬間，透過表演團隊的演出和創意，都會成為觀賞者自己獨一無二的私屬經驗與體會。
《少年報導者》與國家兩廳院合作，透過台灣國際藝術節（TIFA）、兩廳院夏日爵士、新點子實驗場、秋天藝術節4個藝術節的節目，專業藝文創作者、策展人與《少年報導者》團隊合作，以文章、Podcast等多媒體報導領路，帶大家走入劇場表演的異想世界。
同時，我們也召募「廳院報導仔」，同學不只可以是藝文觀賞者、也可以是紀錄者。「廳院報導仔」可優先享有兩廳院與《少年報導者》相關活動名額，還有機會從台前走進台後，暢玩藝術文化的角色扮演遊戲（RPG），成為藝文新聞的報導者。作品一旦獲得評選，也可以刊登在《少年報導者》，成為我們的小記者。
🚩 一起來當「廳院報導仔」，召募詳情：https://pse.is/5qcl3e
誰幫我們完成這篇文章
核稿
《少年報導者》總監。從沒有手機和電腦的時代開始當記者。記者是挖礦人、是點燈人、是魔術師──要挖掘世界的不堪，為喪志的人點燈，將悲傷的事幻化成美麗的彩虹⋯⋯常常會失敗，但不能放棄去做到。