摘 要：
基于數(shù)據(jù)可聽化的起源、概念以及主要特征，闡述了數(shù)據(jù)可聽化作品的制作流程，以及主要制作方法和工具，特別針對實現(xiàn)數(shù)據(jù)可聽化與視聽藝術(shù)的交互問題進行了討論，并展望了數(shù)據(jù)可聽化在舞臺藝術(shù)中的應(yīng)用前景。
當(dāng)前，由于移動設(shè)備的普及，數(shù)據(jù)可視化向各個領(lǐng)域滲透，幫助人們分析事物，直觀地展現(xiàn)信息，并且數(shù)據(jù)的歸納具有高效性。盡管如此，數(shù)據(jù)可視化也并非完美無缺，如大量的數(shù)字和各式各樣的圖表易造成人們的視覺疲勞、對視力殘障人士不友好等。于是，相關(guān)領(lǐng)域研究人員意圖探尋數(shù)據(jù)被人類“聽見”，隨著音頻軟件的更新進步，以及對音頻交互技術(shù)的探索，由此一個全新的概念——數(shù)據(jù)可聽化（Data Sonification）被越來越多的相關(guān)從業(yè)者提及和研究，借此更好地利用人們的聽覺器官。
在文娛領(lǐng)域，表現(xiàn)形式愈加多樣化，交互藝術(shù)、“元宇宙（Metaverse）”等形式、概念不斷融合發(fā)展。很多藝術(shù)家希望通過虛擬現(xiàn)實（VR, Virtual Reality）展現(xiàn)視覺作品，還有不少學(xué)者正在探究將聲音與繪畫作品相結(jié)合，幫助觀賞者更好地理解作品，同時制造身臨其境的效果。
基于此，筆者闡述視覺藝術(shù)數(shù)據(jù)可聽化與舞臺劇、影視戲劇相融合的相關(guān)研究，以及未來其發(fā)展的潛在價值等，重點介紹當(dāng)前數(shù)據(jù)可聽化與視覺藝術(shù)的研究進程，整理并總結(jié)以畫作可聽化為例的可聽化制作流程，以及數(shù)據(jù)可聽化在舞臺藝術(shù)領(lǐng)域的應(yīng)用前景。
1 數(shù)據(jù)可聽化的定義及分類
聽覺呈現(xiàn)(Auditory Display)仍然是一門新興的學(xué)科，在1992年，Krammer成立了一項組織稱為“國際聽覺顯示學(xué)會”（ICAD, International Community for Auditory Display）。該組織的學(xué)者給出了可聽化（Sonification）的定義，即使用非語音音頻（Non-Speech Audio）來傳遞信息或感知數(shù)據(jù)[1]。然而這個定義對于信息傳遞的含義仍不夠明確，比如是否必須以計算機等電子設(shè)備為媒介進行傳輸。因此，Krammer和Walker等人在1999年提出了更精準(zhǔn)的定義：可聽化是數(shù)據(jù)關(guān)系轉(zhuǎn)化為聲學(xué)信號并用于傳輸或解釋信息[2]。這為數(shù)據(jù)可聽化（Data Sonification）的定義建立了一個雛形。學(xué)者McLean和Dean明確了數(shù)據(jù)可聽化的定義[3]：數(shù)據(jù)可聽化是指將模型生成的數(shù)據(jù)、實驗中捕獲的數(shù)據(jù)或通過觀察收集的數(shù)據(jù)反映到音頻信號或聲音合成模型的一個或多個參數(shù)，以便更好地理解、交流或推測模型、實驗或系統(tǒng)。
其后，Hermann[4]又總結(jié)了數(shù)據(jù)可聽化的四個特征，當(dāng)使用數(shù)據(jù)作為輸入并產(chǎn)生聲音信號（最終可成為激勵或觸發(fā)信號）的大前提下：（1）聲音反映了輸入數(shù)據(jù)的客觀屬性或關(guān)系；（2）轉(zhuǎn)變是系統(tǒng)性的，即數(shù)據(jù)如何導(dǎo)致聲音變化有一個精確的定義；（3）可聽化是可復(fù)制的，給定相同的數(shù)據(jù)和同樣的互動（或觸發(fā)器），產(chǎn)生的聲音在結(jié)構(gòu)上一致；（4）系統(tǒng)可以使用不同的數(shù)據(jù)，也可以使用重復(fù)的數(shù)據(jù)。
對于可聽化的分類，加州圣巴巴拉大學(xué)的學(xué)者McGee引用J. Keller 從數(shù)據(jù)處理方法的角度分為三類[5]：標(biāo)準(zhǔn)可聽化（Iconic Sonification），比如使用雨聲和風(fēng)聲來表達天氣變化；直接轉(zhuǎn)換可聽化（ D i r e c t Sonification，或稱Audification），即直接用頻率（20 Hz～22 kHz）的變化表示數(shù)據(jù)；音樂可聽化（Musical Sonification），用樂器的聲音，加上設(shè)計好的速度和旋律進行制作。
2 數(shù)據(jù)可聽化的制作流程
近年來，學(xué)者對于包括圖片在內(nèi)的視覺藝術(shù)作品可聽化的探究聚焦于可聽化的方法與算法，并開展探究觀賞者心理的實驗 [6]。關(guān)于數(shù)據(jù)可聽化的方法研究主要集中在兩個方面：一是有關(guān)音樂方面，即音樂結(jié)構(gòu)[7]，二是關(guān)于圖片或畫作的視覺特性及相關(guān)參數(shù)[8]。對于算法的研究，通過算法實時追蹤人們欣賞視覺作品時的感覺[9]。現(xiàn)以繪畫視覺藝術(shù)作品為例梳理數(shù)字可聽化的主流制作方法，包括對視覺作品中關(guān)鍵信息的提取和布局，以及普遍使用的數(shù)據(jù)可聽化的制作工具。
2.1 視覺作品的信息提取
首先，提取畫面的信息，并列舉出呈現(xiàn)聲音的特性，這個過程非常重要，被稱作“布局策略”（Mapping Strategies）。
弗吉尼亞理工大學(xué)研究人員聚焦于通過可聽化的算法讓視覺藝術(shù)更好地轉(zhuǎn)化為音樂。他們將畫作中每一色塊的色調(diào)（ H u e ）、明暗度（ Brightness ）、畫面的空白度（ Saliency ），還有作品的尺寸大小以及藝術(shù)風(fēng)格逐一進行量化，分別對應(yīng)音頻參數(shù)的音調(diào)（Pitch）、速度（Tempo）、調(diào)式（Mode）、響度（Loudness）和音樂風(fēng)格（Musical Composition）[10]。研究者Sarah Lucioni對星空、蒙娜麗莎和創(chuàng)造亞當(dāng)?shù)葞追?jīng)典畫作進行可聽化設(shè)計，創(chuàng)作音樂作品。她通過使用Pyo音頻處理庫進行Python編程，將畫中的每一個色塊的RGB數(shù)值（光譜值）進行量化（RGB：0～255），然后轉(zhuǎn)化成聲音（頻率范圍：100 Hz～800 Hz）[11]。圣塔克拉拉大學(xué)計算機學(xué)院的學(xué)者使用SOVIA交互系統(tǒng)使得畫家莫奈的畫作以視聽的方式呈現(xiàn)，整個過程是通過Python語言來完成的，他們收集了369部莫奈的風(fēng)景畫作，對作品中出現(xiàn)的景物進行歸類[12]。如畫作《亞嘉杜的罌粟花田》（Poppy Field at Giverny, 1890）信息的聽取，如圖1所示，框中的景物被捕捉并依次分類，之后被設(shè)計成不同的聲音。由此，當(dāng)點擊一個方框時，就會發(fā)出對應(yīng)的聲音，混入背景音樂之中。
很多相關(guān)領(lǐng)域的學(xué)者基于HSL顏色體系（Hue色調(diào), Saturation飽和度，Luminosity亮度）來定義聲音與色彩的關(guān)系。日內(nèi)瓦大學(xué)的學(xué)者研究如何讓盲人欣賞畫作，將不同色調(diào)的數(shù)值與不同的樂器音色相對應(yīng)，例如雙簧管對應(yīng)紅色色調(diào)、小號對應(yīng)青色色調(diào)等。他們總結(jié)了一套公式將色調(diào)值轉(zhuǎn)化為樂器音色的算法[13]：
圖1 采用SOVIA方式的視聽化設(shè)計（圖片來源：WikiArts）
其中，hh表示音頻呈現(xiàn)的音色所對應(yīng)的色調(diào)值；增益 g 的定義式是：
分別代表包括紅、橙、黃、綠、青、藍和紫色的兩個連續(xù)色調(diào)的數(shù)值，通過這種排列方式使得兩個色調(diào)的過渡是平順的）。
2.2 可聽化制作的方法與工具
可聽化作品的制作有各種方法，音頻軟件和編程是兩種非常直觀易理解的方式。
2.2.1 音頻軟件
Pure Data（Pd）和Max作為音頻交互工具能夠設(shè)計可聽化算法進行作曲，有選擇地收集各類數(shù)據(jù)轉(zhuǎn)換為聲音的形式展現(xiàn)，而且還能夠通過圖形、折線圖的方式動態(tài)呈現(xiàn)數(shù)據(jù)的變化。
斯坦福大學(xué)音樂計算機研究院嘗試用Pure Data進行算法作曲，意圖將收集的太陽系的數(shù)據(jù)轉(zhuǎn)換成聲音的形式；在他們設(shè)計的SoSH工具中，包含有基本模塊(Patch) modefilter_ standalone.pd，如圖2所示；其中，使用了五組“波形濾波器（Mode-Filter）的子模塊（Sub-Patch），呈現(xiàn)五個不同音調(diào)同時運行的效果，如圖3所示[14]。
圖2 基本模塊modefilter_standalone.pd（圖片來源：斯坦福大學(xué)音樂計算機研究院）
圖3 子模塊波形濾波器（圖片來源：斯坦福大學(xué)音樂計算機研究院）
相比Pure Data，Max還能通過設(shè)置選取想要的樂器音色（還有 Abelton 也具有此功能） 。如果意圖展現(xiàn)可聽化的人機交互（ H C I , Human-computer interaction），通過MIDI接口將一塊Micro:bit連接電腦主機，是目前學(xué)者以及大眾在制作可聽化作品最常用的方法。在進行制作時，除了選取合適的音頻參數(shù)，需要考慮以下兩點：其一，將所有參數(shù)定在一個合適的區(qū)間，即選擇聽感上較為舒適的頻率范圍和音色；其二，將布置好的數(shù)據(jù)輸出至MIDI合成器或音頻設(shè)備等。許多音樂制作人嘗試使用Micro:bit制成手套，并通過Mini.mu與Pure Data設(shè)計編程，將手勢的轉(zhuǎn)動模擬出電音打擊墊的演奏，如圖4所示。有的制作人選擇Java編程語言，運用代碼方式分別將Micro:bit與計算機及Micro:bit手套連接（具體代碼可詳見Micro:bit官網(wǎng)）[15]。他們使用了Hairless MIDI和loopMIDI兩個程序?qū)IDI設(shè)備進行虛擬連接，在Pure Data界面中，當(dāng)每一個傳感器通過各個gemidi通道傳輸數(shù)據(jù)時，使用notein模塊來完成此任務(wù)，如圖5所示。
圖4 打擊墊演示截圖（圖片來源：Micro:bit官網(wǎng)）
圖5 notein模塊中的MIDI數(shù)據(jù)分配（圖片來源：Micro:bit官網(wǎng)）
2.2.2 編程語言
可聽化制作另一種方便快捷的方法是通過編程實現(xiàn)，Python是目前使用較多的一種語言。NASA工程師、可聽化專家Matt Russio介紹了使用Python編程將數(shù)據(jù)轉(zhuǎn)化為聲音的基本方法。在他們看來，通過python設(shè)計一個可聽化作品需要五個步驟[16]：布局（Mapping）,哪些數(shù)據(jù)分別對應(yīng)哪些音頻參數(shù)；極值（Polarity），數(shù)值越大對應(yīng)的是更高還是更低的頻率；范圍（Range），對于每一個選中的音頻參數(shù)，它的音頻范圍是什么，每一個音符需要維持多長時間；各個音頻參數(shù)在可聽化設(shè)計中的占比，加強還是壓縮（Scaling, Stretch/Compress）；量化（Quantization），是否考慮將一些數(shù)據(jù)在可聽化設(shè)計中改變其速度、節(jié)奏，讓整段音樂變得豐富。
3 數(shù)據(jù)可聽化與視聽藝術(shù)交互的討論
前文討論了數(shù)據(jù)可聽化與視覺藝術(shù)相結(jié)合的前沿研究，音畫結(jié)合使得觀眾能更好地欣賞藝術(shù)作品。但當(dāng)前很多學(xué)者有一個疑問，什么樣的可聽化作品是成功的？Kramer等美國學(xué)者搜集了許多被視為成功的可聽化作品，并舉例了在三個領(lǐng)域中的應(yīng)用或工具[17]：第一，他們認(rèn)為目前為止最成功的一個可聽化產(chǎn)品之一便是“Geiger-counter”,這件樂器可以探測不可見的危險等級并發(fā)出警報聲；第二，可聽化另一個富有潛力的領(lǐng)域便是視覺康復(fù)方面，傳感器可以幫助視力障礙者有效治療；第三，可聽化與教育領(lǐng)域結(jié)合的工具也是研究的重點之一，研究表明多數(shù)人通過聽覺能更好地理解信息的趨勢、聚集、關(guān)聯(lián)性以及數(shù)據(jù)中一段簡單的統(tǒng)計特征，不亞于閱讀[18]。
然而，仍然有少數(shù)研究人員認(rèn)為數(shù)據(jù)可聽化的發(fā)展有一定的局限性和缺陷，甚至有的學(xué)者認(rèn)為數(shù)據(jù)可聽化在不久的將來會慢慢淡出人們的視野。美國伍斯特學(xué)院的學(xué)者Neuhoff列舉了幾個質(zhì)疑和弊端[19]：第一，視覺與聽覺的同步精確度是否能有保證；第二，聽覺存在個體差異；第三，每位聽覺測試者在感受音頻交互的過程中，在不同維度、不同方面對作品的理解是不一樣的；第四，數(shù)據(jù)可聽化是一門跨學(xué)科的研究，相關(guān)領(lǐng)域的學(xué)者與音頻工程師對于數(shù)據(jù)的理解會有所差異，這會導(dǎo)致呈現(xiàn)的作品、對于數(shù)據(jù)的評估和整理出現(xiàn)一定程度上的分歧。學(xué)者Supper提出，數(shù)據(jù)可聽化更多地是一種娛樂化的方式，而不是從科學(xué)的角度分析各類數(shù)據(jù)[20]。學(xué)者Ono和Teghtsoonian在各自文章中提出，從衡量音頻參數(shù)的角度看，如果將數(shù)據(jù)的變化與音調(diào)的高低聯(lián)系起來，會發(fā)現(xiàn)音高的變化只在數(shù)據(jù)提高2%以上才能被感知[21,22]。Neuhoff 也提到，當(dāng)數(shù)據(jù)發(fā)生變化時，比如當(dāng)一個圖形的比例或尺寸的數(shù)值改變，聆聽者會對聽到的信息產(chǎn)生歧義，當(dāng)音調(diào)上升時，圖形的變化是擴張還是收縮是一個疑問[23]。數(shù)據(jù)可聽化的弱項還包括當(dāng)幾個音頻參數(shù)都發(fā)生改變時，響度參數(shù)會影響到諸如音調(diào)或音色的感知[24]。
當(dāng)然，Neuhoff也列舉了幾條數(shù)據(jù)可聽化的改進方法[25]：（1）需要堅持認(rèn)為數(shù)據(jù)可聽化是一個更偏向藝術(shù)的學(xué)問；（2）應(yīng)該側(cè)重于讓音頻交互設(shè)計得更巧妙，需要考慮欣賞者的感受，包括盡量避免使用音調(diào)或響度的功能造成的聽覺歧義等問題；
（3）避開“混亂的中間地帶”（Muddled Middle）,意思是不要總想著讓數(shù)據(jù)可聽化的藝術(shù)與科學(xué)數(shù)據(jù)達到一個平衡。
從視聽藝術(shù)的交互性來看，正如前文可聽化制作環(huán)節(jié)所提及的，意大利學(xué)者Polotti和Gonia認(rèn)為，采用人機交互技術(shù)將手勢或是身體姿態(tài)的變化進行數(shù)據(jù)可聽化，即手勢可聽化（Gesture Sonification）實現(xiàn)視聽藝術(shù)融合，使人們更好地接觸并理解相關(guān)作品[26] 。對于藝術(shù)領(lǐng)域的可聽化設(shè)計，最基本的原則是展現(xiàn)作品里的必要元素，包括明確設(shè)計的目標(biāo)及定義詳細的主題[27]。學(xué)者Findeli將這一觀點定義為“交互形式（Interaction Gestalts）”[28]。當(dāng)前，視覺藝術(shù)的可聽化不僅僅局限于繪畫美術(shù)作品等單一方向，相關(guān)領(lǐng)域從業(yè)者也慢慢將這一技術(shù)搬到音樂劇、舞臺劇、雜技表演的舞臺中。Polotti和Gonia通過三種不同的舞臺劇進行試驗[29]：（1）專業(yè)雜技表演，演員并沒有跟隨一段音樂跳舞，相反是根據(jù)舞臺上聲、光的變化調(diào)整動作；（2）專業(yè)與非專業(yè)迪斯科舞蹈表演；（3）使用VSE（Visual Sonic Enaction，圖像-聲音轉(zhuǎn)換系統(tǒng)）進行表演。
4 數(shù)據(jù)可聽化應(yīng)用于舞臺藝術(shù)中的前景
基于上述文章內(nèi)容的分析與總結(jié)，就未來視覺藝術(shù)可聽化的研究而言，制作環(huán)節(jié)上的精進和創(chuàng)新探究有以下三方面。
第一，與視覺作品相結(jié)合的數(shù)據(jù)可聽化項目實用性是其發(fā)展的重要因素，尤其是在大眾教育和視覺殘障領(lǐng)域的應(yīng)用有很大的潛力；第二，對于大眾教育而言，通過數(shù)據(jù)可聽化的方式能使人們更清晰易懂地理解視覺藝術(shù)作品的細節(jié)變化，音畫結(jié)合的形式也非常容易被大眾所接納；第三，對視覺殘障人士來講，可聽化作為一種欣賞視覺藝術(shù)的特殊方式給這類群體帶來了福音。
對于視覺藝術(shù)展演領(lǐng)域，近年來已有學(xué)者在舞臺劇或音樂表演中加入了數(shù)據(jù)可聽化的嘗試，相比在美術(shù)館或科技館小空間內(nèi)的數(shù)據(jù)可聽化的創(chuàng)作，受眾群體和市場潛力巨大。早在2004年，有關(guān)數(shù)據(jù)可聽化的音樂會就出現(xiàn)在了悉尼歌劇院。在這場“聆聽想象中的聲音（Listening to Mind Listening, LML）”的音樂會上[30]，學(xué)者Wolf和Fiebrink通過數(shù)據(jù)可聽化的方式讓觀眾與音樂劇表演者進行交互，每位觀眾戴上WiFi耳機，表演者的舞蹈肢體動作被量化成參數(shù)轉(zhuǎn)化為音頻的形式實時傳遞給觀眾，讓觀眾更加專注于舞臺上的表演[31]。還有學(xué)者研究了樂器演奏與演奏姿態(tài)的可聽化互動設(shè)計，其中，Kirsty Beiharz在她的文章中提及了一種名叫“Sonic Tai Chi” 的裝置設(shè)計（2005—2006年展陳于悉尼 Powerhose 博物館的BetaSpace,設(shè)計者Joanne Jakovich），如圖6所示，它是一個通過空間交互的虛擬的視覺及音頻合成的作品，它使用計算機視覺捕捉肢體動作的數(shù)據(jù)產(chǎn)生可視化和可聽化的效果，形成人與視聽藝術(shù)間交互[32]。
圖6 Sonic Tai Chi視聽交互設(shè)計（圖片來源：Joanne Jakovich）
盡管到目前為止，視覺藝術(shù)可聽化的舞臺劇作品還未出現(xiàn)成型的大制作，基于對相關(guān)研究及實踐的分析，未來視覺藝術(shù)可聽化在舞臺上的應(yīng)用具有很大的潛力，尤其是音樂劇、舞劇方面，如何將表演形式變得多樣化，如何讓觀眾融入視聽表演，是未來幾年研究的重點。筆者認(rèn)為，以下兩方面的研究會有潛在價值：一是畫作藝術(shù)的數(shù)據(jù)可聽化，音頻技術(shù)及音樂制作研究者可以探索分析著名畫家的畫作或視覺作品的數(shù)據(jù)，并制作成可聽化的交響樂或電子音樂作品，甚至通過舞臺表演的形式再次呈現(xiàn)，包括觀眾對于這種新形式的表演的接受程度；二是舞臺劇、雜技等表演藝術(shù)的數(shù)據(jù)可聽化，利用手勢可聽化將表演者的肢體語言進行數(shù)據(jù)轉(zhuǎn)化，形成與視聽藝術(shù)的交互性，或許能成為一種新的表演形式？作品中每個部分的數(shù)據(jù)可聽化處理，是通過在演員的四肢安裝交互式裝置，根據(jù)肢體的變化進行相應(yīng)頻率、節(jié)奏以及旋律的調(diào)整，這樣的方式或許能幫助更好地理解作品，也可以“拉近”觀眾與表演者的距離。不可否認(rèn)這種表演模式是令人耳目一新的，然而也存在著一些問題，制作成本是不能忽視的問題，尤其是經(jīng)濟成本，使用相應(yīng)的交互裝置需要一定的花費；此外，是可聽化作品的質(zhì)量問題，音頻工程師、音樂制作人以及舞臺劇導(dǎo)演和演員對于畫作的理解一定程度上決定了可聽化作品的質(zhì)量，所以整部作品的制作需要對藝術(shù)方面有非常高的理解力與造詣。
還有一點值得關(guān)注，國內(nèi)包括高等教育的相關(guān)領(lǐng)域?qū)τ谝暵牻换サ刃碌慕徊鎸W(xué)科還在探索階段，其建設(shè)亟待加強。筆者認(rèn)為，音頻工程系、舞臺美術(shù)系等可以設(shè)立相關(guān)專業(yè)課程，學(xué)生除了需要具備音樂、藝術(shù)等基礎(chǔ)知識外，也需要用一定的時間學(xué)習(xí)編程、信號處理等工科課程。
5 結(jié)語
基于數(shù)據(jù)可聽化的起源、概念以及主要特征，簡單闡述了數(shù)據(jù)可聽化作品的制作流程，包括當(dāng)前一部分學(xué)者進行視覺畫作參數(shù)的采集、整理及可聽化的設(shè)計，以及主要制作方法和工具，特別針對實現(xiàn)數(shù)據(jù)可聽化與視聽藝術(shù)的交互問題進行了討論，并展望了數(shù)據(jù)可聽化在舞臺藝術(shù)中的應(yīng)用前景。數(shù)據(jù)可聽化與視覺藝術(shù)的結(jié)合作為一個新興的發(fā)展方向前景廣闊。
選自 《演藝科技》2023年第一期 盧亦林《淺析視覺藝術(shù)的數(shù)據(jù)可聽化》。轉(zhuǎn)載請標(biāo)注：演藝科技傳媒。更多詳細內(nèi)容請參閱《演藝科技》。
（除原創(chuàng)作品外，本平臺所使用的文章、圖片、視頻及音樂屬于原權(quán)利人所有，僅用于行業(yè)學(xué)習(xí)交流，并不用于商業(yè)用途。文中觀點為作者獨立觀點，因客觀原因，或會存在不當(dāng)使用的情況，如，部分文章或文章部分引用內(nèi)容未能及時與原作者取得聯(lián)系，或作者名稱及原始出處標(biāo)注錯誤等情況，非惡意侵犯原權(quán)利人相關(guān)權(quán)益，敬請相關(guān)權(quán)利人諒解并與我們聯(lián)絡(luò)第一時間處理，共同維護良好的網(wǎng)絡(luò)創(chuàng)作環(huán)境。）
|
