「鋼琴鍵彈出音，一棵樹冒出頭，隨著琴鍵發出洩洪般旋律，樹也跟著愈長愈大」，中山大學今(11)天發表「音樂作畫」互動科技，透過偵測樂器的頻率、振幅與漸強漸弱等聲音參數，將樂器的聲音偵測參數轉換為螢幕動畫，藉由鋼琴演奏，螢幕同步慢慢長出一棵樹。
中山大學指出，「音樂作畫」為國內數位科技與互動藝術跨界一大創舉，由音樂學系教授應廣儀及機械與機電工程學系教授程啟正攜手研發，樂曲演奏時同步呈現動畫，讓音樂與畫作合而為一，未來可應用於互動遊戲、醫療復健與藝術治療等領域。
程啟正說，鋼琴只要彈到某些段落旋律，樹長出來、打雷、雲朵飄等這些動畫就被啟動。他說，研究團隊先作曲、構思故事內容，接著用電腦畫出500張圖，其中31張圖需透過一個小節的音串觸發，靠著數學方式「快速傅立葉轉換」（Fast Fourier Transform, 簡稱FFT）辨識音串。
應廣儀表示，目前許多聲音與影像的結合是將現成的音樂用後製方式搭配影像播放，並非現場的及時影像；即便有當下及時的視覺效果，也非常抽象，無法具體呈現敘述性情節。
這項創新嘗試由音樂團隊負責樂曲的創作與演出，科技團隊則主導音樂元素的採集、偵測與互動程式設計，每個蒐集到的聲音參數就像一枝畫筆，代表不同的元素在畫布上構圖，隨著音樂進入不同橋段而呈現不同的視覺效果，兼具互動藝術的內涵及趣味。
「有時演奏者也會彈錯一兩個音，這些微小誤差都會成為啟動動畫的障礙。」對錄音工程很有興趣的機電系大四生徐浩崴，在校外自組搖滾樂團，得知這項跨域合作後，自動奮勇加入。他表示，「音樂作畫」最困難的部分就是錄音品質，由於每台鋼琴的琴音不同，加上收音時麥克風的高度、鋼琴擺放的位置，只要稍微不一樣，電腦接收到的音質數據就不同。
