Newtalk網紅 IG
Newtalk網紅 IG
讀享頭殼幣✦喝咖啡換iPhone ⓘ
瀏覽15 請下滑瀏覽 即可獲得頭殼幣 ⓘ
立即領取 即可獲得頭殼幣

創夢實驗室》迪威智能DeepWave深耕音樂處理AI技術 提供產業三大應用(下)

新頭殼newtalk | 創夢市集
1970-01-01T00:00:00Z
迪威智能研究團隊成員合影。   圖:數發協會/提供
迪威智能研究團隊成員合影。   圖:數發協會/提供

深耕音樂處理AI技術,提供音樂產業三大應用

相比於其他的音訊處理技術,是以 rule based 技術判斷人聲與背景音樂,但是並沒有辦法做更複雜的處理,有其限制;迪威智能則是以 AI 裡面較複雜的深度學習技術,直接學習何謂人聲、何謂背景聲,甚至去細分背景聲裡面個樂器的聲音,分離後的音質也會更好。

至於訓練用的音樂來源,迪威智能說他們都是購買具有合法版權的音樂,雖然現在取得音樂容易,以這些音樂訓練出來的技術也不會有法律疑慮,但若是以此技術進行商用,就會有版權問題,「其實放上 Youtube 也是遊走在灰色地帶,這就要看該音樂的版權政策是怎麼訂的了。」林智源笑著說。

迪威智能將他們的技術深化,並分成三大應用:

1.人聲分離的應用場域與市場需求較多,例如線上卡拉 OK 伴唱帶,甚至是在戶外錄製 podcast、拍攝 youtube 等,都會在後製期間強化人聲;另外,若有歌詞的檔案,迪威智能的 AI 系統也可以自動將歌詞對照到人聲的時間點。

2.樂器分析:迪威智能的技術還可以將背景音樂的樂器各自獨立成一個音軌,並且自動產生出樂譜,這樣一來對於音樂教學與練習會有極大的幫助。

3.MIDI(Musical Instrument Digital Interface,音樂數位介面):就是將音樂參數化(音高、動態、節奏等)的意思,這樣一來可以讓音樂檔案在不同媒體之間通用;至於實際應用,迪威智能將人聲變成 MIDI 檔案,那就可以應用在任何裝置上,並作為歌唱評分的標準。

迪威智能的 AI 音訊處理技術,深獲國際音樂評比MIREX(Music Information Retrieval Evaluation eXchange)的肯定,前前後後總共獲得過 25 次評比獎項,也在該活動中認識不少音樂娛樂界的廠商,其中一中國知名音樂串流平台也跟迪威智能合作中。

整合各項技術成立SaaS平台,展望智慧製造的應用可能

這些音訊處理技術,未來迪威智能考慮直接建立一個整合的 SaaS 模式平台,讓對於相關音樂處理有需求的廠商可以直接到平台訂閱服務;除了音樂娛樂產業,迪威智能也希望建立音樂線上教育平台、開啟 B2C 的服務,讓過去僅僅是由老師錄影授課的方式,改成可以動態追蹤學生學習效果、以及給予即時回饋的模式。

除了音樂娛樂與教育產業,迪威智能也正在把人聲辨識的技術應用在正語發音的市場。與音樂教育一樣,透過人工智慧的判讀,老師就可以給予即時回饋,讓英語學習具句效率,目前迪威智能也已經跟一些英語教育平台合作開發中。另一個應用是智慧工廠與智慧製造,透過便是機器運作時的聲音是否正常,就可以即時給予工廠警告,不過目前 AI 模型的建立仍具有一點難度,林智源說:「目前最大的挑戰是錄音會被環境影響,這部分有待克服。」除了跨足正語發音和智慧製造市場,迪威智能也提到只要技術許可,醫療聽診也是可以延伸的領域。

迪威智能深耕音樂處理二十年,已經具備深厚的技術,成立兩年多的時間接觸了音樂、教育、工廠製造等不同領域,林智源說,他們正在尋找這些技術最適合的應用領域與市場,目前多方嘗試下來,應該還是會以音樂娛樂市場為主,至於其他的服務則是作為延伸服務;待 SaaS 平台建立整合完成,迪威智能的下一步就會開始往硬體整合的方向前進,提供更多元的產品。

迪威智能人聲分離處理。   圖:數發協會/提供
迪威智能人聲分離處理。   圖:數發協會/提供
讀新聞享好禮
活動說明
網友留言
留言如有不雅或攻擊性文字、重複灌水、廣告、外站連結等內容,本網站將保有刪除留言之權利
請下滑瀏覽 領取頭殼幣
留言
追蹤
字級