國內首款AI音樂大模型一曲封神！核心技術業內首公開，爆改黴黴周杰倫效果驚豔
新智元報道
編輯：編輯部
【新智元導讀】國內首個音樂ChatGPT來了！提前試用「天工SkyMusic」後，整個編輯部暴風式哭泣：它改編的周杰倫和鳳凰傳奇簡直封神。團隊選擇了一條少有人走的路，他們賭贏了：比OpenAI提前押中了Sora架構，並且首次在業內公開技術圖。
最近幾周的震撼，是Suno給的。
重磅升級的Suno V3，不斷有刷屏全網的「神曲」誕生，讓全世界爲之瘋狂。
誰能想到，音樂的ChatGPT時刻，竟然就這麼來了。
圈內所有人都在討論：這一波，音樂產業沒準要被AI一鍋端了。
國內首款音樂AI來了！
這不，就在上週，國內首款AI音樂生成大模型「天工SkyMusic」也正式開啓內測了！
各路「大神」已經開始在首頁秀創作了
沒有靈感怎麼辦？產品頁面甚至爲你配備好了靈感話題。
試玩一番後，小編再次體會了一遍，當初Suno給人的那種驚豔感。
初體驗：一秒夢迴80年代，人聲以假亂真
比如這首《古韻悠長》，清亮的女聲一開口，瞬間夢迴80年代，是我媽跳廣場舞的那個feel了。
這首《愛是幸福》，更是好聽到讓小編驚掉下巴。旋律朗朗上口，歌詞雋永又令人無限回味，細聽有一股蔡健雅的味道。
除了歌曲整體的音樂品質非常高，極具欣賞價值之外，「天工SkyMusic」的最大亮點之一，就是它清晰逼真的人聲。
要知道，人聲合成，是AI音樂生成中最重要、最能體現生成效果和品質的維度。
而「天工SkyMusic」的AI人聲合成，能夠產生中文水平極高、發音清晰的歌聲，展現出卓越的音頻質量和逼真的演唱效果，已經達到業內SOTA水平！
在這方面，「天工SkyMusic」可是爆殺了幾個外來大模型。他們在中文發音上，簡直是慘不忍睹沒眼看。
比如Suno的這首《宮保雞丁》，唱起中文歌來也是老外說中文那味兒。
可見，要想做中文歌，還得看咱自己的音樂大模型！
可控性，音樂人的專業指標
接下來，我們就得上一些專業指標了。
歌詞段落
一首歌爲什麼能夠爆紅全網，火遍大江南北？
從流行音樂的角度，它需要有強烈的旋律、鮮明的節奏、多彩的和聲、激昂的情感。
因此，想要做出一首抓耳的流行歌，不同歌詞段落間微妙的情緒變化，就是一個很關鍵的點。
而「天工SkyMusic」在這方面，就格外擅長——
它能通過歌詞來控制歌曲，體現出主歌和副歌、前奏和主歌的段落差異。
比如這首《龍行龘龘》，開頭悠揚的女聲民歌和激昂揚的男女聲對唱部分形成鮮明對比，一首大氣磅礴的國風歌曲渾然天成。
風格
在風格控制上，它可以參考指定音頻，學習特定特定的曲風。
它創作的這首《飛翔鳥》，聽起來非常像學習了許巍的民謠風。
自動前奏、間奏、尾奏
音樂製作人時常面臨的一個問題是，已經有了合適的歌曲，但缺少前奏和尾奏，絞盡腦汁也找不到合適的。
這時候，就可以找「天工SkyMusic」幫忙了。它補充完整的這首《Guitar》，慵懶隨意的唱腔搭配恰到好處，聽起來非常治癒。
和聲
根據歌詞描述，「天工SkyMusic」給這首《水調歌頭》自動添加上了和聲。
幾個男聲的和聲和主唱的音色十分契合，再結合節奏鮮明的鼓點，一首旋律激昂大氣的國風《水調歌頭》就這樣誕生了。
歌詞技巧
而且，模型還可以參考音頻的特徵，智能地學習演唱技巧。
比如這首歌劇版的《我的滑板鞋》，就演繹出了別樣的風味。
王者榮耀、周杰倫、鳳凰傳奇，你想要的它都有
時下的流行icon，怎麼和流行音樂融合？如果找對了叩擊大衆心絃的那個點，抖音神曲並不是一件難事。
「天工SkyMusic」，讓這一切都成爲可能。
輸入帶有結構的歌詞+參考音頻，就能把自己玩王者榮耀的體驗寫出一首歌了：「我真的氣死了，skr skr~」
或者，我們還可以根據已有的歌詞進行二創。
比如輸入《彩虹》的歌詞，再錄一段《最長的電影》主歌和副歌30s的音頻做參考，兩首歌「生出」的一首新歌就誕生了：
聽得出來，部分旋律還是有可圈可點之處的。
再用蕾哈娜的《Diamonds》的詞，配上黴黴維密秀震撼神曲《See You Again》試試？
出來的「混血」女聲英文歌是這樣的：
唱腔控音極好，高低音轉換流暢，其中幾句的多處轉音頗爲神奇，值得細品。在人類作曲家中似乎很少聽到這麼「鬼才」的旋律組合，這就是來自AI的巧思吧。
而且非常神奇的是，歌曲的唱腔忽然就變得像蕾哈娜了，跟黴黴的嗓音並不像。
接下來，讓我們來爆改一下鳳凰傳奇的《最炫民族風》，不過跟剛纔不同的是，這次輸入的都是原歌詞和原曲，讓它自我「整改」一下。
出來的，是另一種感覺的廣場舞神曲。
不僅如此，我們甚至還可以把突發的熱點事件，分分鐘變成一首爆款潛力股。
說唱版熱梗「高速運轉的機械」瞭解一下：
那麼，「天工SkyMusic」是怎麼做到如此驚豔的效果呢？
爲此，我們最近特地找到初創團隊的大佬聊了聊。
走少有人走的路
MIDI or 音頻？破釜沉舟
相信大家心裡都有一個疑問：怎麼以前沒有好聽的音樂AI，最近才扎堆冒出來呢？
當然是因爲——它非常難！
好的AI音樂難做，一個原因是此前主流的符號派（MIDI）技術效果太差；還有一個原因，就是過往的音樂AI基本都在無人聲的BGM領域，有人聲的Song要麼做不出來，要麼效果也是很差。
一首歌有人聲和無人聲的吸引力程度差別有多大，不言自明。
具體來說，AI音樂生成有兩大主要技術路徑，符號派、大模型派。
符號派以MIDI爲主流。MIDI全稱Musical Instrument Digital Interface，本身不包含音頻文件，而是記錄音樂演奏的指令，比如哪個音符被播放、音量是多少、音符持續的時間等。
因爲不能直接生成歌曲，後期還需加上樂器、旋律、音色、人聲。
第二條大模型音樂音頻生成路線，能夠直接學習並生成音頻波形，樂器、人聲、旋律、音量、音符都是一體化端到端生成。
符號（MIDI）方向的研究，學界有很多，然而效果卻很差；大模型音頻方向則極難，做的極少。
面對兩條路線，選哪個呢？
立項之初，公司內部就面臨着這一艱難的選擇。前者效果不好，後者則極有可能會做不出來，整個項目雞飛蛋打。
最後，「天工SkyMusic」研發團隊經過投票，一致決定選擇音頻方案。大家公認：寧願冒着巨大風險，也要做出真正好的AI音樂。
幸運的是，他們成功了。
注意，下面你看到的這張圖，可謂價值連城。
SkyMusic核心技術架構
因爲，目前市面上沒有任何可用的AI音樂大模型企業，公開過自己的技術路徑，包括Suno。
ChatGPT出來後，LLM百花齊放，這是因爲有無數開源項目可以參考。
但音頻路線+人聲Song路線，沒有任何公開資料可參考，天工砸進去數不清的研發資源和算力算法投入，才摸索出了上面這張極其寶貴的路徑圖。
該踩的坑，團隊都已經提前踩過了，而如今這個可復現的方案，也被他們慷慨貢獻了出來。
而且巧合的是，雖然最終的框架與Sora類似，但其實在研發的時候Sora還沒誕生呢。
只能說，英雄所見略同。
談一談音樂
在類Sora架構中，Large-scale Transformer負責譜曲，通過學習Music Patches的上下文依賴關係來控制音樂結構和風格。
這樣，就完全實現了對風格的掌控。
而Diffusion Transformer則負責演唱，也即聲音的生成和渲染，通過LDM技術，將Music Patches轉換爲高質量音頻輸出，因此音樂具有清晰的風格特徵和音質表現。
當AI開始學習情感
而如果我們仔細聽上面的作品，就會感覺到：「天工SkyMusic」對於音樂情感的捕捉極爲細膩。
它生成的音樂，彷彿有着豐富的情感脈絡，和一種動態的變化。
正是這種對於情感表達的強化，讓它的作品能夠根據歌詞和音樂元素，生成不同情感氛圍的作品。
相比於以往側重於智力提升的AGI模型，它的「情感AGI」路線，則顯得尤爲珍稀和寶貴。
因爲，它不僅是一個聰明的AI，還是一個努力去理解和模擬人類情感、用音樂去表達情感的AI。
跟市面上那些側重旋律創作、學習大量樂段的旋律，或是深入和絃、節奏、編曲層次的AI相比，「天工SkyMusic」的情感維度，也成爲它在行業中的差異化亮點。
比Suno和Stable Audio 2.0強在哪兒
與市面上Suno等AI音樂工具相比，AI音樂生成大模型「天工SkyMusic」有着獨特的優勢。
它背後採用的，是基於MoE架構的4000億級參數多模態超級大模型「天工3.0」。
在業界領先的邏輯推理、語義理解和泛化能力的加持下，「天工SkyMusic」的響應速度和訓練推理效率，也得到了極大地提升。
首先在中文上，「天工SkyMusic」的AI人聲合成極爲優秀，發音清晰、無異響。
特別是，得益於在中文語境中的深度優化，其在中文演唱效果上，更符合中國市場的需求。
其次，在音樂風格上，「天工SkyMusic」更略勝一籌。
它能夠通過歌詞控制情緒變化，並實現如顫音、歌劇、吟唱等多種歌唱技巧，使生成的音樂作品，情感更加豐富且貼合情境。
此外，「天工SkyMusic」還支持創作說唱、民謠、放克、古風、電子等多種音樂風格，用戶可以根據個人喜好定製音樂風格。
不過，不僅僅是「天工SkyMusic」，包括Suno等AI工具，都距以假亂真的專家音樂水平相對較遠。
因此，這也是崑崙萬維決定將其技術架構公開，希望業界一同推動這一領域發展的原因。
AI不會取代音樂人
「天工SkyMusic」、Suno之外，近幾天另一個堪稱「Sora版」的神秘音樂模型Udio，也引發了全網關注。
拿到測試資格的網友，紛紛表示Udio音樂生成強太多了，甚至讓人感受到了AGI的力量。
難道AI已經真的到了，能夠取代人類音樂歌手的地步了嗎？
原創，真的已經不再重要？
顯然都不是。
AI音樂生成技術的快速迭代，無疑正在改變音樂創作的方式和體驗。
但，這並不意味着AI會完全取代音樂人，或讓原創變得不再重要。
相反，AI音樂生成技術與音樂創作者，可以相輔相成。
一方面，強大的AI可以降低音樂創作的門檻。
即便是非專業人士，也擁有機會接觸音樂，創作出有一定水準的音樂作品。
這將極大地拓展音樂創作者羣體，激發多元的音樂形態和跨界合作。
另一方面，如「天工SkyMusic」這樣的工具可以賦能音樂創作者。
它們可以通用簡化旋律原型生成、提供創意靈感、協助製作高質量伴奏等創作環節，幫助音樂人提高創作效率。
崑崙萬維董事長兼CEO方漢曾在採訪中說過這麼一句話：
因此，當音樂創作門檻降低之後，就會有更多的人成爲「原創音樂人」。
總而言之，若以靜態的角度看待行業，許多人會認爲，AI音樂的出現「切走了音樂行業的蛋糕」。
但動態地來看，技術的進步能夠讓音樂市場越來越大，行業蓬勃發展，孕育出全新的內容生態、音樂業態。
比如，按需定製音樂服務、在線音樂創作工具訂閱等新的商業模式，可以爲音樂產業帶來新的消費增長。
當前，國內許多音樂平臺都爲Suno AI做了專欄，直接解鎖了一把新的流量密碼。
而面向教育，AI音樂創作可以幫助我們快速感知音樂創作原理，嘗試多種音樂風格創作，爲音樂產業培養孵化新一代人才。
讓每個人更好表達自我
更宏觀地講，除了圖片、視頻、AI音樂也是通向情感AGI路上的一個重要的組成部分。
音樂，不僅是一種藝術形式，更是情感交流和表達的方式。
而且，音樂更能觸及人的情感深處，是情感表達的重要媒介。
針對AGI開展的研究中，許多團隊都將重點放在模型智力的擴展與增強上。
而真正的AGI的終極目標是——更像人，兼具感性理性、推理邏輯思維，以及情感理解等能力。
正是意識到了這點，一直將情感AGI視爲重要方向的崑崙萬維，希望攻克音樂AI這一大技術難題。
在研發「天工SkyMusic」過程中，研究團隊積極探索音頻內容，尤其是音樂對於情感理解與表達的獨特優勢。
他們不僅關注音樂作品的譜曲、編排和演唱等技術層面，更強調模型對音樂情感色彩的感知和再現能力。
「天工SkyMusic」在情感表達的準確性、多樣性，以及歌詞段落情緒變化的敏感捕捉，印證了崑崙萬維在情感AGI上取得實質性進展。
當然，除了AI音樂生成，AI寫作、繪畫、動畫等領域，崑崙萬維也在探索其在創作工具中的應用。
在情感AGI這條主線上，他們希望通過自研技術，幫助創作者更好地通過AI技術表達和傳遞情感內涵。
未來三十年，會有越來越多的人表達自我，人類社會的自我表達側要翻1000倍。
崑崙萬維接下來所做的，便是讓AI降低人類創作門檻，讓我們每個人都加入這股AI音樂大潮。