最近，一位「冷門歌手」竟靠著AI替身，翻唱華語(yǔ)樂(lè)壇歌曲爆紅全網(wǎng)。

編者按：本文來(lái)自微信公眾號(hào)新智元（ ID：AI_era），編輯：桃子、好困 ，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

一夜之間，「AI孫燕姿」火遍全網(wǎng)。

(資料圖)

B站上，AI孫燕姿翻唱的林俊杰「她說(shuō)」、周董「愛(ài)在西元前」、趙雷「成都」等等，讓一眾網(wǎng)友深陷無(wú)法自拔?！咐溟T歌手」孫燕姿新晉成為2023年度熱門歌手，掀起許多人的追星狂歡。

網(wǎng)友表示，「聽(tīng)了一晚上AI孫燕姿，出不去了......」這些翻唱歌曲，是由Eternity丨L、羅斯特_x等UP主通過(guò)開(kāi)源項(xiàng)目自制后并上傳。

（作者似乎特意在「半島鐵盒」中加入了一秒空白，湊成5分20秒）

除了AI孫燕姿，還有AI周杰倫，AI王心凌、AI林志炫...

可能許多人做夢(mèng)也沒(méi)有想到，2023年華語(yǔ)樂(lè)壇竟以這種形式復(fù)興了。

「AI孫燕姿」在線營(yíng)業(yè)

前段時(shí)間，一位TikTok網(wǎng)友用AI創(chuàng)作了一首「Heart on My Sleeve」很快躥紅網(wǎng)絡(luò)，引來(lái)1000多萬(wàn)人圍觀。

聽(tīng)完這首歌的網(wǎng)友紛紛表示，太讓我驚訝了，簡(jiǎn)直太瘋狂！

這首歌正是用兩位美國(guó)流行音樂(lè)人Drake和The Weeknd的聲音創(chuàng)作而成。先通歌手聲音訓(xùn)練AI，然后再用AI來(lái)創(chuàng)作。

在國(guó)內(nèi)，B站上AI翻唱的華語(yǔ)樂(lè)壇歌曲也漸漸成為許多人關(guān)注的焦點(diǎn)，孫燕姿、王心凌、周杰倫等明星紛紛「復(fù)出」。

而最火的莫過(guò)于孫燕姿，憑借「天后音色」的稱號(hào)，直接成為AI新寵兒。

然而，對(duì)于AI音樂(lè)制作，在整個(gè)音樂(lè)行業(yè)并非是一個(gè)新事物了。只不過(guò)生成式AI的大火，讓AI翻唱的門檻再次被拉低。

比如，年初，谷歌還曾推出了文本到音樂(lè)模型MusicLM，通過(guò)將音樂(lè)的生成過(guò)程視為分層的序列到序列建模任務(wù)，并以24 kHz的頻率生成高保真的音樂(lè)。

對(duì)于許多歌迷來(lái)講，AI翻唱一定程度上滿足了自己的許多遐想。

還有一些歌迷，自己訓(xùn)練了已故經(jīng)典老歌手的AI，包括阿桑、張國(guó)榮、姚貝娜、鄧麗君等等。

這或許是一種數(shù)字永生，通過(guò)這樣一種方式讓久違的聲音再次回到人們心里。

Midjourney出圖逼真的超強(qiáng)能力，讓人們驚呼畫家要失業(yè)了。對(duì)于AI翻唱，難道歌手也要被去取代嗎？

一位UP主@阿張Rayzhang用自己的音色訓(xùn)練出的AI唱Killer Queen后，瞬間感覺(jué)太恐怖了。

緊急錄制一個(gè)視頻后，并附上了「AI歌手會(huì)讓翻唱區(qū)集體失業(yè)嗎？我被AI版的我爆殺！」標(biāo)題。

有網(wǎng)友稱，自己就是AI第一批受害者畫手，感覺(jué)什么職業(yè)也逃不掉。

有些人也表示，翻唱的有些地方一點(diǎn)也不像。

要知道，對(duì)于AI翻唱來(lái)講，也需要豐富的特定藝術(shù)家音色訓(xùn)練數(shù)據(jù)，這樣AI生成的作品才更加真實(shí)。

就目前的技術(shù)，雖然歌手的唱腔、技巧和風(fēng)格等還不能完全模仿，但音色已經(jīng)基本能完全復(fù)刻。

但是真正的大家是不能被取代。

AI翻唱火雖火，但由AI創(chuàng)作音樂(lè)的另一面，是迫在眉睫的版權(quán)問(wèn)題。

AI創(chuàng)作的「Heart on My Sleeve」在TikTok上風(fēng)靡一時(shí)后，完整版被上傳到了Apple Music、Spotify、YouTube等平臺(tái)上。

就此，美國(guó)歌手Drake對(duì)此在Ins表達(dá)了不滿，「這是（壓死駱駝的）最后一根稻草了」。目前，這首歌因?yàn)榍謾?quán)問(wèn)題已經(jīng)下架。

《金融時(shí)報(bào)》稱，擁有Taylor Swift、Bob Dylan等巨星版權(quán)的環(huán)球音樂(lè)集團(tuán)，正敦促Spotify和蘋果阻止AI工具從其藝術(shù)家的版權(quán)歌曲中抓取歌詞和旋律。

但是有些藝術(shù)家卻不吝嗇自己的聲音，馬斯克前女友Grimes在網(wǎng)上表示，

「任何人都可以使用我的聲音AI生成歌曲?！共贿^(guò)，還得再付50%的版權(quán)。

而這次大火的AI翻唱背后的原始項(xiàng)目「so-vits-svc」的作者，據(jù)稱也是因?yàn)樘嗳藶E用，而刪除了項(xiàng)目。

SoVitsSvc：唱歌聲音轉(zhuǎn)換

歌聲轉(zhuǎn)換模型使用SoftVC內(nèi)容編碼器來(lái)提取源音頻語(yǔ)音特征，然后將向量直接送入VITS，而不是轉(zhuǎn)換為基于文本的中間格式。因此，音高和音調(diào)都可以被保留下來(lái)。

此外，項(xiàng)目開(kāi)發(fā)者還通過(guò)采用NSF HiFiGAN作為聲碼器（vocoder），從而解決了聲音中斷的問(wèn)題。

· 特征輸入改為Content Vec · 采樣率統(tǒng)一使用44100Hz

· 由于參數(shù)的改變，以及模型結(jié)構(gòu)的精簡(jiǎn)，推理所需的GPU顯存明顯減少。

· 增加選項(xiàng)1：vc模式的自動(dòng)音高預(yù)測(cè)，這意味著在轉(zhuǎn)換語(yǔ)音時(shí)不需要手動(dòng)輸入音高鍵，男聲和女聲的音高可以自動(dòng)轉(zhuǎn)換。但是，這種模式在轉(zhuǎn)換歌曲時(shí)，會(huì)造成音高偏移。

· 增加選項(xiàng)2：通過(guò)k-means聚類方案減少音色泄漏，使音色與目標(biāo)音色更相似。

· 增加選項(xiàng)3：增加NSF-HIFIGAN增強(qiáng)器，對(duì)一些訓(xùn)練集少的模型有一定的音質(zhì)增強(qiáng)效果，但對(duì)訓(xùn)練好的模型有負(fù)面影響，所以默認(rèn)關(guān)閉。

預(yù)訓(xùn)練模型文件

將checkpoint_best_legacy_500.pt放在hubert目錄下。

將G_0.pth和D_0.pth放在logs/44k目錄下。

預(yù)處理

0. 音頻切片

利用audio-slicer-GUI或audio-slicer-CLI工具，將原始音頻切片至5秒-15秒。

長(zhǎng)一點(diǎn)也沒(méi)問(wèn)題，但太長(zhǎng)（比如30秒）可能會(huì)在訓(xùn)練甚至預(yù)處理時(shí)導(dǎo)致「torch.cuda.OutOfMemoryError」，俗稱爆顯存。

切片后，刪除過(guò)長(zhǎng)和過(guò)短的音頻。

1. 重采樣至44100Hz和單聲道

python resample.py

2. 自動(dòng)將數(shù)據(jù)集分成訓(xùn)練集和驗(yàn)證集，并生成配置文件

python preprocess_flist_config.py

3. 生成hubert和f0

python preprocess_hubert_f0.py

完成上述步驟后，dataset目錄將包含預(yù)處理的數(shù)據(jù)，dataset_raw文件夾可以被刪除。

現(xiàn)在，你可以修改生成的config.json中的一些參數(shù)——

keep_ckpts：在訓(xùn)練中保留最后的keep_ckpts模型。設(shè)置為0將保留所有模型，默認(rèn)是3。

all_in_mem：將所有數(shù)據(jù)集加載到RAM中。當(dāng)某些平臺(tái)的磁盤IO太低，而系統(tǒng)內(nèi)存比你的數(shù)據(jù)集大得多時(shí)，可以啟用。

訓(xùn)練

python train.py -c configs/config.json -m 44k

推理

模型在需要使用「inference_main.py」。

舉個(gè)例子：

python inference_main.py -m "logs/44k/G_30400.pth" -c "configs/config.json" -s "nen" -n "君の知らない物語(yǔ)-src.wav" -t 0

雖然原始項(xiàng)目組現(xiàn)已停止維護(hù)，但有不少網(wǎng)友都進(jìn)行了fork并且也做了一些更新。

比如下面這個(gè)圖形化界面：

項(xiàng)目地址：https://github.com/voicepaw/so-vits-svc-fork

AI「復(fù)活」

AI翻唱之外，許多網(wǎng)友此前曾做了類似的項(xiàng)目，比如「AI-Talk」讓馬斯克和喬布斯進(jìn)行了穿越時(shí)空的對(duì)話。

視頻中，AI不但模擬了他們的聲音，還在一定程度上模擬了其對(duì)話思路，使得交流過(guò)程十分流暢。

AI讓我們與逝者的對(duì)話成為可能。此前，B站UP主用AI還復(fù)活了老奶奶。

對(duì)于老奶奶的聲音制作，直接把過(guò)去已有的音頻上傳，素材基本來(lái)自于過(guò)去的電話錄音、錄像視頻或者微信語(yǔ)音。

并用音頻編輯軟件AU進(jìn)行調(diào)整，調(diào)整的方向主要在降噪、人聲增強(qiáng)等等。

然后將更加清晰的音頻樣本切割成若干秒的短句，方便進(jìn)行標(biāo)注。最后將處理好的音頻打包放入語(yǔ)音合成系統(tǒng)中去。

利用語(yǔ)音合成系統(tǒng)，就可以嘗試輸入文本轉(zhuǎn)語(yǔ)音了。

網(wǎng)友見(jiàn)證科技狠活

AI孫燕姿的歌，已經(jīng)唱到許多網(wǎng)友的心坎。

最近沉迷AI「翻唱」，上至AI侃爺唱罰酒，下至蘇小玎唱真相是真。但說(shuō)句正經(jīng)的，確實(shí)還是AI屆頂流孫燕姿的翻唱最好聽(tīng)。

這幾天沉迷B站的AI孫燕姿，剛剛聽(tīng)了一首《一場(chǎng)游戲一場(chǎng)夢(mèng)》，太好聽(tīng)了，唱到心坎里

不少網(wǎng)友聽(tīng)過(guò)AI翻唱的歌曲后，感受到AI歌手的可怕之處：

科技的力量真是讓人細(xì)思極恐。

深深感受到了什么叫做科技的力量......

這就是AI生命，數(shù)字飛升！

還有網(wǎng)友對(duì)逝去歌手的懷念。

參考資料：

https://github.com/svc-develop-team/so-vits-svc

https://www.bilibili.com/video/BV1io4y1w73k/?vd_source=eecf800392d116d832e90ad1c9ae70f6

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個(gè)人觀點(diǎn)，不代表創(chuàng)業(yè)邦立場(chǎng)，轉(zhuǎn)載請(qǐng)聯(lián)系原作者。如有任何疑問(wèn)，請(qǐng)聯(lián)系editor@cyzone.cn。