AIで歌声を作成出来るオープンソフト「NEUTRINO」を使ってみたのでまとめてみました
AIきりたんが有名なソフトのようです
使ってみた感想としてはまあ難しいですね
導入自体は特別難しい事は無いんですけど楽譜を用意したり音声の調整をしたりと
結構専門的な作業が多いです
NEUTRINOとは？
NEUTRINO – NEURAL SINGING SYNTHESIZER は最新の生成系AIを用いた歌声シンセサイザーです。
公式サイトより引用
楽譜を読み込ませることでAIが歌声を生成してくれるオープンソースのソフトです
利用料金はかかりません
リリースは2020年で2022年にクラウドファンディングを達成して
「ずんだもん」と「四国めたん」の歌声が追加されました
記事執筆時の歌声は全部で１２名で「東北三姉妹」や「琴葉姉妹」が特に有名だと思います
ソフトとは違い歌声は各キャラクター毎に利用規約があるのでしっかりと確認をしてください
「琴葉姉妹」は有料ソフトに付属しているようなので無料で使用することは出来ません
「東北三姉妹」や「ずんだもん」「四国めたん」は比較的利用規約が緩いようなので
オススメです
インストール方法
必要なもの
- NEUTRINO（本体）
- 歌声ファイル
- MuseScore（楽譜作成ソフト）
必須なものはこの３つだけです
その他必要に応じてGUIで歌声の調整が出来る「NEUTRINO調声支援ツール」やDAWソフトを用意してください
NEUTRINO本体と歌声ファイルのダウンロード
まずはNEUTRINO本体と歌声ファイルをダウンロードします
上記リンクから公式サイトに飛べます
公式サイトにアクセスしたら「Start Now」をクリックしてください
NEUTORINO Diffusionダウンロード画面に飛べるので下の方にスクロールしてダウンロードリンクをクリックしてください
記事執筆時点ではGoogle Driveからのダウンロードが推奨されているのでGoogle Driveを利用するのが良いと思います
試しに下のダウンロードリンクを押して見ましたが非常に遅かったです
Google Driveにアクセスしたら「NEUTRINO Diffusion-Muon v～」というフォルダがあるはずなのでそのフォルダをダブルクリックしてください
NEUTORINO本体と歌声ファイルがそれぞれ入っているので必要なファイルをダウンロードすればOKです
「ファイルの～」というエラーが出てしまいますが無視してダウンロードしてください
NEUTORINO本体はOSによって異なるので注意してください
MuseScoreダウンロード
次にMuseScoreのダウンロードを行います
上記リンクから公式サイトにアクセスしてください
「無料ダウンロード」をクリックしても良いんですけど
そうすると「MuseHub」がダウンロードされてしまいそこからさらにMuseScoreをダウンロードする必要があります
「無料ダウンロード」の下にある「MuseHubなしでMuseScoreをダウンロード」をクリックした方が楽だと思います
これで必須なソフトは全てダウンロード出来ました
使い方
NEUTORINO
ダウンロードしたファイルを解凍してください
NEUTORINOのフォルダ内にある「model」に歌声のファイルを
「Score」→「musicxml」に作成した楽譜を入れます
画像は「ずんだもん」のフォルダをいれたところです
MERROWは最初から入っています
楽譜は.musicxmlという形式になります
僕は楽譜を書けないので今回は最初から入っているサンプルで歌声を作ってみました
次に「Run.bot」ファイルをメモ調などのソフトで開きます
楽譜の読み込みは「BASENAME＝sample1」の「sample1」に作成した楽譜の名前を入力します
拡張子は必要ありません
歌声は「ModelDir=ZUNDAMON」の「ZUNDAMON」のところを変更すれば好きな歌声に変更できます
それぞれ設定が完了したら上書き保存をしてメモ調なりを閉じます
後は「Run.bot」をダブルクリックで展開すれば歌声の生成が始まります
コマンドプロンプトが開くのでしばらくまってください
完了すれば自動でコマンドプロンプトは閉じます
出来上がった歌声は「output」フォルダに入っています
.wavファイルが音声ファイルですね
２種類ありますが好きな方でOKです
歌声に関しては多少の違和感はあるもののかなり自然な歌声になっていると思います
その他にもピッチの変更等色々機能がありますが結構難しく自分もあまり理解出来ていません
ダウンロードした本体のフォルダに詳しい説明書が付属しているのでそちらを見てもらった方が良いと思います
MuseScore
申し訳ありません
自分は楽譜が書けないのでこちらのソフトの使い方は解説が出来ません
起動画面はこんな感じになっていてかなり本格的だと思います
入力するには使いたい音符を選択して五線譜上をクリックしてください
休符も同様です
ただ操作は結構独特で例えば「八分休符」を入力したい時は全休符をクリックして
八分音符をクリックする等あまり馴染みの無い操作が多いです
音楽に精通した方なら当たり前のことなのかもしれませんが
鍵盤が引ける方なら鍵盤を表示させて引いた方が早いかもしれませんね
「表示」からか「Pキー」で鍵盤を表示させることが出来ます
おまけ：あったら便利かも？
NEUTRINO調声支援ツール
ピッチ調整等をGUIで編集出来るツールです
まだBETA版らしく最新のNEUTORINOには対応していません
https://github.com/sigprogramming/tyouseisientool/wiki/Getting-Started
DAWソフト
DTMで使用されているソフトです
楽譜を書けない人はこちらのソフトを利用したほうがやりやすいようです
詳しい使い方はまだちょっとわかりませんが無料で利用出来るものを紹介しておきます
もしNEUTORINOにハマったら別で解説するかもしれません
「Cakewalk by BandLab」
元々は有料ソフトらしく無料ソフトの中では最高性能らしいですが
使いこなす難易度も相応に高いソフトのようです
https://www.bandlab.com/products/cakewalk?lang=ja
「Studio One」
比較的新しいソフトらしく使いやすいようです
無料で使えるのは機能を制限されたVerなので物足りないところもあるみたいですけど
操作方法は変わらないので試しに使ってみるには良いかも？
DAWソフトは基本的に高価ですけどStudio Oneは比較的安価らしいので
気に入ったら購入もアリだと思います
https://www.mi7.co.jp/products/presonus/studioone/
おわり
今回はこんなところです
読んでいただきありがとうございました