はじめに
昨日、はてなブログに投稿した記事が、「生成Aiが歌謡曲系をジャズバージョンにカバーし、Aiのシンガーが歌うバラード」ですが、その動画の完成度に驚きました。
そのようなKazanの稚拙な情報をさらに深堀したいという欲求から、深夜の生成AiとのChatをしたのですが、その完成度の背景にある詳細な情報がchatでゲットできたので紹介したい。
過去に、癒し、系音楽動画をアップローロードした経験があり、当時、世間に紹介された作曲系生成Aiサービスで注目を集めた、「Suno」や「Udio」の存在を知ったのが、今から１年前の頃だと記憶してました。
１年前にインプットされた、頼りない情報を背景に始めたChatでしたが、今回視聴して驚いた完成度の背景には、チャッチイ 「Suno」や「Udio」と言った作曲系生成Aiで、５分かそこらに時間で、原曲の日本の歌謡曲系音楽をJazzバラード風にカバーしたというものとはとんでもなく乖離した、内容を生成Aiは紹介しましたので、その全文を公開したいと思った次第です。
Kazan → Gemini
Youtubeで日本の昭和時代の歌謡曲をジャズバージョンにカバーして、それを生成AIシンガーにカバーさせるというコンテンツがありました。 音楽、作曲系生成Aiサービスには、「Suno」や「Udio」が自分の認識にありますが、挿入するURLの動画コンテンツは、どのような生成Aiサービスで、動画化できたものかを知りたい。https://youtu.be/w3XZeTJttFI?si=-2wKcN8-_jRFJdVP
Gemini → Kazan
お尋ねのYouTubeチャンネル「感動が止まらない歌声【魂震えるプレミアムステージ】」で公開されている、昭和歌謡をジャズカバーし「beautyANDsnow」などの生成AIシンガーに歌わせている動画コンテンツについて解説します。 [1, 2]
結論から言うと、このコンテンツの音楽（インスト・歌声）や動画（静止画アニメーションなど）は、「Suno」や「Udio」といった単一の自動生成AIサービスだけで作られたものではなく、複数のプロ向けAIツールや伝統的な音楽制作ソフト（DAW）を組み合わせて制作されたクオリティの高い作品です。
具体的にどのような生成AIサービスや技術で動画化（コンテンツ化）されているか、要素別に解説します。
1. 歌声（生成AIシンガー）の仕組み
視聴された動画のAI歌声は、既存の「Suno」などのように歌詞を入力して伴奏ごと一発で出力されたものではありません。
このチャンネルの「beautyANDsnow」というシンガーは、実在するプロの歌手（安藤みゆき氏）の過去の歌唱データや音声モデルをベースに作られた、独自のカスタムボイスモデル（AI歌声）である可能性が極めて高いです。 [3, 4]
このような「特定の声質で超高精度に歌わせる」ために使われる主なAIサービスは以下の通りです。
- ACE Studio（エース・スタジオ）: 現在のAI音楽制作で最も主流な「AIシンガー」専用ソフト。人間の人間らしいビブラートや息遣いを完璧に再現したAIシンガー（楽譜と歌詞を入力して歌わせる）が多数在籍しており、商用クオリティの歌声を生成できます。
- DiffSinger / Synthesizer V: 楽譜データ（MIDI）と歌詞を取り込み、非常にリアルな歌声を生成する音声合成ソフトです。
- RVC（Retrieval-based Voice Conversion）: 人間や他のAIが歌ったガイドボーカルの音声データを、特定のキャラクターや歌手の声質へ高精度に「声質変換（ボイスチェンジ）」する技術です。
2. 音楽（ジャズ・アレンジ）の仕組み
昭和歌謡のメロディやコード進行を正確に保ったまま「上質なジャズ（4ビートやスロージャズ）」に編曲する場合、SunoやUdioなどのテキストから作る生成AIでは、メロディが変わってしまったり破綻したりするため、そのままでは作れません。 [1, 5]
- メロディとコードの固定: 制作者がDAW（Logic ProやCubaseなどの音楽制作ソフト）を使い、元曲の正確なメロディラインやジャズの伴奏（ウォーキングベースやピアノ）を基盤として打ち込み、または生演奏で制作していると考えられます。 [1]
- 部分的なAIアシスタントの利用: 伴奏の作成において、コード進行をジャズ風にアレンジするAI（例：Band-in-a-Box の自動バッキング生成機能）や、既存のインストをジャズ風にリミックスするAIツールが補助的に使われている可能性があります。
3. 動画化（背景・アニメーション）の仕組み
動画内で流れる、深夜のバーやレトロな街並みなどの美しいビジュアルと、それが自然に動く動画（シネマグラフ）化には、以下の画像・動画生成AIが使われます。
- 画像生成（背景・キャラクター）: Midjourney（ミッドジャーニー） や Stable Diffusion を使い、「1980年代風のレトロな美女」「深夜のジャズバー、雨の窓辺」といったプロンプト（指示文）から超高画質なベース画像を生成します。
- 動画化（アニメーション変換）: 生成した静止画を、Runway Gen-3、Luma Dream Machine、Pika などの動画生成AIに読み込ませ、「髪をなびかせる」「雨を降らせる」「カメラをゆっくり引く（ズームアウト）」といった指示を与えて、滑らかなクリップ（数秒の動画）に変換しています。
まとめ：あの動画を作るためのプロセス
あのコンテンツは、AIだけで「昭和の曲をジャズにして」と頼んで一発出力されたものではなく、以下のような職人技的な工程で作られています。
- 編曲：元曲のメロディをDAW（音楽ソフト）でジャズアレンジする
- 歌声生成：専用のAI音声合成ソフト（ACE Studio等）やボイスチェンジャー技術（RVC等）で、特定のAIシンガーに歌わせる
- 映像制作：画像生成AI（Midjourney等）で絵画的なイラストを作り、動画AI（Runway等）で静止画を動かしてYouTube用の動画に仕上げる [1]
もしご自身でも近いクオリティの「特定のメロディを狙い通りに歌わせるAI音楽」や動画を作ってみたい場合は、まずは歌声専用AIである ACE Studio や、動画生成AIの Runway などを調べてみるのが一番の近道です。
さらに詳しく知りたい特定のプロセス（歌声の作り方や、静止画を動かす方法など）があれば、お気軽にお尋ねください。
Geminiの回答にある「伝統的な音楽制作ソフト（DAW）」が登場した時
GeminiのChatに「伝統的な音楽制作ソフト（DAW）を組み合わせ」の文章を読み取った時、これは、「凄い」と思ったのです。
なぜなら、普段から、音声の収録や編集で、編集アプリとして頻繁にAudacityと格闘しているKazanです。
普通の音声録音ですら、往生してるのに、はるかに異次元の、それも高レベルの技術であるDTMの世界の「DAW」の操作をする人には、尊敬をはるかに超えた畏敬すら感じるという背景があります。
DTM、DAWを操作する人の周囲には、PCとディスプレイがあり、さらに、あのピアノのような鍵盤上のキーボードがあって、音造りをするという光景を思い出すだけで、「アレは常人の世界のものではない」という、堅い、常識を超えた尋常ではない概念を持っているからなのです。
でも、ここで、こうしたAi技術、Aiサービスの拡大が進化すれば、日本のこれまでの、「ド演歌」がジャズ、ポルトガルのFad、シャンソンのバージョンにカバーが」可能になる訳で、テンコ盛りのかっての楽曲の権利を持つレコード会社、音楽事務所、売れない作曲家にはとっては、明るい未来があると言えるのではとも思えてきます。
コメント