(bilibili link: https://www.bilibili.com/video/BV1uP411b7Fz/)

私たちのスタジオ Spellbrush は、Midjourney と連携した生成AIモデル niji・journey とビデオゲーム Arrowmancer の2つのコア製品を作っています。

今、あなたは疑問に思うかもしれません。なぜ2つの製品が必要なのでしょうか？　ビデオゲームとMLモデルは完全に異なるものです。実際には、それらはかなり共生的です。私たちは、Arrowmancerの製造パイプラインですべての虹の機能をテストし、それをお客様に出荷する前に行います。

最近、ふと思ったのだが、結果としてこのゲームは、ジェネレーティブAIの歴史の記録なのではないだろうか。以下はアーカイブからのいくつかのスクリーンショットです。

Arrowmancer 2022 Summer Event

Arrowmancer 2023 Summer Event

なんという輝きでしょう！

すべては 2019 年に遡ります。まだ niji が私たちのシナプスで火花を放つ前、Gen AI が今日のような巨大な存在に成長することを気付く前でした。

当時、生成 AI の状況は大きく異なっていました。 まず、テキストから画像への研究がまだ成熟していませんでした。 出力を制御できない画像ジェネレーターを想像してみてください。

Arrowmancer は、私たちの Waifu Labs エンジンをベースにしており、敵対的生成ネットワークの潜在空間でベクトル分解を使用してキャラクターデザインを推進しました。

ちょっと難しい表現ですね： 次のビデオで、それが何を意味するのかを大まかに想像できます。

画像の結果を制御するのは困難でしたが (言葉ではなく数式でプロンプトを表示することを想像してください!)、画像は美しく変化しました。

同じキャラクター、異なるポーズ:

同じポーズ、異なるスタイル。

そこで私たちは、Waifu Labs のエンジンからあなた自身の作品を取り出し、冒険を通して変化させることができるゲームをデザインしました。

これらの画像結果は、当時としては非常に高品質であった（そして、この原稿を書いている2023年9月現在も合格点である）が、克服できない制限もあった：

そこで私たちは、Arrowmancer のメカニクスを、この技術特有の制約に合わせて設計しました： コアとなるゲームプレイでは、プレイヤーは指を使ってタイル上の体のないヘッドショットを操作します。

Waifu Labs エンジンを制御する唯一の方法は、既存の2つの画像を使用する必要があったため、私たちはメタシステムをキャラクターの合体というコンセプトを中心に構築しました。

既存の画像を合体して新しい画像が作成されるという制限があるため、プレイヤーたちは自分たちの創造性を表現する面白い方法を見つけました。

2 年間の開発を経て、Arrowmancer は 2022 年 1 月にその扉を開きました。当時の最先端の画像生成技術を備えていました。

Arrowmancer の発売からわずか半年後、この分野には大きな変化が訪れていました。CLIP-Guided Diffusionという新しい技術が開発されました。開始当初は、GANイメージのクオリティには及びませんでしたが、全く新しいコントロールのレイヤーを提供しました：暗闇の中で手探りではなく、テキストを画像に変えることができるようになった。

これが現在の niji・journey と midjourney の両方を支えている技術です。

私たちは初めて、ヘッドショットではない画像を生成することができました。Arrowmancer のヴィーナスアンダーワールドエリアでは、拡散(ディフュージョン)モデルを使って、腐敗と犯罪が渦巻くムーディーな地下都市を表現しました。(まさにmidjourneycore)

当時、拡散モデルは顔を描くのには十分ではありませんでしたが、良い背景を描くために使用できました。

これらのシーンに命を吹き込むために、私たちはキャラクターを描き、『ヴィーナスアンダーワールド』のゲーム内コミックを制作しました。

この時点では、おそらく生成 AI がキャラクターのボディを作成する高度な機能には到達しないだろうと考えていましたが、それでも背景があることは非常に便利でした。

本当に、なんて時代遅れの考えでしょう。

わずか 1 か月のうちに、モデル開発によって私たちの予測が間違っていたことが証明されました。 これらは、arrowmancerの2022年夏のイベントの画像で、木星の温暖な海洋衛星が舞台です。

私はこれらの下手な図面をとても懐かしく思い出します。これは、最終的に niji v4 となるモデルの魔法のようなスタートでした。

この小さな絵は proto-niji モデルの最高解像度で、私たちのテストIDEからそのまま切り取ったものです！

この時期、GPTは世間に認知されつつあった。特に、私たちは大きな画像モデルを使ってどのようにプロンプトを動かすことができるかに興味を持っていました。

Arrowmancerの2022年のハロウィンのイベントでは、大規模な言語モデルを介して生成されたカスタムの説明とオーダーメイドの画像を使用して、非多様体の家に巨大な迷路を作成しました。各部屋はGPT-3によってユニークに装飾されています。

プレイヤーたちはそれを大いに楽しみました：

この Arrowmancer のイベントは、ChatGPTが急成長するわずか1ヶ月前にリリースされました！

2022年12月までに、私たちはniji V4のスタイルを安定させました。日替わりテーマチャンネルの最初の絵としてご存知の方もいらっしゃるかもしれません。niji の最終テストとして、Arrowmancer クリスマスアセットのすべてのイラストを niji モデルで制作しました。

この時点で、生成AIの進歩を考慮すると、Arrowmancer のインフラを維持するのは難しくなっていました。そこで私たちは、Arrowmancer のキャラクターを別のメディアに登場させ、より実験的なインタラクションのテストを続ける方法を模索しました。

私たちは Arrowmancer から最も元気なキャラクターを取り上げ、エイプリルフールに niji サーバーに招待しました。皆さんの多くは、日中に #sekrit-channel を覗いていた黒猫の Blk Cat に会ったことがあるかもしれません。

彼は niji V5 が素晴らしいものになるとみんなに伝えようと頑張っていました。

彼の生い立ちからいくつかの談話が生まれた。

友達もたくさんできたようだ：

このハンサムな男を好きにならない人はいないでしょう？

パン機能の開発に伴い、Arrowmancer キャラクターの製作プロセスを効率化しました。2023年6月には、再び木星に戻り、別のサマー・レベルを制作しました。

この時点で下位互換性の問題がありました。Arrowmancer のすべてのキャラクターは他のすべてのキャラクターと混合可能であるため、すべてのキャラクターが Waifu Labs の空間に存在する必要があることを意味します。 (潜在空間混合計算を行うため)

以前、Waifu Labs が最先端だったとき、これは問題ではありませんでした。しかし、Niji V5のリリースとともに、niji が Waifu Labs のヘッドショットの品質を上回っていることが問題となっており、niji のゲーム内カットシーンが低品質の Waifu Labs スタイルに合わせるのが難しい状況でした。

パン機能の開発により、Waifu Labs の画像を拡張できるようになりました。 私たちはリリース前に、niji のパンとズーム機能をテストするためにこれを広範囲に使用しました。

オリジナルのヘッドショットを撮る。

niji を使って頭をパンアウトしてキャラクターデザインを作成します。

パンされた画像の一部は直接使用されます。

他の部分は人間のアーティストのインスピレーションとして使用されます。

次に、キャラクターが切り取られます。

そしてアニメーション化！

私たちは、タイルに描かれたキャラクターのヘッドショットから長い道のりを歩んできた。

2023 年 7 月に、私たちは Arrowmancer の最後のアップデートを作成していました。 ここでは、インペインティング機能を徹底的にテストしました。

ゲーム制作の観点から見ると、インペインティングは非常に役立つテクニックです。さまざまなコスチュームのプロトタイプを次に示します。

さまざまな表情:

連続カットシーン:

Arrowmancer サーガの最終章を美しく仕上げるために、これまで研究してきたすべてのテクニックを最大限に活用しました。

一周回って、ヘッドショットに戻ってきました： シンプルなヘッドショットであるにもかかわらず、なぜか niji の絵は、Waifu Labsが成し得なかった方法で、多くを語っている。

今日のゲームのパラダイムは奇妙です。 従来、ゲームはコンテンツが完成したときに起動されます。 現在では、ライブサービスゲームはコンテンツが完成した時点で終了となります。

今日、Arrowmancer のストーリーを完了しました。

エンディング曲では、人間が作った素敵なアートでお祝いしました

それがトップで見たミュージックビデオになりました！

無限に広がるアニメの絵の世界で、最終的に観客は「コンセプト」に反応する。 それはイメージデータをはるかに超えています。彼が何を考え、何を食べ、自由時間に何をしているのかです。 世界中にはあらゆる画像がありますが、単なる画像だけではゲームは成立しません。現代のゲームは、画像、ゲームプレイ、ストーリーなどを組み合わせた本格的な体験です。

Arrowmancer 体験の最も強力な部分の 1 つは、サウンドトラックです。

https://www.youtube.com/watch?v=syF7t7gQn68

これはプロジェクトに参加したミュージシャンの圧倒的なスキルのおかげだと思います。 Kirara Magic と Shion は一緒に、EDM ビートの上に心地よい女性ボーカルを重ねた、私たちのサウンドスケープのための未来のベースの優れたブランドを作成しました。

本当に楽しいですし、もしこれがあなたの好みなら、彼らの両方のチャンネルを強くお勧めします。

Kirara Magic: https://www.youtube.com/c/KiraraMagic

Shion: https://www.youtube.com/channel/UCri7Aft0jr2Jd0wIdTft84A

作詞家のアキラさんは、良い歌詞を書く秘訣は「フラグメント」だと教えてくれたこともあります。

Akira Okumura: https://twitter.com/okumura_akiiira

Arrowmancer の最後の曲には、特別ゲストとして出演した人もいます。

vocalist Rachie: https://www.youtube.com/channel/UCRbsmnDTHD9-4pEIuG7zYRw and lyricist Ashe: https://www.youtube.com/user/ashestoashesjc Both of whom gracefully put up with my childhood dream request of a duet in both japanese and english, which complicated logistical matters to no end.

二人とも、日本語と英語でのデュエットという私の幼い頃からの夢であったリクエストを快く引き受けてくれましたが、それは手続き上の問題を果てしなく複雑にしていました。

私たちは Arrowmancer のコンテンツ配信システムを可能な限り推し進めてきました。 この点を超えて進むには、niji の特定の一連の制約に合わせて設計された新しいシステムを設計しなければなりません。

Arrowmancer は完成しましたが、私たちは ML モデルとビデオゲームを互いに同期して動かすこの伝統を継続し、生成 AI で実現できる興味深い体験のフロンティアを探索していきます。ちょっと休憩です。それから次のゲームの制作に取り掛かります。

いつものように、この旅をサポートしていただきありがとうございます!

関連する記事