#backstage : Ai.step

新たな疑問が招く前向きな混沌

AIを用いたライブコーディング（*）のパフォーマンスをする「Ai.step(アイステップ)」。白石覚也とScott Allenから成るこのユニットは、白石が音を、Scott Allenがビジュアルを担当。前回の取材から一年あまりを経て、AIありきの新たな表現手法が現在進行系で確立されていく様を追うべく、二度目のインタビューを行った。 *ライブコーディングとは、観客の前で一からコードを書き＝プログラミングを行ない音を鳴らすパフォーマンス。一般的にクラブ形式の場所で行なわる。コードを書き換えることで音をコントロールし、リアルタイムに出力してゆく。

Ai.stepにとってのライブパフォーマンスの成立

────前回ご出演のInterim Report edition3を振り返っていただきたいのですが、事前のインタビューで「最大の挑戦は、AIがアウトプットするものをライブとして成立させること」と伺いました。実際はどうでしたか？

Scott Allen：白石が音の制御方法をアップデートしたことに加えて、僕がグラフ的なビジュアルを付与した回でした。特に音のほうは、人間がいままで体験してきたライブの文脈で聞ける感じの、起承転結のある展開になったなぁというのはあったよね。

白石：そうですね。しっかり考えて展開を作ったんですが、けっこううまくいきました。

Interim Report edition3 | After Movie
──通常のライブって楽曲単位で個別に演奏されることが多いと思うんですけど、Ai.stepの場合はどんな構成ですか？

白石：Ai.stepも一応そういう感じです。前回は音色のデータセットを5分ごとに変えていたんですが、どのタイミングでどのデータセットを使うのか予め決めていたおかげで、ライブとしては面白くなったんじゃないかと思います。

──先ほど仰っていた起承転結はどのように付けていったのですか？

白石：ビートを変化させたり、音数を変化させたりして、展開に抑揚を付けるのは僕がライブコーディングしています。

──フロアの様子を見ながら？

白石：いえ、正直あんまり見てなかったです。一瞬でもモニタから目を離すと、追えなくなるんじゃないかって不安で（笑）

──（笑）

白石：煽ったりとかもしないし、ライブコーディングしててフロアを見てる人ってあんまりいないですよ。

Scott Allen：フロアを見ながらブラインドタッチするんじゃないんだね（笑）

でも実際、やってる僕らが楽しそうに見えないって問題もあるんですよね。煽りの枠組みでいくのか、仕事してる感じにさえ見えるタイピングで踊らせにいくのかってのは、けっこう難しいところで。

──Ai.stepとしては、フロアには踊ってほしいのですか？

Scott Allen：メディアパフォーマンスではないと思っているので、既存の枠組みにAi.stepをぶち込んで、踊れるぞ？みたいな前提はほしくて、そこは意識してやってるところあるよね。

白石：そうですね。

──それは例えば、ダンスミュージックのイベントに放り込まれても成立するような「踊れる」を指してますか？

Scott Allen：どんなイベントに入っても違和感ないくらいでいたいと思っています。クラブやライブハウスのどっちから見てもちょっと変わり種みたいなアーティストっているじゃないですか。かと言ってジャンル的に離れてるから乗れないでもなく、どっちにも属してると言えるような感じの。

そこまで行ければ、Ai.stepのライブパフォーマンスとしてかなり良い形ができてることになるんじゃないかと思います。

既存の枠組みに飽きた人を覚醒させたい

──次のInterim Report edition4ではどんなアップデートを見せてくれますか？

白石：前回のIR3では、AIからの音の出力はひとつだけだったんですが、今回はそれを4つのトラックに分けて4重奏の形を取っています。

──数を増やしたいって前回も言ってましたもんね。AIの4重奏とは、具体的にはどんな構成ですか？

トラックごとに別の音色のデータセットをアサインしていて、例えば、キック→ベース→ウワモノっていう順番で音を出したりすることで、曲の展開がライブコーディング上でもわかりやすくなりました。ビートのパターンや掛かるエフェクトなどについては、引き続き僕が人力で制御します。

ライブコーディングで制御される4つのトラック
Photo : Shigeo Gomi

──いままで以上にAIとの協演という色合いが濃くなっていますね。Scott Allenさんとの連携についてはどうですか？

白石：音色のデータセットを5分ごとに変えるって話をしましたが、その区切りを「フェイズ」と呼んでいて、それに関するやりとりを互いのシステム内で行うことにしました。前回は「いま変えます」って口頭でやってしまってたので、リアルタイムで制御するための最適化を図りたかった感じですね。

Scott Allen：フェイズは楽曲的な感じで認識していただきたいんですけど、フェイズが変わるタイミングが僕もモニタを見てるだけでわかるようになりました。

──フェイズの概念についてですが、楽曲と呼べるような骨格があるのか、それとも音色以外は毎回違って、いわゆる楽曲としての再現性はないのか、どんな感じですか？

Scott Allen：良い質問ですね。

白石：それはけっこう難しくて…僕の認識としては、フェイズごとのアイデンティティは「AIに演奏を任せる音色の学習モデル」によって保たれてるとは思っています。そうやってシステムベースで考えちゃうんですけど。

──鑑賞者からすると、聞き分けができるようなものではないと。

白石：そうですね、わからないと思います。

Scott Allen：従来的な音楽の枠組みで同じ楽曲と捉えることは難しいと思うので、もう一歩先の、例えばアルゴリズム的に同じ楽曲、みたいな認識の仕方ができれば、聞き分けることも可能なのかなと思います。

──聞いている側としては、マインドセットを変えないと解釈できない単位になっていってる感じですね。

Scott Allen：その難しさを思い知った感が、僕にも白石にもありました。いまは僕ら自身も思いもよらぬ出音に驚きを体感しながらプレイしている感じなんですが、それを見てくれている人と共有して楽しみたいところですね。いつだったか、twitterでFMS_Cat君が「今日のAi.step、人間に媚びてる」みたいなことを言ってくれてて、それはけっこうAIありきで考えてきた成果だと思いますし、よかったですね。



──そのAi.step固有の面白みを共有したいターゲットって、例えばどんな人ですか？

Scott Allen：それは割と明確で、色んな音楽を聞いてきてもう飽きたってなってる人たちを覚醒させたいみたいなところはあります。白石の作り方も、レガシーでもなんでも良いから完成度の高さ目指すのではなく、新しいものに常にアンテナを張って探しながら作っていくみたいなタイプですし。

白石：ターゲットは本当にそんな感じですね。イベントで話しかけてくれたり、感想をくれたりする人も、音楽とか色んなことをやっている場合が多くて。

Scott Allen：そういう意味ではAI技術は有効で、次々に登場してくるAIベースドの新しい手法をホイホイ乗りこなして、こんなパフォーマンスがありうるみたいなのを見せる役割も担っていきたいと思うようにもなりました。

音に続いて、映像表現にもAIを導入

──Scott Allenさんのパートの変化はどうですか？

Scott Allen：今回は音が4重奏になるので、単純にグラフとアクティビティのモニタが増えつつ、ほぼテキストベースドになりました。これまでは、白石の音の要素をいかに視覚的にわかりやすくドラマチックにするかがテーマでしたが、そこから一歩進んで、ディープラーニング系の表現も入ってきます。

──ついにビジュアル表現にも具体的にAIが入るんですね。どんなコンセプトの表現になりますか？

Scott Allen：例えば、AIの内部的に何が起こっているのかを取り出すことって厳密には不可能なんですが、仮にニューラルネットワークの状態を空間的に配置して、こういう感じの活動かもしれないみたいなレベルでの視覚化を試みる作品の事例があります。

System Aesthetics by FIELD

それについて考えてみると、厳密になりきらないのなら、アクティビティのモニタだけ表示しておいて、AIにしかできないビジュアル表現を取り入れるのも面白いなと思ったので、僕もグラフとかビジュアライズから、ちょっと進もうと思っています。

──制作環境にも変化はありますか？

Scott Allen：openFrameworks(Open Source)からTouchDesigner(Derivative)に完全に移行しました。TouchDesignerだと、ライブの直前まで白石と確認し合えますし、アプリケーション間のやりとりが効率的なので。ビジュアルに関する学習モデルはC++かPythonで叩いています。

AIに対する理解の深まりが新たな疑問を呼ぶ

──前回のテーマがわかりやすさだとすると、今回は何になりますか？

Scott Allen：インテリムですね。つって（笑）

──（笑）

白石：まぁ、インテリムリポート（中間報告）ですからね。

Scott Allen：でも実際そうなんですよ。白石もAIの研究をしていて、僕もいまSFC(*)でお世話になって作っているAI作品があったりして、お互いめちゃくちゃ深く考えているので、すごく深まって行ってるんですよね。

* 慶應義塾大学 湘南藤沢キャンパス
白石：たしかに、いまはテーマをひとつに絞りきれなくて。重きを置くべきところが分散していて選べないっていうのもあるんですけど、AIとパフォーマンスの研究をしている中で、新しく興味や疑問を持ったりすることが多くて、本当にインテリムリポートって感じです。

Scott Allen：確実に言えるのは、AI系の表現に対してかなり深まったからこそ、いま良い意味でインテリム状態に突入しているってことですね。

白石：そうですね。混沌と言っても悩んでいるわけじゃなくて、新たな疑問が次々に湧いてくる感じで。

──歩みが進んだが故の前向きな混沌ですね。新しい何かが確立される前に必ず立ちはだかる試練と言うか。

Scott Allen：ちょっと乱暴ですが大きく分けると、もしかしたらAIは人間の創造性を拡張してくれるパートナーになりうるのかもしれないっていう白石のような考え方と、あくまでAIは制御する対象であって創造性は人間が持つものという考え方に別れると思うんですよ。

ジェネラティブアートだとか、アルゴリズミックコンポジションとかで変な曲の構成になっただとか、そういうレベルを超えないじゃんって意見も少なからずあると思うんですが、そうじゃないよ！ってことが伝わるパフォーマンスができたら最高ですね。

白石：個人的には、そういう賛否は嬉しい感じがします。まだ確立されてないけど、駆け出しでもなくて、AIってちょうどいま面白いところなのかなって思いますね。