2018.08.17
スマートスピーカーや自動運転など、さまざまなシーンでバズワードになっている「人工知能(AI)」。主に産業で使われていたAIが、クリエイターの表現活動においても使われている。そのこと自体はなんら特別なことではないのだが、それがAIによる表現だとはほとんどの人が気づかない。じゃあこのAIによる「表現」とはいったい誰のためのものだろうか? パフォーマー? 観客?

AIを用いたライブコーディング(*)のパフォーマンスを行なうのが、このAi.step(アイ・ステップ)だ。白石覚也とScott Allenから成るこのユニットは、白石がAIを形づくり、Scott Allenがそれを視覚化する。彼らは、彼ら自身が生み出したAIによる表現をどうコントロールしようとしているのか? ぜひInterim Report edition3では、そこも含めて見て欲しい。 *ライブコーディングとは、観客の前で一からコードを書き=プログラミングを行ない音を鳴らすパフォーマンス。一般的にクラブ形式の場所で行なわる。コードを書き換えることで音をコントロールし、リアルタイムに出力してゆく。
#backstage
9月2日にCircus Tokyoで行なわれる「Interim Report edition3」に出演するパフォーマーを紹介する。学術的アプローチと、野良のクリエイティビティ、そしてナイトクラブカルチャーが交わる本イベントで、どんな試みを見せてくれるのだろう。 Interim Report edition3

Interim Report edition3でのパフォーマンス

2017年9月22日 Interim Report edition2でのパフォーマンス


────前回のInterim Report edition2にも出演いただきましたが、パフォーマンス中はそれぞれ何をやっていたのでしょうか?

白石:僕は、AIが書いたコードに対して、どんな音で出力するか選択していました。音色のコードがあるんですが、たとえば僕がドラムを選択すると、AIが書くコードからはドラムの音しか出ません。

──コードを書くのはAIだけなんですね。ある意味、AIによるライブコーディングとも言えると。

白石:そうですね。僕はもうタイピングもしないので。音色の選択だけしています。

──Ai.stepのサイトに書いている「AIの生成結果を人間がナビゲートする」というのが、音色の選択ですか?

白石:はい。あとはAIが出力した間違ったコードを消したりしています。ライブコーディングは、1行1行コードを読み込むインタプリタ方式なので間違っていても問題ないんですが、エラーが残っているとアラートが表示されるので、間違ったコードは消しています。

Ai.step(アイ・ステップ)。左:Scott Allen/右:白石覚也。

──視覚のパートはいかがですか?

Scott Allen:僕は白石から貰った信号を使って、VJをしていました。あとは、音をトリガーとして、レーザーを舞台の上下(かみしも)から出していました。

当時は今のAi.stepのコンセプトのベースもまだできていなくて、僕もライブコーディングの視覚化というレベルまでまだ行けていませんでした。

2017年9月22日 Interim Report edition2でのパフォーマンス

──レーザーはどういうアルゴリズムで動いていたんですか?

Scott Allen:音を拾って、しきい値を超えたらレーザーが出力される仕組みです。手動でコントロールする要素も残しています。VJとレーザー、前回はとにかく足し算をやっただけって感じですね。

──ちなみにレーザーは私物ですか?

Scott Allen:そうですね。家に4台くらいあります。

──すごい(笑)1台どれくらいするんですか?

Scott Allen:僕は中国製の1台4万5000円くらいのものを使っていますね。出力は高いですし、コントロールの信号もちゃんと入るやつです。

──レーザーを個人で所有している人ってけっこういたりするんですか?

Scott Allen:最近はプログラマブルな環境も整っていて、個人で買っている人も増えたと思いますよ。「TOUCHDESIGNER(タッチデザイナー)」という、ノードベースのビジュアルプログラミング環境があって、これを使えば、数個のオブジェクトを置いて繋げるだけで画が出力されます。レーザーは以前よりも、とっつき易くなっていると思います。



──次回のInterim Report edition3ではどのようなパフォーマンスを行ないますか?

Scott Allen:映像は、AIの視覚化でまだやれていないところがありますが、AIはどうなの?

白石:今、AIは一機しか動いていないですが、複数にしたいですね。ビート用とメロディ用の二機みたいな。メリットとしては、それぞれのAIの処理が低くなるのと、「ビート用のAI」「メロディ用のAI」っていう感じに、AIがコードを生成していることがわかりやすくなるかなと。

あとは機械学習のモデル自体が最初からほとんど変わっていないので、新しくしたいです。前のInterim Reportからは、かなりアップデートしていますよね?

Scott Allen:かなり。

視覚は、ちゃんとデータとして見えるようにしていこうと。なので、次回はグラフライクなわかりやすいものを増やしていく予定です。

たとえば、AIがこの行のコードを改変しました。とか、白石がこの音色を選択しました。とかを一目瞭然にするようなイメージです。その内容が完璧には理解できないけど、そういうようなことが行なわれていた結果のものだと示唆するレベルにはして行こうかなと思っています。

──それだと観客にもわかりやすいですね。楽しみです。

Scott Allen:ただ、その必要はあるのかっていうのは根本にあるんですよね。万人にわかってもらうためにデザインするのか、それとも観客を置いて行くのか。それはアーティストによってかなりわかれる部分だと思います。

──そういう意味では、お二人は伝えようとするほうに体重が乗っているんですね?

白石:そうですね、一応。

Scott Allen:デザインコース出身なんで(笑)多分、これって「枠組」と「逸脱」の関係で、今は逸脱しすぎちゃっていて既存のフォーマットで聞けないのでわからないんだと思います。そこをどう埋めるかがミッションですね。

最大の挑戦は、AIがアウトプットするものをライブとして成立させること



──Interim Report edition3での最大の挑戦は何ですか?

白石:ライブなので、ショーとしての音のアウトプットを考えています。AIとライブコーディングでアウトプットした音がなんなのかってところを詰めていけるようにしたいですね。

Scott Allen:それは常々言っている、ライブコーディングにおける出音の問題みたいな話だよね。ライブコーディングがライブとして成立するか、みたいな。

白石:はい、ライブで完成させることは捨てきれないんで。ライブコーディングをライブとしてどうやって実現できるか考えています。
Ai.step
Ai.stepは、Kakuya ShiraishiとScott Allenによるユニットです。人間のパフォーマーと機械学習に基づく「AI」が共にライブコーディングを行い、演奏及びデータビジュアライズのパフォーマンスを行います。演奏では、音響合成プログラミング言語であるTidalCyclesのコード生成と記述の部分に、ディープラーニングを使用します。パフォーマンス中、AIは画面上のエディターに表示されるコードを生成しています。そこから生まれる演奏情報を聞き、パフォーマーが音色を選定していきます。AIの生成結果を人間がナビゲートすることで、人間とAIの間の相互補完をライブコーディングを通じて実現します。データビジュアライゼーションでは、AIが生成する音色の情報、パフォーマーのアクション、両者の関係性を視覚的に表現します。
山本勇磨
edit
稲垣謙一
photo

Related