HOME > DEMO

ウェブ・ブラウザの技術革新によって高精細な音や映像をリアルタイムに生成することが可能になりました。加えて、ウェブのオープン性によって仮想現実や拡張現実、人工知能など面白い分野の技術や試みが、オープンソース・ライブラリなどとして続々とブラウザのテクノロジーに流れ込んできています。そういった動きと絡めて、音を中心とした生成的なデモやインタラクティブな音の実験を試みます。


DEMO 2018.4.23

sound | matter

Yota MORIMOTO


音を可視化する試みは古くからあり、18世紀ドイツの音楽家/物理学者エルンスト・クラドニの完成させた、粉を用いて物の表面の振動パターンを観察する方法や、空気の流れの光学的なムラを可視化するシュリーレン法などが例として挙げられます。エレクトロニクスやコンピュータの発達によって、オシロスコープやスペクトル分析を使う方法も可能となりました。このデモは厳密な可視化ではなく、流体力学のシミュレーションを用いてより感覚的に音の物質性が感じられるようなものを目指し作りました。音の組み合わせは絶えず変化し、それらが水面にことなる波紋を形作ります。

» PLAY DEMO

DEMO 2018.9.7

sound | harmonics

Yota MORIMOTO


音の印象と関わりの深い「倍音」について、オシロスコープとスペクトル分析を使ったインタラクティブなデモンストレーションを作成しました。13のボタン(基音+12の整数倍音のオン/オフに対応)の操作によって、異なる音色を作ることができます。またその様子は音としてだけでなく、オシロスコープの波形として、またスペクトルのパターンとしても視覚的に確認することができます。例えば、奇数倍音だけオンにすれば矩形波のような音色・波形になり、全ての倍音を重ねれば鋸歯状波のようになります。デモ・モードでは、シンセサイザーや弦楽器による「倍音旋律」が異なるサイクルで奏でられます。

» PLAY DEMO

DEMO 2018.10.5

sound | cnn

Yota MORIMOTO


近年のコンピュータ・ハードウェアの性能の向上やGPU並列処理による演算の高速化などによって、深層学習が音声・画像・自然言語などを対象に、他の機械学習の手法を大きく上回る成果をあげています。ここでは、深層学習の手法の1つで画像認識などで効力を発揮している、CNN(Convolution Neural Network)を用いて音響素材を生成します。異なる音素材のペアを掛け合わせ(ピアノ、弦楽器、電子音、水の音など)、新しい音を合成し、それら素材が持つ音響的特徴量を神経ネットワークを摸した映像に反映するデモを作成しました。CNNによる合成は単なるMix(加算)とは異なり各素材の音楽的特徴(音色、アーティキュレーション、ダイナミクス、旋律の外形など)も複雑に混ざった新しい音楽断片を生成します。

» PLAY DEMO

DEMO 2019.4.8

sound | swarm

Yota MORIMOTO


群知能(Swarm Intelligence)は人工知能研究において、自然界にもみられるような個々の単純な相互作用が生みだす複雑な群的ふるまいを扱います。ここでは映像は鳥の群のふるまいをSwarm Intelligenceによって模倣し、音響上これに対応するものとして、細粒合成を用いた音のテクスチャをつくりました。鳥数羽の録音からごく短い断片を抽出し、変形・多重化することによって群的なふるまいを音で実践しています。また管弦楽セクションはこの鳥の音に呼応するように、グループ内の各奏者が任意のタミングで演奏する点描的な手法をつかって音のテクスチャを形成します。

» PLAY DEMO

DEMO 2019.7.22

sound | h2o

Yota MORIMOTO


GPSなどの各種センサーや、マイクロコンピュータ、飛行制御技術の発展により小型で安価なドローンが登場し、その存在は近年身近なものになりました。ドローンによる水を中心とした空撮映像(海や霧、氷など)に合わせて、フィールド・レコーディング素材(水中録音、流氷の軋み)を集め、waterphoneなどの楽器とともに、持続音を基調とした環境音楽を構成しました。音、映像ともに各素材が異なる周期で進行し、その組合せは水の流れのように総体的な印象を保ちつつも変化を続けます。

» PLAY DEMO