ウェブ・ブラウザの技術革新によって高精細な音や映像をリアルタイムに生成することが可能になりました。加えて、ウェブのオープン性によって仮想現実や拡張現実、人工知能など面白い分野の技術や試みが、オープンソース・ライブラリなどとして続々とブラウザのテクノロジーに流れ込んできています。そういった動きと絡めて、音を中心とした生成的なデモやインタラクティブな音の実験を試みます。
DEMO 2018.4.23
音を可視化する試みは古くからあり、18世紀ドイツの音楽家／物理学者エルンスト・クラドニの完成させた、粉を用いて物の表面の振動パターンを観察する方法や、空気の流れの光学的なムラを可視化するシュリーレン法などが例として挙げられます。エレクトロニクスやコンピュータの発達によって、オシロスコープやスペクトル分析を使う方法も可能となりました。このデモは厳密な可視化ではなく、流体力学のシミュレーションを用いてより感覚的に音の物質性が感じられるようなものを目指し作りました。音の組み合わせは絶えず変化し、それらが水面にことなる波紋を形作ります。
DEMO 2018.9.7
音の印象と関わりの深い「倍音」について、オシロスコープとスペクトル分析を使ったインタラクティブなデモンストレーションを作成しました。13のボタン（基音＋12の整数倍音のオン／オフに対応）の操作によって、異なる音色を作ることができます。またその様子は音としてだけでなく、オシロスコープの波形として、またスペクトルのパターンとしても視覚的に確認することができます。例えば、奇数倍音だけオンにすれば矩形波のような音色・波形になり、全ての倍音を重ねれば鋸歯状波のようになります。デモ・モードでは、シンセサイザーや弦楽器による「倍音旋律」が異なるサイクルで奏でられます。
DEMO 2018.10.5
近年のコンピュータ・ハードウェアの性能の向上やGPU並列処理による演算の高速化などによって、深層学習が音声・画像・自然言語などを対象に、他の機械学習の手法を大きく上回る成果をあげています。ここでは、深層学習の手法の１つで画像認識などで効力を発揮している、CNN（Convolution Neural Network）を用いて音響素材を生成します。異なる音素材のペアを掛け合わせ（ピアノ、弦楽器、電子音、水の音など）、新しい音を合成し、それら素材が持つ音響的特徴量を神経ネットワークを摸した映像に反映するデモを作成しました。CNNによる合成は単なるMix（加算）とは異なり各素材の音楽的特徴（音色、アーティキュレーション、ダイナミクス、旋律の外形など）も複雑に混ざった新しい音楽断片を生成します。
DEMO 2019.4.8
群知能（Swarm Intelligence）は人工知能研究において、自然界にもみられるような個々の単純な相互作用が生みだす複雑な群的ふるまいを扱います。ここでは映像は鳥の群のふるまいをSwarm Intelligenceによって模倣し、音響上これに対応するものとして、細粒合成を用いた音のテクスチャをつくりました。鳥数羽の録音からごく短い断片を抽出し、変形・多重化することによって群的なふるまいを音で実践しています。また管弦楽セクションはこの鳥の音に呼応するように、グループ内の各奏者が任意のタミングで演奏する点描的な手法をつかって音のテクスチャを形成します。
DEMO 2019.7.22
GPSなどの各種センサーや、マイクロコンピュータ、飛行制御技術の発展により小型で安価なドローンが登場し、その存在は近年身近なものになりました。ドローンによる水を中心とした空撮映像（海や霧、氷など）に合わせて、フィールド・レコーディング素材（水中録音、流氷の軋み）を集め、waterphoneなどの楽器とともに、持続音を基調とした環境音楽を構成しました。音、映像ともに各素材が異なる周期で進行し、その組合せは水の流れのように総体的な印象を保ちつつも変化を続けます。
DEMO 2020.4.23
オランダ・ハーグ市の砂丘にあるJames Turrellのランド・アート作品、Celestial VaultをVR映像・音声で収録しました。 40メートルほどの楕円形空間の中心から空を見る作品ですが、VR音響のデモンストレーションのため風鈴を複数設置しました。 録音にはAmbisonic（球面調和関数展開による音場再現）マイクロフォンを使用し、ウェブ上でのステレオ再生のためリアルタイムでバイノーラル演算を行ないます。 これにより視点の移動（マウスによっても可能）に追随して、鳥の声や風鈴の音、遠くの海の音などをからなる音場が臨場感をもって変化します。
DEMO 2021.4.14
音の高臨場感を実現する技術を組み合わせ、音源の移動と視点の変化に追随する音場生成によって広がりや奥行きが感じられるVRデモを作成しました。視点の操作はマウスや携帯端末の向きで変更が可能で、VRゴーグル対応版ではステレオスコープによる視覚的な立体感も加わった体験が可能です。
DEMO 2021.9.24
ウェブで可能なAR（拡張現実）技術を用いて、デバイスのカメラ映像と3Dモデルが連動するデモを作成しました。複数の音楽断片が反復しつつゆるやかな変化を続け、convolution reverbによって広がりのある響きを構成します。
DEMO 2022.4.27
ある空間の音響的特性は、インパルス応答（IR：impulse response）として記録することが可能です。これは通常、時間的に非常に短い破裂音（拍手や風船の割れる音で近似できる）を鳴らし残響をマイクロフォンで収録する方法をとります。こうして記録したIRを用いて、コンピュータなどで畳み込み（convolution）という操作（入力音とIRを時間的に「畳み込む」イメージ）を行うことで任意の音源（入力音）にIRの残響を付加することが可能となります。 本デモでは古楽器ヴィオラ・ダ・ガンバの録音を入力に用い、下の各IRに対応したボタンを押すことでリアルタイムで異なる響きを付加します。残響の少ない室内にはじまり、大聖堂の荘厳な響きや、廃墟の冷たいコンクリートの響きなどを擬似体験できます（ヘッドフォン推奨）。加えて、本来はIRでない通常の音（さざなみの音や鳥の群れのさえずりなど）をIRとして「誤用」することで、現実にはない不思議な「響き」も合成しています。
DEMO 2022.10.31
本デモでは、WebAudioによる細流合成（granular synthesis）を行います。短いスピーチの録音を素材とし、それをリアルタイムで分解・再合成します。プリセットを選んだり、フェーダーを動かす事で、一見（一聴）するとスピーチに聞こえる音の連なりが、実は毎秒100音以上の粒子からなることが確かめられます。
Top