2021.9.24

DEMO

sound | ar

Yota MORIMOTO

DEMO   2021.9.24  |   HOME > DEMO

ウェブで可能なAR(拡張現実)技術を用いて、デバイスのカメラ映像と3Dモデルが連動するデモを作成しました。複数の音楽断片が反復しつつゆるやかな変化を続け、convolution reverbによって広がりのある響きを構成します。デモにアクセスした後、ご利用のデバイスをいろいろな方向に向けて、AR空間を泳ぎ回るクジラを探してみて下さい。

モバイル端末推奨環境:iPhone 7以上(Safari)|Android CPU 2GHz以上(Chrome)

Convolutin reverbとは
実世界の空間の音響特性(インパルス応答)を測定し、畳み込み(convolution)によって別の音に付加することが可能です。例えば、洞窟や教会、コンサートホールなどで鳴っているかのような残響を加えることができます。

ARについて
AR(拡張現実)の実用化が始まったのは90年代ですが、それ以降もコンピュータの処理能力等の制約から、利用は軍事産業や自動車・航空製造業など限定的でした。その後、モバイル端末の普及と性能向上に伴い、ARを用いたゲームやサービスなどへの応用が進み利用者も拡大しています。
ARを支えるのは、物体や光源の認識に関わるコンピュータ・ビジョン(CV)や、デバイスの位置や動きを検出するGPS測位、カルマンフィルタなどの技術です。最近ではレーザー画像検出と測距(LiDAR)を搭載し精度の高い現実空間の認識が可能なデバイスも登場しました。これらの技術の多くはハードウェア依存のため専用アプリケーションを必要としますが、一部の機能はウェブブラウザからも利用可能となりました。

デモに関する注意点
  • ・デスクトップ環境でもマウスを用いた限定的な利用が可能です。
  • ・一部のAndroid端末では一部の3Dモデルが表示されないことがあります。
  • ・AR体験時の歩行・移動は、周囲に危険がないことを確認してから行ってください。
  • ・こちらのデモでは、ご利用のデバイスのカメラを使用致します。最初にカメラの使用許可をたずねられますので「許可」を押してください。

森本 洋太 [ Yota MORIMOTO ]
作曲/プログラミング
Website
ハーグ王立音楽院修士(ソノロジー)、英国バーミンガム大学博士(作曲)。 2006年に渡蘭、欧州を中心に活動。室内楽作品などが各地のアンサ ンブルにより委嘱・演奏されている他、Transmediale(Berlin)、 ISEA(Dortmund, Istanbul)、TodaysArt(The Hague)、SICMF(Seoul)などで サウンド・インスタレーションやオーディオ・ビジュアル作品を発表。この他、アムステルダム映像博物館、LUSTLab、デルフト工科大学、資生堂、本田技術研究所、産業技術総合研究所、北海道大学、筑波大学などに楽曲、サウンド・ デザイン、ソニフィケーション、音響システムなどを提供。近年ではDJ/パ フォーマーとして、Amsterdam SinfoniettaやNew European Ensemble等と共演。

RELATED CONTENTS

DEMO 2020.4.23

sound | field

Yota MORIMOTO


オランダ・ハーグ市の砂丘にあるJames Turrellのランド・アート作品、Celestial VaultをVR映像・音声で収録しました。 40メートルほどの楕円形空間の中心から空を見る作品ですが、VR音響のデモンストレーションのため風鈴を複数設置しました。 録音にはAmbisonic(球面調和関数展開による音場再現)マイクロフォンを使用し、ウェブ上でのステレオ再生のためリアルタイムでバイノーラル演算を行ないます。 これにより視点の移動(マウスによっても可能)に追随して、鳥の声や風鈴の音、遠くの海の音などをからなる音場が臨場感をもって変化します。

» PLAY DEMO

DEMO 2021.4.14

sound | space

Yota MORIMOTO


音の高臨場感を実現する技術を組み合わせ、音源の移動と視点の変化に追随する音場生成によって広がりや奥行きが感じられるVRデモを作成しました。視点の操作はマウスや携帯端末の向きで変更が可能で、VRゴーグル対応版ではステレオスコープによる視覚的な立体感も加わった体験が可能です。

» PLAY DEMO