sound | CNN

近年のコンピュータ・ハードウェアの性能の向上やGPU並列処理による演算の高速化などによって、深層学習が音声・画像・自然言語などを対象に、他の機械学習の手法を大きく上回る成果をあげています。ここでは、深層学習の手法の1つで画像認識などで効力を発揮している、CNN(Convolution Neural Network)を用いて音響素材を生成します。異なる音素材のペアを掛け合わせ(ピアノ、弦楽器、電子音、水の音など)、新しい音を合成し、それら素材が持つ音響的特徴量を神経ネットワークを摸した映像に反映するデモを作成しました。CNNによる合成は単なるMix(加算)とは異なり各素材の音楽的特徴(音色、アーティキュレーション、ダイナミクス、旋律の外形など)も複雑に混ざった新しい音楽断片を生成します。