音楽とAIの未来を考える理化学研究所が提案するサウンドスコープフォンは、聴きたいパートを自由に強調する新しい音楽の聴き方を実現します。iPhoneといつもお使いのイヤフォンやヘッドフォンさえあれば、空間音響とAIを使った能動的な音楽鑑賞体験ができます。
【空間音響体験】
イヤフォンやヘッドフォンを装着して、サウンドスコープフォンの再生ボタンを押してみてください。すると、あなたの周りでたくさんのパフォーマーが演奏を始めます。iPhoneを正面に構えると、画面上部のプリビュー画面であなたの顔をトラッキングできているのが見えると思います。その状態で右を向けは、あなたの右で聴こえていた演奏が正面になります。左を向けは左で聴こえていた演奏が正面になります。さらに、iPhoneを手に持ったまま180度後方を見てみてください。あなたの後ろで聴こえていた演奏が正面できこえるようになります。操作に慣れてプリビュー画面のトラッキング表示が不要になった場合、オフにすることができます。
【能動的音楽鑑賞体験】
もっと能動的に、あなたが聴きたいパフォーマーの演奏を強調してみましょう。まず、聴きたいパフォーマーの方向を向いてください。すると、目的の演奏が正面で聴こえるようになり少し聴きやすくなったと思います。次に、左右どちらかの手で、耳を澄ませるようなポーズをして、その手のひらを耳に近づけたり離したりしてみてください。すると、演奏を強調する範囲が連続的に変化することがわかると思います。強調度合いは、手が画面中央へ近づくほど強くなります。この強調度合いをうまく調節することで、一つのパートのみを強調することも、ホーンセクションやリズム隊といった複数のパートにフォーカスすることもできます。パフォーマーのいる方向やあなたが向いている方向は、画面中央に表示された位置表示画面で確認できます。中心にある円があなたのアバターです。アバターをタップすると、位置表示は初期設定に戻ります。
【ミキシングコンソールとブーストモード】
右下にある設定ボタンを押すと、ミキシングコンソール画面が開きます。ミキシングコンソールを使うと、フェーダーを操作してそれぞれのパートのボリュームを微調整することができます。ブーストスイッチを入れると、強調されている演奏音がより強く強調されるようになります。強く強調させすぎていると感じた場合には、ブーストリミットフェーダーをさげて強さを調整できます。