投稿者: 科学者チームは最近、予測モデリングを使用して人間の直接の神経記録からピンク・フロイドの曲を再構築することに成功しました。この画期的な成果は、複雑な脳活動を解読し、それを意味のある情報に変換する予測モデリング技術の可能性を実証しています。 PLOS One に掲載された彼らの研究結果は、人間の脳が音楽をどのように処理するかについての貴重な洞察も提供します。
ALS、脳卒中、麻痺などの疾患を持つ人にとって、コミュニケーションは困難な場合があります。現在のコミュニケーション用のブレインマシン インターフェイスは、ロボットのような音声を生成することがよくあります。研究者らは、音楽に関連した脳活動を利用して、ブレイン・コンピューター・インターフェースによって生成される音声の自然さと表現力を高め、コミュニケーション障害のある人々を支援できるかどうかを探りたいと考えた。
「音楽は人間の経験の中核をなすものであり、したがって、私たちの脳が音楽の知覚をどのようにサポートしているかを理解することは、基本的な興味深いことです」と研究著者であり、Inscopix社の上級計算研究科学者であるルドヴィック・ベリエ氏は説明した。 「応用面では、このデータは、音楽処理のための神経コードを理解することで韻律要素（メロディーとリズム）を含めることができるという考えのもと、音声デコーディングのブレイン・コンピューター・インターフェース（BCI）を開発する広範な取り組みの一環として収集されました。これらの BCI の音声出力では、ロボットっぽさがなくなり、イントネーションや感情がより自然に聞こえるようになります。」
この研究には、医療目的で脳に頭蓋内脳波検査（iEEG）電極が埋め込まれた薬剤耐性てんかん患者29人が参加した。これらの電極は、患者の脳細胞の電気活動を直接記録するために使用されました。
これらの患者はピンク・フロイドの曲「Another Brick in the Wall, Part 1」を聴いていました。彼らが音楽を聴いている間、iEEG 電極は彼らの脳内の神経活動をリアルタイムで記録しました。研究者らは、予測モデルを使用して、電極によって記録された神経活動のパターンに基づいて、ピンク・フロイドの曲がどのように聞こえるかを推定しました。このアプローチには、ある事柄を別の事柄に基づいて予測または推定できる数学的モデルの構築が含まれます。
予測モデルは、神経活動の特定のパターンを歌の対応する部分と関連付けるようにトレーニングされました。基本的に、モデルは脳の活動と音楽の関係を学習しました。モデルがトレーニングされると、記録されたニューラル データに適用されて、音楽がどのように聞こえるべきかの予測が生成されます。
これらの予測モデルを使用することで、研究者らは神経記録に基づいてピンク・フロイドの曲を再構築することができました。言い換えれば、彼らは患者の脳からの電気信号を元の曲によく似た可聴音楽に変換しました。
「曲を聴くことによって引き起こされる神経活動から、認識可能な曲を再構築することができました」とベリエ氏はサイポストに語った。 「これは、比較的少ないデータ (3 分、数十の電極) で音楽をデコードできる可能性を示しており、音声デコード デバイスに韻律を組み込むための道を開きます。また、我々は音楽知覚の神経力学をさらに詳細に描写し、右半球が優位であるにもかかわらず両側性の処理を示し、音楽のリズムに同調した新しい皮質小領域を証明しました。」
音楽の知覚は脳の両半球に依存していることが判明しましたが、右半球が優先されることが判明しました。右半球では、電極がアブレーションされた場合に、重大な影響を与える電極の割合が高く、予測精度が高く、デコード モデルに大きな影響を与えていました。これは、音楽知覚における相対的な右側化を示唆する先行研究を裏付けた。
研究者らは、上側頭回（STG）が音楽の知覚に関与する主要な脳領域であることを特定した。彼らは、この領域に特別に配置された 61 個の電極を備えた 1 人の患者からのデータを使用して、認識可能な歌を首尾よく再構築することができました。
さらに研究者らは、機能特性に基づいて電極をさまざまなカテゴリに分類しました。持続電極は音楽の継続的または長時間の側面に関連する神経信号を記録する可能性が高く、一方、正しいリズミカルな電極は音楽のリズミカルな側面に関連付けられ、タイミングやビート関連の情報を捕捉する可能性があります。
デコードモデルから 167 個の持続電極を選択的に削除しても、歌の再構成の精度には大きな影響はありませんでした。一方、43 個の右側のリズム電極を除去すると、歌の再構成の精度に顕著な悪影響がありました。これは、これらの電極によって捕捉された音楽のリズミカルな側面に関連する神経信号が、曲の正確な再構成において重要な役割を果たしたことを示しています。
「私たちは、デコードモデルから 167 個すべての『持続』電極を削除してもデコード精度に影響を与えなかったという事実に驚きました（一方、正しいリズミカルな 43 個の電極だけを削除した場合には影響がありました）」とベリエ氏は説明しました。 「これは、モデルのパフォーマンスを左右するのは電極の数そのものではなく、記録された神経活動で表される聴覚情報と、これらの電極がどこに配置されているかであることを実際に示しています。言ってみれば、量よりも質です。」
この研究は、音楽要素を音声出力に組み込むことで個人がより効果的にコミュニケーションできるようにする高度なブレインマシンインターフェイスの開発に貢献する可能性がある。
「これは素晴らしい結果だ」と、カリフォルニア大学バークレー校ヘレン・ウイルス神経科学研究所の心理学教授で、この研究の共著者であるロバート・ナイト氏は語った。 「音楽について私にとって重要なことの 1 つは、音楽には韻律と感情的な内容があるということです。ブレイン・マシン・インターフェースのこの分野全体が進歩するにつれて、これは、それを必要とする人々、つまりALSやその他の神経障害や発達障害により音声出力が損なわれている人のために、将来の脳インプラントに音楽性を加える方法を提供することになります。」
「言語内容だけでなく、音声の韻律内容や感情の一部を解読する能力も得られます。それが私たちが本当に暗号を解読し始めたことだと思います。」
この研究の注意点についてベリエ氏は、「今にして思えば、患者たちがこのピンク・フロイドの曲にどれだけ慣れ親しんでいたか、さらに重要なことに、彼らの音楽的背景が何であったかについての情報を収集したかったと思う」と述べた。その情報があれば、ミュージシャンの神経活動が曲を再構築する際のデコード精度の向上につながるかどうかなど、興味深い問題に取り組むことができたでしょう。」
「特に困難な神経外科手術を受けていた患者たちが、私たちの研究にボランティアとして参加してくれたことに感謝の意を表したいと思います」とベリエ氏は付け加えた。 「彼らなしではこの研究は行われなかったでしょうし、彼らが参加した研究について報告を聞くことができるのは日常的ではないので、これは良い行為になるでしょう。」
「音楽は非線形解読モデルを使用して人間の聴覚皮質の活動から再構成できる」という研究は、Ludovic Bellier、Anaïs Llorens、Déborah Marciano、Aysegul Gunduz、Gerwin Schalk、Peter Brunner、Robert T. Knight によって執筆されました。
Reference :
