メガネを外すと、なぜはっきりと聞こえなくなるのでしょうか?

近視の人の中には、他の人と話しているときに眼鏡を外すと視界がぼやけて声が不明瞭になるという奇妙な現象に気づく人もいます。これは、人間の視覚が物事を「聞く」こともできることを意味するのでしょうか?

実際、それはほぼ真実です!私たちの目は物事を「聞く」のに役立ちます。つまり、視覚は聴覚を補助します。

私たちの脳は、実際には複数の感覚システムが連携して機能するシステムです。さまざまな感覚チャネル（視覚、聴覚、触覚、嗅覚、味覚など）は、互いに分離されていません。脳内の神経ネットワークは高度に接続されており、これらの感覚領域間には多数の相互作用的な接続が存在します。たとえば、側頭葉は聴覚処理を、後頭葉は視覚処理を担っており、これらの領域の間には情報を伝達し活動を調整できる豊富な神経線維が存在します。それぞれが情報を提供し、脳がそれを融合して知覚の正確さと豊かさを高めます。 [1]

研究者らは、機能的磁気共鳴画像法（fMRI）や電気生理学的記録などの脳画像化技術を使用して、多感覚刺激に対するこれらの領域の動的活動を観察しました。オーディオビジュアルシーンを例に挙げてみましょう。

視覚情報と聴覚情報が同期して現れると、後頭葉にある視覚皮質に明らかな活動が生じます。視覚皮質は視覚情報処理の最初の停止点であり、形、色、動きなどの基本的な視覚的特徴の処理を担っています。側頭葉にある聴覚皮質にも顕著な活動があり、周波数や音量など、聴覚情報の主要な特徴の処理を担っています。 fMRI は、聴覚皮質の活動が音情報を処理するだけでなく、視覚情報と同時に現れる刺激にも反応することを示しています。

このプロセスにおいて、上側頭溝 (STS) は、特に視聴覚統合において重要な多感覚統合領域です。上側頭溝は一次視覚皮質と一次聴覚皮質の両方から入力を受け取り、他の高次皮質領域にも接続されています。神経画像研究（機能的磁気共鳴画像法（fMRI）や陽電子放出断層撮影法（PET）など）では、同時に提示された視覚情報と聴覚情報を処理する際に上側頭溝の神経活動が活発になることが示されています。つまり、視覚情報と聴覚信号が同期して現れると、上側頭溝はこれらの信号を比較することで 2 つの感覚を統合することができます。たとえば、人が話しているのを見たり聞いたりするとき、上側頭溝は視覚的な口の動きと聴覚的な音声信号を組み合わせ、言語の理解を高めます。

脳が聴覚を「合成」する驚くべき現象（マガーク効果）

視覚と聴覚のこの統合は、マガーク効果と呼ばれる古典的な心理現象にもつながります。この現象は、1976 年にハリー・マクガークとジョン・マクドナルドによって初めて発見されました。この現象では、人の口が「ガ」の音を発しているのを見たが「バ」の音を聞いた参加者は、代わりに「ダ」または他の 3 番目の音が聞こえたと報告することがよくあります。 [2][3]

この効果は、視覚情報と聴覚情報が矛盾している場合、人々は知覚体験の融合を起こし、時には人々の聴覚が視覚の影響を受け、誤った認知結果をもたらすことを示しています。この効果は、音声知覚における視覚の重要な役割と、脳がさまざまな感覚情報を統合する複雑なメカニズムを明らかにしています。

マガーク効果も多感覚統合メカニズムから生じます。脳内の上側頭溝 (STS) と前頭前野は、視覚と聴覚の経路からの情報を統合する役割を担っています。マガーク効果とは、2 つの感覚情報 (視覚と聴覚) が矛盾する場合、脳は情報を合理化して融合し、一貫した知覚体験を得ようとするというものです。 [4]

この現象は、私たちの聴覚が単に聴覚経路から来るものではなく、脳による「合成」の結果であることを明確に示しています。具体的には、目が発話動作を見て、耳がさまざまな発話信号を聞くと、脳がこの情報を混合し、結果として知覚される発話は完全に視覚または聴覚に基づくものではなく、その 2 つの組み合わせに基づくものになります。この融合知覚のプロセスは、視覚が場合によっては聴覚よりも言語知覚に影響を与える可能性があることを示唆しています。

では、さまざまな人と話すことは視聴覚効果に影響を与えるのでしょうか?

実際、本当にそうなんですよ。たとえば、身近な人と話す場合と、あまり知らない人と話す場合とでは、マガーク効果が異なります。

話者の顔の親しみやすさも私たちの認知に影響を与える可能性があります。研究により、実験者が話者の顔に詳しいほどマガーク効果は弱くなり、つまり視覚が聴覚に影響しにくくなることが判明しています。逆に、親しくない人と話しているときは、相手の言っていることを理解するために視覚を働かせる必要があり、マガーク効果はより強くなります。 [5]

マガーク効果は、異なる言語を話す人々の会話によって異なります。言語によって音素構造や発音ルールが異なるため、これもマガーク効果に影響を与える可能性があります。たとえば、一部の言語では二重子音や複雑な子音の発音が多く、これらの複雑な音声要素によって視覚情報が音声知覚においてより重要な役割を果たす場合があります。たとえば、マクガーク効果は北京語よりも広東語の方が強く、これは言語使用者が視覚情報に大きく依存していることを意味します。

異なる国の人々の間のコミュニケーション文化もマガーク効果に影響を与えます。たとえば、多くのアジア文化（日本や韓国など）では、会話中の表情やボディランゲージの解釈を重視しているため、アジアの話者は会話の理解に視覚情報に大きく依存する可能性があります。対照的に、一部の西洋文化では正確な言語によるコミュニケーションを重視し、マガーク効果の実験では視覚情報にあまり依存しない可能性があります。

視聴覚統合の現象を理解することの意義は何でしょうか?

人間の脳が聴覚のために視覚と音声を統合する仕組みを理解することは、人工知能の分野でこれを活用することにも役立つ可能性があります。たとえば、マルチモーダル音声認識システムを開発し、視覚情報と音声認識を組み合わせることで、騒がしい環境でのシステムの認識精度を向上させることができます。

同時に、これは聴覚障害者向けに設計された補聴器にも応用できます。視覚情報と組み合わせると、ユーザーの音声理解能力が大幅に向上します。例えば、唇の動きを読み取る技術を組み合わせることで、聴覚情報の不足を補うことができます。

もちろん、オーディオとビジュアルの統合を理解することは、日常の問題を解決するのにも役立ちます。たとえば、「難聴」の背後にある複雑なメカニズムを理解するのに役立ちます。次に他の人の声がはっきり聞こえないとき、私たちは自分が「耳が聞こえない」のだと疑う必要はありません（新しい眼鏡が必要になったからかもしれません）。

参考文献:

[1] Stein BE、Stanford T R. 多感覚統合：単一ニューロンの観点から見た現在の課題[J]。ネイチャーレビュー神経科学、2008年、9(4):255-266。

[2] https://www.youtube.com/watch?v=jtsfidRq2tw

[3] McGurk H、MacDonald J. 唇を聞き、声を見る[J]。ネイチャー、1976、264(5588):746-748。

[4] Nath AR、Beauchamp M S. 多感覚言語錯覚であるマガーク効果における個人差の神経基盤[J]。ニューロイメージ、2012年、59(1):781-787。

[5] Walker S、Bruce V、O'Malley C. 顔のアイデンティティと顔の音声処理：マガーク効果における馴染みのある顔と声[J]。知覚と心理物理学、1995年、57(8):1124-1133。

[6] 行動分析とERP手法を組み合わせて広東語と北京語話者によるマガーク効果の違いを調査する

著者: ウー・チオン (ポピュラーサイエンスクリエイター)

査読者：潘春塵、中国科学技術大学付属第一病院耳鼻咽喉科副主任医師

この記事は科学普及中国創造育成計画によって制作されました。転載の際は出典を明記してください。