ログイン
ランキング
お知らせ
ログイン
文献詳細
増大特集 顔認知の脳内機構
文献概要
はじめに
オブジェクトとは，われわれが外的世界を理解するための処理単位1)であり，その外的世界はさまざまなオブジェクトで溢れており，それらの多くは複数の異なったモダリティで定義することができる。例えば，オブジェクトは一般的に特定の形や色を持っており，ある状況下で音を出し，質感や肌触り，そして重みがあり，ときには特別な香りや匂いを持っている。それらの属性は脳内の担当部位でそれぞれ特徴抽出され，最終的に観察者であるわれわれは1つのまとまった表象として統合し，認識する。あるモダリティからの情報が別のモダリティからの情報と不一致であった場合には，適合する別のオブジェクトに置き換えられて統合されることもある。すなわち，矛盾した情報が提供される場合は，結果として2つ，もしくはそれ以上のオブジェクトとして認識されることになる。このような観点から，マルチモーダルな認知過程が取り上げられ，感覚融合認知による表象が盛んに議論されるようになった。
当然ながら，顔もオブジェクトの1つであるが，日常物体のようなオブジェクトとは異なり，顔としての特有の特徴から，個体同定，性別，年齢，健康状態，感情などの特徴が抽出され，日常的な行動に結びつけられている。ここでは，顔情報処理における感覚融合認知に焦点を当てる。すなわち，発せられた音声が複数提示された顔のうち，どの顔の口元を音源としているのかという感覚融合としての定位に関する基本的な問題である腹話術効果を取り上げることになる。
オブジェクトとは，われわれが外的世界を理解するための処理単位1)であり，その外的世界はさまざまなオブジェクトで溢れており，それらの多くは複数の異なったモダリティで定義することができる。例えば，オブジェクトは一般的に特定の形や色を持っており，ある状況下で音を出し，質感や肌触り，そして重みがあり，ときには特別な香りや匂いを持っている。それらの属性は脳内の担当部位でそれぞれ特徴抽出され，最終的に観察者であるわれわれは1つのまとまった表象として統合し，認識する。あるモダリティからの情報が別のモダリティからの情報と不一致であった場合には，適合する別のオブジェクトに置き換えられて統合されることもある。すなわち，矛盾した情報が提供される場合は，結果として2つ，もしくはそれ以上のオブジェクトとして認識されることになる。このような観点から，マルチモーダルな認知過程が取り上げられ，感覚融合認知による表象が盛んに議論されるようになった。
当然ながら，顔もオブジェクトの1つであるが，日常物体のようなオブジェクトとは異なり，顔としての特有の特徴から，個体同定，性別，年齢，健康状態，感情などの特徴が抽出され，日常的な行動に結びつけられている。ここでは，顔情報処理における感覚融合認知に焦点を当てる。すなわち，発せられた音声が複数提示された顔のうち，どの顔の口元を音源としているのかという感覚融合としての定位に関する基本的な問題である腹話術効果を取り上げることになる。
参考文献
1) 横澤一彦: 視覚科学. 勁草書房, 東京, 2010, p131
2) Howard IP, Templeton WB: Human Spatial Orientation. Wiley, London, 1966, p361
3) Vroomen J, de Gelder B: Perceptual effects of cross-modal stimulation: Ventriloquism and the freezing phenomenon. In The Handbook of Multisensory Processes. Calvert G, Spence C, Stein B (eds). MIT Press, Cambridge, 2004, pp141-150
4) Radeau M, Bertelson P: Adaptation to auditory-visual discordance and ventriloquism in semirealistic situations. Percept Psychophys 22: 137-146, 1977
5) Bertelson P, Aschersleben G: Automatic visual bias of perceived auditory location. Psychon Bull Rev 5: 482-489, 1998
6) Bertelson P, Vroomen J, Wiegeraad G, de Gelder B: Exploring the relation between McGurk interference and ventriloquism. Proceedings of the International Conference on Spoken Language Processing 2: 559-562, 1994
7) Colin C, Radeau M, Deltenre P, Morais J: Rules of intersensory integration in spatial scene analysis and speech reading. Psychologica Belgica 41: 131-144, 2001
8) Driver J: Enhancement of selective listening by illusory mislocation of speech sounds due to lip-reading. Nature 381: 66-68, 1996
9) Brungart DS, Kordik AJ, Simpson BD: Audio and visual cues in a two-talker divided attention speech-monitoring task. Hum Factors 47: 562-573, 2005
10) Spence C, Driver J: Attracting attention to the illusory location of a sound: Reflexive crossmodal orienting and ventriloquism. Neuroreport 11: 2057-2061, 2000
11) Bertelson P, Vroomen J, de Gelder B, Driver J: The ventriloquist effect does not depend on the direction of deliberate visual attention. Percept Psychophys 62: 321-332, 2000
12) Vroomen J, Bertelson P, de Gelder B: The ventriloquist effect does not depend on the direction of automatic visual attention. Percept Psychophys 63: 651-659, 2001
13) Bertelson P, Pavani F, Ladavas E, Vroomen J, de Gelder B: Ventriloquism in patients with unilateral visual neglect. Neuropsychologia 38: 1634-1642, 2000
14) Morein-Zamir S, Soto-Faraco S, Kingstone A: Auditory capture of vision: examining temporal ventriloquism. Cogn Brain Res 17: 154-163, 2003
15) Parise C, Spence C: Synesthetic congruency modulates the temporal ventriloquism effect. Neurosci Lett 442: 257-261, 2008
16) Keetels M, Vroomen J: No effect of synesthetic congruency on temporal ventriloquism. Atten Percep Psychophys 73: 209-218, 2011
17) Spence C: Audiovisual multisensory integration. Acoust Sci Technol 28: 61-70, 2007
18) Roseboom W, Nishida S, Arnold D H: The sliding window of audio-visual simultaneity. J Vis 9: 1-8, 2009
19) Roseboom W, Fujisaki W, Nishida S, Arnold DH: Audio-visual speech timing sensitivity is enhanced in cluttered conditions. PLoS One 6: e18309, 2011
20) Vatakis A, Spence C: Crossmodal binding: evaluating the "unity assumption" using audiovisual speech stimuli. Percep Psychophys 69: 744-756, 2007
21) Kanaya S, Yokosawa K: Perceptual congruency of audio-visual speech affects ventriloquism with bilateral visual stimuli. Psychon Bull Rev 18: 123-128, 2011
22) McGurk H, MacDonald J: Hearing lips and seeing voices. Nature 264: 746-748, 1976
23) Welch RB, Warren DH: Immediate perceptitual response to intersensory discrepancy. Psychol Bull 88: 638-667, 1980
24) Alais D, Burr D: The ventriloquist effect results from near-optimal bimodal integration. Curr Biol 14: 257-262, 2004
25) Phan ML, Schendel KL, Recanzone GH, Robertson LC: Auditory and visual spatial localization deficits following bilateral parietal lobe lesions in a patient with Balint's syndrome. J Cogn Neurosci 12: 583-600, 2000
掲載誌情報
