подстройка к собеседнику через модальность
Мы можем видеть, слышать, чувствовать, нюхать и пробовать на вкус. В нашем мозгу сенсорная (полученная органами чувств) информация трансформируется в некоторое представление или модель.
Эти индивидуальные модели называются модальностями восприятия и переработки информации.
Модальность в психологии — это спектр ощущений и внутренняя переработка полученной информации посредством задействования определенных органов чувств.
Как правило, мы в контакте с окружающими используем зрение, слух и тактильные ощущения. Остальные сенсорные каналы — обоняние и вкус — представляют собой редко применяемые способы получения информации. Конечно, они могут становиться более используемыми. К примеру, когда человек теряет зрение, у него происходит замена — обостряется чувствительность к запахам.
Модальность, которая используется чаще, чем другие, называется доминантной или ведущей модальностью.
Справочно: ведущая модальность восприятия может меняться в течение жизни.
Портреты людей с ведущей модальностью
У каждого человека есть ведущая сенсорная система. Таким образом, выделяется три наиболее распространенных типа людей: аудиалы (слуховая модальность — «я слышу»), визуалы (зрительная модальность — «я вижу») и кинестетики (модальность, основанная на телесных ощущениях — «я чувствую»).
1. У аудиала поступающая информация лучше обрабатывается слуховыми анализаторами: звуки, мелодии, их тон, громкость, тембр, чистота. Такой человек часто пользуется словосочетаниями, связанными со слухом: «не могу понять, что говорите»; «не услышал(а)»; «мне послышалось»; «я недавно услышал(а)»; «рад(а) вас слышать».
Аудиального собеседника легко определить, когда он читает — он обязательно будет проговаривать всё вслух. Аудиалы способны повторить всё слово в слово, их уши как локаторы могут слышать будто через стенку. Вспомните своих возрастных соседей, которые жалуются на шум из вашей квартиры. Не стоит обижаться — они действительно слышат, т.
к. с годами зрительный анализатор ухудшается, и они переключаются на звуковые сигналы. Поэтому если вы хотите с кем-то поделиться секретной информацией, убедитесь, что рядом нет человека со слуховой модальностью.
В работе такие люди устно излагают мысль лучше, чем письменно. Разговор с аудиалом часто бывает очень приятен. Такие люди сами требовательны к своей речи, говорят размеренно, грамотно требуют этого от собеседника. На аудиалов совершенно нельзя кричать или повышать голос, т. к. это приведет к отчуждению человека. Люди со звуковой модальностью большее значение придают не тому, что сказано, а тому, как, с какой интонацией проходит коммуникативный процесс. Если им нужно сосредоточиться, то они требуют тишину.
2. Визуал мыслит образами, доминирующей является зрительная система обработки информации: формы, расположения, цвета. В речи такой человек использует слова и словосочетания, связанные со зрительными действиями: «я не видел(а)»; «я увидел(а)»; «я заметил(а)»; «это выглядит ярко» и т.
д.
Для визуалов слух и зрение составляют единое целое, поэтому если такой человек только услышал материал (но не увидел), то с большой долей вероятности информация быстро забудется. Визуалы моментально усваивают всю наглядную информацию, поэтому наиболее выгодно при общении использовать все методы и приемы наглядного представления: демонстрация документов, показ объектов и т. д. Они хорошо помнят расположение предметов, неплохо ориентируются в пространстве. Звуковые помехи для визуала не критичны, он может сосредоточиться в обстановке некоторого шума и успешно изучать материал.
Начало известной пословицы о том, что встречают по одежке, всецело относится именно к визуалам. Они весомое значение придают внешнему виду человека и всегда обращают внимание на то, как человек выглядит, какая на нем одежда, какие у него черты лица, как он двигается. В общении такие люди могут спокойно и долго смотреть в глаза. Визуальный контакт, жесты, открытые позы необычайно важны именно для этого типа модальности.
При этом они очень избирательно относятся к собеседнику и не каждому позволяют приблизить дистанцию в общении — держат на расстоянии. Главное для визуала — это хорошо видеть. Представители этого типа восприятия быстро и на интуитивном уровне считывают сигналы языка жестов и мимики. Именно люди с этим типом модальности могут по одному только взгляду оценить и узнать намерения другого человека.
Справочно: если вам нужно произвести впечатление на визуала, старайтесь наибольшее внимание уделить внешней красоте. Обстановка, ваша одежда, походка, мимика, жесты должны быть максимально располагающими. В доказательство своих слов приводите наглядные примеры, показывайте документы, обязательно базируйте аргументы на образцах.
3. Кинестетик — это человек, для которого больше всего важны ощущения. Доминирующей является чувственная информация: прикосновения, вкус, запах, ощущение текстур, температуры. Для этого типа восприятия характерны фразы, показывающие их эмоциональные и телесные отклики: «не выношу этого»; «это противно»; «это так приятно»; «это было сильнейшее переживание».
Часто их невербальные знаки очень показательны, мимика и жесты говорящие, отражают состояние и эмоции человека. Они получают информацию через действия, движения. Лучше всего кинестетик воспринимает информацию через практические упражнения, где своими руками проверяет полученную информацию на практике: что и как двигается, где необходимо нажать.
Кинестетам важно всё пощупать, потрогать, понюхать, попробовать на вкус и полноценно ощутить изучаемый предмет. Люди этого типа очень эмоционально активны, именно для кинестетов поговорка «движение — это жизнь» имеет особый смысл. Им очень сложно удерживать фокус внимания, они легко отвлекаются, им сложно усидеть на месте продолжительное время, заниматься рутинной работой. Люди с данной модальностью особенно чувствительны к пространственной обстановке и дистанциям между собеседниками. Близких людей допускают в личную зону, а людей малознакомых они обязательно держат на расстоянии. Чтобы завоевать внимание и доверие кинестета, необходима совместная деятельность.
Если в работе есть моменты, связанные с запоминанием и сохранением информации, позвольте кинестетику записать или сделать пометку самому. А чтобы понять их уровень доверия к вам, понаблюдайте за его стремлением прикоснуться, сблизить расстояние при общении. Им для доверия важен телесный контакт.
Это важно
Наверняка вы встречали людей, которым свойственен каждый из видов модальности — это не патология, а наработанный опыт. Такая модальность называется смешанной и формируется в особых условиях — это могут быть специалисты спецслужб, педагоги, многодетные родители и т. д. Модальность может трансформироваться в зависимости от профессии, социальных условий, семейного статуса и даже от состояния здоровья. Но и это еще не всё. Существуют люди, которых называют дигиталы (дискреты). У них восприятие информации происходит в основном через логическое осмысление, с помощью цифр, знаков, логических доводов. Эта категория людей, пожалуй, самая немногочисленная.
Как работает модальность на практике
К примеру, говорят: «Представьте мягкую шерсть кошки».
Визуалу для того, чтобы представить шерсть, нужно сначала представить кошку, а уже потом вспомнить, какая у нее мягкая шерсть. Аудиал представляет себе сначала звуки кошки (мурчание, мяуканье), а потом может вспомнить и другие ощущения. Кинестет сразу ощущает прикосновение шерсти, и только потом визуальный образ. Дигиталу нужно произнести про себя «кошка» и после внутренней речи представить образ кошки и шерсти.
Таким образом, каждый из нас видит в голове образ кошки, но у одних он всплывает сразу, а у других — через доминирующую систему. Пусковая система помогает быстро перевести стимул в образы в нашем мозгу. Именно поэтому понимание своей ведущей системы позволяет индивидуально создать принцип восприятия и запоминания любой информации.
Как определить свой тип восприятия информации?
Для того, чтобы «считывать» информацию с собеседника, вы должны определить и понять свой способ восприятия информации, чтобы в последующем подстроиться к коммуникации.
Остановимся на двух простых методах это выяснить.
1. Наблюдайте за собой. Обратите внимание на то, что в ходе мыслительной деятельности вы используете чаще всего. Как организованы ваши мысли и речь? Если яркими картинками и образами, то вы визуал, ощущениями — кинестет, звуками и интонациями — аудиал, внутренней речью, логическими связями, смыслами — дигитал.
2. Диагностируйте себя. Пройдите тест на определение ведущей модальности.
Выберите из описаний под каждым из выделенных слов одно, которое отображает ваши ассоциации и мысли, связанные с указанным понятием. Отмечайте значки вариантов, которые выбираете.
Тест «Какая у вас модальность?»
Плохая погода
- Завывание ветра, стук капель. (×)
- Зябко, ощущение сырости, влажный воздух. (–)
- Тусклое небо, серые тучи. (+)
Мёд
- Сладкий запах, липкие губы, тягучий. (–)
- Золотистая прозрачная жидкость.
(+) - Хлопок открывающейся банки, звон ложек, жужжание пчел. (×)
(+)Море
- Сине-зеленая вода, большие волны с белыми гребешками. (+)
- Теплая соленая вода, горячий песок. (–)
- Шум прибоя, шелест волн, крики чаек. (×)
Яблоко
- Звонкий хруст укуса. (×)
- Круглый плод красного, желтого или зеленого цвета на высоком дереве. (+)
- Кисло-сладкий сочный вкус, запах варенья. (–)
Снег
- Сверкающее, искрящееся на солнце белое покрывало. (+)
- Холодный, мягкий, пушистый. (–)
- Скрип под ногами, потрескивание наста. (×)
Если среди ответов больше тех, что обозначены знаком (+), то вы визуал, если больше всего ответов со знаком (×) — аудиал, со знаком (–) — кинестетик. А если вы с легкостью применяете всю вышеперечисленную модальность, то у вас смешанный тип восприятия, что обозначает наличие особенных способностей.
Дигиталы, как правило, не могут выполнить этот тест до конца, т. к. логически не выдерживают перевод каждого словосочетания в мысль.
***
Подстройка к собеседнику — это как решение математической задачи. А решают все по-разному: один человек нарисует на бумажном носителе разные варианты, другой проговорит их вслух, третий разложит перед собой предметы. Зная ведущую модальность собеседника, вы с легкостью выстроите успешные и выгодные коммуникативные отношения.
Таблица
| Паттерны
| Визуал
| Кинестетик
| Аудиал
| Дигитал
|
|---|---|---|---|---|
Предикаты | Кажется Взгляд Яркий Перспектива Фокус Красочный | Чувствую Схватывать Касание Прочный Теплый Спокойно | Тон Громкий Отзвук Послышалось Звучит как. Ритмичный | Предикатов нет |
Поза | Прямая, расправленная, голова и плечи приподняты | Расслабленная, голова и плечи опущены. Сидит с наклоном вперед | Голова набок, «телефонная поза», посадка прямая | Скрещенные руки, прямая осанка, поднятая голова |
Движения | Указующие жесты | Передают состояние | То зажатые, то свободные | Движения не гибкие, застывшая поза |
Голос | Высокий, чистый, быстрый, громкий | Низкий, медленный, хриплый | Мелодичный, ритмичный, меняющийся | Монотонный. прерывистый, густой |
Направление взгляда | Над окружающими | Под окружающими | Глаза опущены | Смотрит свысока |
Правила общения | «Посмотри, чтобы услышать» | Скорее прикоснется, нежели посмотрит | «Чтобы услышать, не смотри» | Никакого зрительного контакта |
Дистанция | Большая, чтобы видеть. | Очень близкая, чтобы коснуться | Небольшая, при этом избегают прикосновений | Отдаленная |
Характерная черта | Не хотят быть ниже собеседника | Выходят из стресса, беря вину на себя | Очень многословны, нет риторических вопросов | При стрессе становятся сверхрациональны |
Главное слово | Красиво | Удобно | Тихо | Функционально |
Прикосновений не любят
Восприятие по ведущей модальности
19.05.2011
Возможности зрительного, осязательного, обонятельного, вкусового и слухового восприятия в существенной мере обусловлены параметрами соответствующих типов ощущений.
Потребность в более детальной информации по этим вопросам может быть удовлетворена знакомством со специальной литературой по инженерной психологии (например, Справочник по инженерной психологии). Восприятие формируется как результат тесного взаимодействия всех анализаторов, образующих единую систему. Так, восприятие текста формируется на основе зрительных, слуховых и кинестетических психических процессов (последние реализуются через проговаривание вслух либо мысленное проговаривание читаемого текста).
Согласно критерию ведущей перцептивной системы восприятия (ведущей модальности), люди подразделяются на визуалистов, аудиалистов и кинесте-тиков. Речь идет о том, какой способ восприятия у данного индивида является доминирующим, более привычным — зрение, слух или чувственные ощущения (соответственно он будет считаться визуалистом, аудиалистом или кинестетиком).
- Визуалист мыслит зрительными образами, воспринимает картину мира на основе мысленного «видения».
- Аудиалист формирует перцептивные образы окружающего мира на основе слуховых впечатлений.
- Кинестетик воспринимает окружающее через чувственные ощущения.
Конечно, каждый человек владеет всеми этими видами восприятия, но какие-то из них играют у него доминирующую роль. Выявлена корреляционная связь ведущей перцептивной системы индивида с его манерами поведения.
Ключевые слова: Восприятие
Источник: Козубовский В. М. Общая психология: познавательные процессы. Мн., 2008.
| Материалы по теме |
|---|
Общие свойства сенсорных систем … |
Общее понятие о восприятии Еникеев М.И., Общая и социальная психология |
Механизмы восприятия в межгрупповом общении Горанчук В.В., Психология делового общения и управленческих воздействий |
Общение как восприятие людьми друг друга Столяренко Л. |
Восприятие партнера по общению и возникновение первого впечатления о нем Ильин Е. П., Психология общения и межличностных отношений. — СПб.: Питер, 2009. — 576 с…. |
Классификация сенсорных рецепторов … |
Нейрофизиологические основы восприятия Еникеев М.И., Общая и социальная психология |
Факторы, влияющие на восприятие Творогова Н.Д., Общая и социальная психология |
Д., Основы психологииМультимодальное восприятие | Введение в психологию
Цели обучения
- Определить основную терминологию и основные принципы мультимодального восприятия
- Приведите примеры мультимодальных и кроссмодальных поведенческих эффектов
Рисунок 1. То, как мы получаем информацию из мира, называется ощущением, а наша интерпретация этой информации называется восприятием.
[Изображение: Laurens van Lieshou]
Несмотря на то, что традиционным является независимое изучение различных органов чувств, большую часть времени восприятие работает в контексте информации, поступающей от нескольких органов чувств.0013 сенсорных модальностей одновременно. Например, представьте, что вы стали свидетелем автомобильного столкновения. Вы можете описать стимул, вызванный этим событием, рассматривая каждое из чувств независимо друг от друга; то есть как набор из одномодальных стимулов. Ваши глаза будут стимулироваться узорами световой энергии, отражающейся от задействованных автомобилей. Ваши уши будут стимулироваться образцами акустической энергии, исходящими от столкновения. Ваш нос может даже раздражаться от запаха горящей резины или бензина. Однако вся эта информация будет относиться к одному и тому же: вашему восприятию автомобильного столкновения. В самом деле, если бы кто-нибудь прямо не попросил вас описать ваше восприятие в одномодальных терминах, вы, скорее всего, восприняли бы событие как единый набор ощущений от множества органов чувств.
Другими словами, ваше восприятие будет мультимодальный . Вопрос в том, обрабатываются ли перцептивной системой различные источники информации, задействованные в этом мультимодальном стимуле, отдельно или нет.
В течение последних нескольких десятилетий исследования восприятия указывали на важность мультимодального восприятия : влияние на восприятие событий и объектов в мире, наблюдаемое при наличии информации более чем от одной сенсорной модальности. Большая часть этих исследований указывает на то, что на каком-то этапе обработки восприятия информация, поступающая от различных сенсорных модальностей, становится недоступной.0013 интегрированный . Другими словами, информация объединяется и обрабатывается как единое представление о мире.
Поведенческие эффекты мультимодального восприятия
Хотя нейробиологи обычно изучают очень простые взаимодействия между нейронами, тот факт, что они обнаружили так много кроссмодальных областей коры, похоже, намекает на то, что то, как мы воспринимаем мир, принципиально мультимодально.
Наши интуитивные представления о восприятии согласуются с этим; не кажется, что наше восприятие событий ограничено восприятием каждой сенсорной модальности независимо. Скорее, мы воспринимаем единый мир, независимо от сенсорной модальности, посредством которой мы его воспринимаем.
Вероятно, потребуется еще много лет исследований, прежде чем нейробиологи раскроют все детали нейронного механизма, участвующего в этом объединенном опыте. Тем временем психологи-экспериментаторы внесли свой вклад в наше понимание мультимодального восприятия, исследуя связанные с ним поведенческие эффекты. Эти эффекты делятся на два больших класса. Первый класс — мультимодальные явления — касается связывания входных данных от множества сенсорных модальностей и эффектов этого связывания на восприятие. Второй класс — кроссмодальные явления — касается влияния одной сенсорной модальности на восприятие другой (Spence, Senkowski, & Roder, 2009).
Мультимодальные явления
Аудиовизуальная речь
Мультимодальные явления касаются стимулов, которые генерируют одновременную (или почти одновременную) информацию в более чем одной сенсорной модальности.
Как обсуждалось выше, речь является классическим примером такого рода стимулов. Когда человек говорит, он генерирует звуковые волны, которые несут важную информацию. Если воспринимающий также смотрит на говорящего, то этот воспринимающий также имеет доступ к визуальный паттерн, несущий значимую информацию. Конечно, как известно любому, кто когда-либо пытался читать по губам, существуют пределы информативности визуальной речевой информации. Даже в этом случае одного визуального речевого паттерна достаточно для очень надежного восприятия речи. Большинство людей считают, что глухие люди намного лучше читают по губам, чем люди с нормальным слухом. Однако может оказаться сюрпризом узнать, что некоторые люди с нормальным слухом также замечательно умеют читать по губам (иногда это называют «чтением речи»). Фактически, как у людей с нормальным слухом, так и у глухих существует широкий диапазон способностей к чтению речи (Andersson, Lyxell, Rönnberg, & Spens, 2001). Тем не менее, причины такого широкого диапазона показателей еще недостаточно изучены (Auer & Bernstein, 2007; Bernstein, 2006; Bernstein, Auer, & Tucker, 2001; Mohammed et al.
, 2005).
Как визуальная информация о речи взаимодействует со слуховой информацией о речи? В одном из самых ранних исследований этого вопроса изучалась точность распознавания произносимых слов, представленных в шумном контексте, как в приведенном выше примере о разговоре на многолюдной вечеринке. Для экспериментального изучения этого явления участникам был представлен какой-то не относящийся к делу шум («белый шум», который звучит как радио, настроенное между станциями). В белый шум были встроены произнесенные слова, и задача участников состояла в том, чтобы идентифицировать слова. Было два состояния: одно, в котором была представлена только слуховая составляющая слов («только слуховое» состояние), и одно, в котором были представлены как слуховые, так и зрительные компоненты («аудиовизуальное» состояние). Уровни шума также варьировались, так что в некоторых испытаниях шум был очень громким по сравнению с громкостью слов, а в других испытаниях шум был очень тихим по сравнению со словами.
Самби и Поллак (1954) обнаружил, что точность распознавания произносимых слов была намного выше в аудиовизуальном режиме, чем в слуховом режиме. Кроме того, схема результатов соответствовала принципу обратной эффективности: преимущество, полученное от аудиовизуального представления, было самым высоким, когда производительность только слухового состояния была самой низкой (т. Е. Когда шум был самым громким). При таких уровнях шума аудиовизуальное преимущество было значительным: было подсчитано, что позволить участнику увидеть говорящего было эквивалентно уменьшению громкости шума более чем наполовину. Ясно, что аудиовизуальное преимущество может оказать сильное влияние на поведение.
Watch It
Другим явлением, использующим аудиовизуальную речь, является очень известная иллюзия, называемая «эффектом МакГерка» (по имени одного из его первооткрывателей). В классической формулировке иллюзии записывается фильм, в котором говорящий произносит слоги «гага». В другом фильме тот же оратор произносит слоги «баба».
Затем слуховая часть фильма «баба» дублируется на визуальную часть фильма «шутка». Этот комбинированный стимул предъявляется участникам, которых просят сообщить, что сказал говорящий в фильме. МакГерк и Макдональд (1976) сообщили, что 98 процентов их участников сообщили, что слышали слог «дада», который не был ни в зрительном, ни в слуховом компонентах стимула. Эти результаты показывают, что объединение визуальной и слуховой информации о речи может оказывать сильное влияние на восприятие.
Вы можете просмотреть стенограмму «Попробуйте эту причудливую звуковую иллюзию!» здесь (откроется в новом окне).
Попробуйте
Тактильные/визуальные взаимодействия при владении телом
Однако не все феномены мультисенсорной интеграции связаны с речью. Одна особенно убедительная мультисенсорная иллюзия включает в себя интеграцию тактильной и визуальной информации в восприятии владения телом. В «иллюзии резиновой руки» (Botvinick & Cohen, 1998) наблюдатель располагается так, что одна его рука не видна.
Фальшивая резиновая рука помещается рядом с закрытой рукой, но на видном месте. Затем экспериментатор использует легкую кисть, чтобы одновременно погладить скрытую руку и резиновую руку в одних и тех же местах. Например, если чистить средний палец закрытой руки, то средний палец резиновой руки также будет чистить. Это устанавливает соответствие между тактильными ощущениями (от закрытой руки) и зрительными ощущениями (от резиновой руки). Через короткое время (около 10 минут) участники сообщают, что почувствовали, что резиновая рука «принадлежит» им; то есть резиновая рука является частью их тела. Это чувство может быть настолько сильным, что удивление участника ударом молотка по резиновой руке часто приводит к рефлекторному отдергиванию закрытой руки, даже если ей совершенно ничего не угрожает. Таким образом, оказывается, что наше осознание собственного тела может быть результатом мультисенсорной интеграции.
Смотреть
Посмотрите иллюзию резиновой руки в следующем видео.
Вы можете просмотреть расшифровку «Иллюзия резиновой руки – Горизонт: верить ли? – BBC Two» здесь (открывается в новом окне).
Кроссмодальные явления
Кроссмодальные явления отличаются от мультимодальных тем, что они касаются влияния одной сенсорной модальности на восприятие другой.
Визуальное влияние на слуховую локализацию
Рисунок 2 . Чревовещатели могут обмануть нас, заставив поверить, что то, что мы видим, и то, что мы слышим, одно и то же, хотя на самом деле это не так. [Изображение: Indiapuppet]
Известная (и часто встречающаяся) кроссмодальная иллюзия называется «эффектом чревовещания». Когда появляется чревовещатель, чтобы заставить марионетку говорить, она обманывает слушателя, заставляя его думать, что источник звуков речи находится во рту марионетки. Другими словами, вместо того, чтобы локализовать слуховой сигнал (исходящий изо рта чревовещателя) в нужное место, наша система восприятия локализует его неправильно (в рот марионетки).
Почему это может произойти? Рассмотрим доступную наблюдателю информацию о расположении двух компонентов стимула: звуков изо рта чревовещателя и визуального движения рта марионетки. В то время как совершенно очевидно, откуда исходит визуальный стимул (потому что вы можете его видеть), гораздо труднее точно определить местонахождение звуков. Другими словами, очень точное визуальное определение движения рта, по-видимому, перевешивает менее определенное местоположение слуховой информации. В более общем плане было обнаружено, что одновременное предъявление визуального стимула может влиять на расположение самых разнообразных слуховых стимулов (Vroomen & De Gelder, 2004). Кроме того, эффект чревовещания был продемонстрирован для движущихся объектов: движение визуального объекта может влиять на воспринимаемое направление движения движущегося источника звука (Soto-Faraco, Kingstone, & Spence, 2003).
Слуховое влияние на зрительное восприятие
Родственная иллюзия демонстрирует противоположный эффект: когда звуки воздействуют на зрительное восприятие.
В иллюзии двойной вспышки участника просят смотреть в центральную точку на мониторе компьютера. На краю поля зрения участника один раз кратковременно мелькает белый кружок. Существует также одновременное звуковое событие: либо один звуковой сигнал, либо два звуковых сигнала в быстрой последовательности. Примечательно, что участники сообщают, что видели две визуальные вспышки , когда вспышка сопровождается двумя звуковыми сигналами; один и тот же стимул рассматривается как одиночная вспышка в контексте одиночного звукового сигнала или его отсутствия (Shams, Kamitani, & Shimojo, 2000). Другими словами, количество услышанных гудков влияет на количество увиденных вспышек!
Ссылка на обучение
Посмотрите эксперимент с двойной вспышкой.
Взгляните на иллюзию прыгающих мячей здесь или посмотрите это видео с прыгающими мячами и звуком.
Другая иллюзия связана с восприятием столкновений двух кругов (называемых «шарами»), движущихся навстречу друг другу и продолжающихся друг через друга.
Такие стимулы могут восприниматься либо как движение двух шаров друг через друга, либо как столкновение двух шаров, которые затем отскакивают друг от друга в противоположных направлениях. Секулер, Секулер и Лау (1997) показали, что предъявление слухового стимула во время контакта между двумя шарами сильно влияет на восприятие события столкновения. В этом случае воспринимаемый звук влияет на интерпретацию неоднозначного зрительного стимула.
Кроссмодальная речь
Для речевых стимулов также было обнаружено несколько кроссмодальных явлений. Эти кроссмодальные речевые эффекты обычно показывают измененную перцептивную обработку одномодальных стимулов (например, акустических паттернов) в силу предыдущего опыта работы с альтернативными унимодальными стимулами (например, оптическими паттернами). Например, Розенблюм, Миллер и Санчес (2007) провели эксперимент по изучению способности узнавать голос человека. Их первый интересный вывод был унимодальным: подобно тому, что происходит, когда кто-то неоднократно слышит, как человек говорит, воспринимающие могут познакомиться с «визуальным голосом» говорящего.
То есть они могут ознакомиться со стилем речи человека, просто увидев, как этот человек говорит. Еще более поразительной была их кроссмодальная находка: знакомство с этим визуальная информация также привела к повышению узнаваемости слуховой речи говорящего, с которой участники никогда не сталкивались.
Точно так же было показано, что, когда воспринимающие видят говорящее лицо, они могут идентифицировать (только на слух) голос этого говорящего, и наоборот (Kamachi, Hill, Lander, & Vatikiotis-Bateson, 2003; Lachs & Pisoni). , 2004a, 2004b, 2004c; Розенблюм, Смит, Николс, Ли и Хейл, 2006). Другими словами, визуальная форма говорящего, участвующего в акте речи, содержит информацию о том, как этот говорящий должен звучать. Возможно, еще более удивительно, что слуховая форма речи содержит информацию о том, как должен выглядеть говорящий.
Подумай об этом
В конце 17 века ученый по имени Уильям Молинье задал известному философу Джону Локку вопрос, касающийся современных исследований мультисенсорной обработки.
Вопрос был таков: представьте себе человека, слепого от рождения и способного благодаря осязанию различать трехмерные формы, такие как сферы или пирамиды. А теперь представьте, что этот человек вдруг получает способность видеть. Сможет ли человек, не используя осязание, идентифицировать те же самые формы визуально? Могут ли современные исследования мультимодального восприятия помочь ответить на этот вопрос? Почему или почему нет? Как исследования кроссмодальных явлений дают нам ответ на этот вопрос?
Глоссарий
кроссмодальные явления : эффекты, касающиеся влияния восприятия одной сенсорной модальности на восприятие другой
иллюзия двойной вспышки : ложное восприятие двух визуальных вспышек, когда одна вспышка сопровождается двумя слуховыми звуковые сигналы
интегрированные : процесс, посредством которого система восприятия объединяет информацию, возникающую более чем из одной модальности
эффект Мак-Герка : эффект, при котором конфликтующие зрительные и слуховые компоненты речевого стимула приводят к иллюзорному восприятию
мультимодальный : относящийся к множеству сенсорных модальностей
мультимодальное восприятие : эффекты, которые одновременная стимуляция в более чем одной сенсорной модальности оказывает на восприятие событий и объектов в мире
мультимодальные явления : эффекты, которые касаются связывание входных данных от нескольких сенсорных модальностей
иллюзия резиновой руки : ложное восприятие фальшивой руки как принадлежащей воспринимающему из-за мультимодальной сенсорной информации
сенсорные модальности : тип чувств; например, зрение или слух
унимодальный : относящийся к одной сенсорной модальности
Внесите свой вклад!
У вас есть идеи по улучшению этого контента? Мы будем признательны за ваш вклад.
Улучшить эту страницуПодробнее
Мультимодальное восприятие – общая психология
Перейти к содержимому
Ощущение и восприятие
Цели обучения
- Дайте определение основной терминологии и основным принципам мультимодального восприятия
- Приведите примеры мультимодальных и кроссмодальных поведенческих эффектов
Ваши глаза будут стимулироваться узорами световой энергии, отражающейся от задействованных автомобилей. Ваши уши будут стимулироваться образцами акустической энергии, исходящими от столкновения. Ваш нос может даже раздражаться от запаха горящей резины или бензина. Однако вся эта информация будет относиться к одному и тому же: вашему восприятию автомобильного столкновения. В самом деле, если бы кто-нибудь прямо не попросил вас описать ваше восприятие в одномодальных терминах, вы, скорее всего, восприняли бы событие как единый набор ощущений от множества органов чувств. Другими словами, ваше восприятие будет В течение последних нескольких десятилетий исследования восприятия указывали на важность : влияние на восприятие событий и объектов в мире, наблюдаемое при наличии информации более чем от одной сенсорной модальности.
Большая часть этих исследований указывает на то, что на каком-то этапе обработки восприятия информация, поступающая от различных сенсорных модальностей, становится недоступной.0162 . Другими словами, информация объединяется и обрабатывается как единое представление о мире.
Поведенческие эффекты мультимодального восприятия
Хотя нейробиологи обычно изучают очень простые взаимодействия между нейронами, тот факт, что они обнаружили так много кроссмодальных областей коры, похоже, намекает на то, что то, как мы воспринимаем мир, принципиально мультимодально. Наши интуитивные представления о восприятии согласуются с этим; не кажется, что наше восприятие событий ограничено восприятием каждой сенсорной модальности независимо. Скорее, мы воспринимаем единый мир, независимо от сенсорной модальности, посредством которой мы его воспринимаем.
Вероятно, потребуется еще много лет исследований, прежде чем нейробиологи раскроют все детали нейронного механизма, участвующего в этом объединенном опыте.
Тем временем психологи-экспериментаторы внесли свой вклад в наше понимание мультимодального восприятия, исследуя связанные с ним поведенческие эффекты. Эти эффекты делятся на два больших класса. Первый класс — — касается связывания входных данных от множества сенсорных модальностей и эффектов этого связывания на восприятие. Второй класс — — касается влияния одной сенсорной модальности на восприятие другой (Spence, Senkowski, & Roder, 2009).
Мультимодальные явления
Аудиовизуальная речь
Мультимодальные явления касаются стимулов, которые генерируют одновременную (или почти одновременную) информацию в более чем одной сенсорной модальности. Как обсуждалось выше, речь является классическим примером такого рода стимулов. Когда человек говорит, он генерирует звуковые волны, которые несут важную информацию. Если воспринимающий также смотрит на говорящего, то этот воспринимающий также имеет доступ к визуальный паттерн, несущий значимую информацию.
Конечно, как известно любому, кто когда-либо пытался читать по губам, существуют пределы информативности визуальной речевой информации. Даже в этом случае одного визуального речевого паттерна достаточно для очень надежного восприятия речи. Большинство людей считают, что глухие люди намного лучше читают по губам, чем люди с нормальным слухом. Однако может оказаться сюрпризом узнать, что некоторые люди с нормальным слухом также замечательно умеют читать по губам (иногда это называют «чтением речи»). Фактически, как у людей с нормальным слухом, так и у глухих существует широкий диапазон способностей к чтению речи (Andersson, Lyxell, Rönnberg, & Spens, 2001). Тем не менее, причины такого широкого диапазона показателей еще недостаточно изучены (Auer & Bernstein, 2007; Bernstein, 2006; Bernstein, Auer, & Tucker, 2001; Mohammed et al., 2005).
Как визуальная информация о речи взаимодействует со слуховой информацией о речи? В одном из самых ранних исследований этого вопроса изучалась точность распознавания произносимых слов, представленных в шумном контексте, как в приведенном выше примере о разговоре на многолюдной вечеринке.
Для экспериментального изучения этого явления участникам был представлен какой-то не относящийся к делу шум («белый шум», который звучит как радио, настроенное между станциями). В белый шум были встроены произнесенные слова, и задача участников состояла в том, чтобы идентифицировать слова. Было два состояния: одно, в котором была представлена только слуховая составляющая слов («только слуховое» состояние), и одно, в котором были представлены как слуховые, так и зрительные компоненты («аудиовизуальное» состояние). Уровни шума также варьировались, так что в некоторых испытаниях шум был очень громким по сравнению с громкостью слов, а в других испытаниях шум был очень тихим по сравнению со словами. Самби и Поллак (1954) обнаружил, что точность распознавания произносимых слов была намного выше в аудиовизуальном режиме, чем в слуховом режиме. Кроме того, схема результатов соответствовала принципу обратной эффективности: преимущество, полученное от аудиовизуального представления, было самым высоким, когда производительность только слухового состояния была самой низкой (т.
Е. Когда шум был самым громким). При таких уровнях шума аудиовизуальное преимущество было значительным: было подсчитано, что позволить участнику увидеть говорящего было эквивалентно уменьшению громкости шума более чем наполовину. Ясно, что аудиовизуальное преимущество может оказать сильное влияние на поведение.
Watch It
Еще одно явление, использующее аудиовизуальную речь, — это очень известная иллюзия, называемая «эффектом МакГерка» (по имени одного из его первооткрывателей). В классической формулировке иллюзии записывается фильм, в котором говорящий произносит слоги «гага». В другом фильме тот же оратор произносит слоги «баба». Затем слуховая часть фильма «баба» дублируется на визуальную часть фильма «шутка». Этот комбинированный стимул предъявляется участникам, которых просят сообщить, что сказал говорящий в фильме. МакГерк и Макдональд (1976) сообщили, что 98 процентов их участников сообщили, что слышали слог «дада», который не был ни в зрительном, ни в слуховом компонентах стимула.
Эти результаты показывают, что объединение визуальной и слуховой информации о речи может оказывать сильное влияние на восприятие.
Вы можете просмотреть стенограмму «Попробуйте эту причудливую звуковую иллюзию! 👁️👂😮 — BBC» здесь (откроется в новом окне).
Тактильные/визуальные взаимодействия при владении телом
Однако не все феномены мультисенсорной интеграции связаны с речью. Одна особенно убедительная мультисенсорная иллюзия включает в себя интеграцию тактильной и визуальной информации в восприятии владения телом. В «» (Botvinick & Cohen, 1998), наблюдатель располагается так, что одна его рука не видна. Фальшивая резиновая рука помещается рядом с закрытой рукой, но на видном месте. Затем экспериментатор использует легкую кисть, чтобы одновременно погладить скрытую руку и резиновую руку в одних и тех же местах. Например, если чистить средний палец закрытой руки, то средний палец резиновой руки также будет чистить. Это устанавливает соответствие между тактильными ощущениями (от закрытой руки) и зрительными ощущениями (от резиновой руки).
Через короткое время (около 10 минут) участники сообщают, что почувствовали, что резиновая рука «принадлежит» им; то есть резиновая рука является частью их тела. Это чувство может быть настолько сильным, что удивление участника ударом молотка по резиновой руке часто приводит к рефлекторному отдергиванию закрытой руки, даже если ей совершенно ничего не угрожает. Таким образом, оказывается, что наше осознание собственного тела может быть результатом мультисенсорной интеграции.
Смотреть
Посмотрите иллюзию резиновой руки в следующем видео.
Вы можете просмотреть расшифровку «Иллюзия резиновой руки – Горизонт: верить ли? – BBC Two» здесь (открывается в новом окне).
Кроссмодальные явления
Кроссмодальные явления отличаются от мультимодальных тем, что они касаются влияния одной сенсорной модальности на восприятие другой.
Визуальное влияние на слуховую локализацию
Рисунок 2 . Чревовещатели могут обмануть нас, заставив поверить, что то, что мы видим, и то, что мы слышим, одно и то же, хотя на самом деле это не так.
[Изображение: Indiapuppet]Известная (и часто встречающаяся) кроссмодальная иллюзия называется «эффектом чревовещания». Когда появляется чревовещатель, чтобы заставить марионетку говорить, она обманывает слушателя, заставляя его думать, что источник звуков речи находится во рту марионетки. Другими словами, вместо того, чтобы локализовать слуховой сигнал (исходящий изо рта чревовещателя) в нужное место, наша система восприятия локализует его неправильно (в рот марионетки).
Почему это может произойти? Рассмотрим доступную наблюдателю информацию о расположении двух компонентов стимула: звуков изо рта чревовещателя и визуального движения рта марионетки. В то время как совершенно очевидно, откуда исходит визуальный стимул (потому что вы можете его видеть), гораздо труднее точно определить местонахождение звуков. Другими словами, очень точное визуальное определение движения рта, по-видимому, перевешивает менее определенное местоположение слуховой информации. В более общем плане было обнаружено, что одновременное предъявление визуального стимула может влиять на расположение самых разнообразных слуховых стимулов (Vroomen & De Gelder, 2004).
Кроме того, эффект чревовещания был продемонстрирован для движущихся объектов: движение визуального объекта может влиять на воспринимаемое направление движения движущегося источника звука (Soto-Faraco, Kingstone, & Spence, 2003).
Слуховое влияние на зрительное восприятие
Родственная иллюзия демонстрирует противоположный эффект: звуки влияют на зрительное восприятие. В иллюзии двойной вспышки участника просят смотреть в центральную точку на мониторе компьютера. На краю поля зрения участника один раз кратковременно мелькает белый кружок. Существует также одновременное звуковое событие: либо один звуковой сигнал, либо два звуковых сигнала в быстрой последовательности. Примечательно, что участники сообщают, что видели две визуальные вспышки , когда вспышка сопровождается двумя звуковыми сигналами; один и тот же стимул рассматривается как одиночная вспышка в контексте одиночного звукового сигнала или его отсутствия (Shams, Kamitani, & Shimojo, 2000). Другими словами, количество услышанных гудков влияет на количество увиденных вспышек!
Ссылка на обучение
Посмотрите эксперимент с двойной вспышкой.
Взгляните на иллюзию прыгающих мячей здесь или посмотрите это видео с прыгающими мячами и звуком.
Другая иллюзия связана с восприятием столкновений двух кругов (называемых «шарами»), движущихся навстречу друг другу и продолжающихся друг через друга. Такие стимулы могут восприниматься либо как движение двух шаров друг через друга, либо как столкновение двух шаров, которые затем отскакивают друг от друга в противоположных направлениях. Секулер, Секулер и Лау (1997) показали, что предъявление слухового стимула во время контакта между двумя шарами сильно влияет на восприятие события столкновения. В этом случае воспринимаемый звук влияет на интерпретацию неоднозначного зрительного стимула.
Кроссмодальная речь
Для речевых стимулов также было обнаружено несколько кроссмодальных явлений. Эти кроссмодальные речевые эффекты обычно показывают измененную перцептивную обработку одномодальных стимулов (например, акустических паттернов) в силу предыдущего опыта работы с альтернативными унимодальными стимулами (например, оптическими паттернами).
Например, Розенблюм, Миллер и Санчес (2007) провели эксперимент по изучению способности узнавать голос человека. Их первый интересный вывод был унимодальным: подобно тому, что происходит, когда кто-то неоднократно слышит, как человек говорит, воспринимающие могут познакомиться с «визуальным голосом» говорящего. То есть они могут ознакомиться со стилем речи человека, просто увидев, как этот человек говорит. Еще более поразительной была их кроссмодальная находка: знакомство с этим визуальная информация также привела к повышению узнаваемости слуховой речи говорящего, с которой участники никогда не сталкивались.
Точно так же было показано, что, когда воспринимающие видят говорящее лицо, они могут идентифицировать (только на слух) голос этого говорящего, и наоборот (Kamachi, Hill, Lander, & Vatikiotis-Bateson, 2003; Lachs & Pisoni, 2004a, 2004b, 2004c; Розенблюм, Смит, Николс, Ли и Хейл, 2006). Другими словами, визуальная форма говорящего, участвующего в акте речи, содержит информацию о том, как этот говорящий должен звучать.
Возможно, еще более удивительно, что слуховая форма речи содержит информацию о том, как должен выглядеть говорящий.
Подумай об этом
В конце 17 века ученый по имени Уильям Молинье задал известному философу Джону Локку вопрос, относящийся к современным исследованиям мультисенсорной обработки. Вопрос был таков: представьте себе человека, слепого от рождения и способного благодаря осязанию различать трехмерные формы, такие как сферы или пирамиды. А теперь представьте, что этот человек вдруг получает способность видеть. Сможет ли человек, не используя осязание, идентифицировать те же самые формы визуально? Могут ли современные исследования мультимодального восприятия помочь ответить на этот вопрос? Почему или почему нет? Как исследования кроссмодальных явлений дают нам ответ на этот вопрос?
Лицензии и атрибуты (Нажмите, чтобы развернуть)Контент с лицензией CC, исходный
- Модификация и адаптация. Предоставлено : Lumen Learning.
