Бихевиоризм стимул реакция: Психологический словарь: бихевиоризм

Ассоциации стимул-стимул (S-S) или стимул-реакция (S-R)

Когнитивные теоретики того времени ясно понимали, что научение связано с ассоциациями или реорганизацией сенсорно-перцептивных процессов. Напротив, Гатри, Торндайк, Халл и другие утверждали, что научение связано с S-R-ассоциациями между стимулами и «сокращением мышц и секрецией желез» (Guthrie, 1946, стр. 7). Однако Спенс (1950) указал, что акцент Халла на ассоциациях S-R проистекал из его нейрофизиологизации, а не из его математического определения привычки. С точки зрения Спенса, в привычке не было ничего по существу S-R или S-S в привычке, как это определено в системе Халла, хотя, как и Халл, он явно считал, что обучение в основном связано с формированием ассоциаций между стимулами и реакциями.

«Мне нетрудно представить себе оба типа организаций или ассоциаций, созданных в сфере обучения. Очевидно, что простые типы перцептивного научения могут включать межсенсорные ассоциации. Я серьезно сомневаюсь, однако, в том, относится ли обучение исключительно к этому типу или даже в том, что оно в большинстве своем. В самом деле, … доказательства, по-видимому, сильнее поддерживают концепцию S-R, чем концепцию S-S» (Spence, 1950, стр. 164–165).

Большая часть этой статьи (раздел 2) будет посвящена этому вопросу.

Содержание и условия обучения

Спенс отметил, что теоретики познания склонны подчеркивать «внутренние» свойства своих конструктов, в то время как теоретики S-R, как правило, интересуются эмпирическими отношениями между экспериментальными переменными, которые определяют их конструкты. В терминологии Рескорлы (1975) теоретики познания концентрировались на содержании обучения, тогда как теоретики SR сосредоточивались на условиях, при которых происходило обучение. Критикуя когнитивных теоретиков за то, что они слишком сильно полагаются на самоанализ, чтобы делать выводы о содержании обучения, Спенс признавал, что такое содержание все же можно строго определить с точки зрения переменных окружающей среды, восхваляя психологию знакового гештальта Толмена. Таким образом, он пришел к выводу, что эти опасения отражают «весьма реальное различие между двумя теоретическими лагерями, но… различие в акцентах, а не в конфликте» (Spence, 19). 50, с. 166).

Стимульные переменные: внутренние и внешние -основные отношения, отношения часть-целое, принадлежность, множество). Напротив, большинство исследований поведения в рамках традиции SR были сосредоточены на временных переменных и тех, которые связаны с мотивацией, такими как величина вознаграждения и состояние депривации. Но Спенс (1950, с. 167) отношение заключалось в том, что «такие различия в акцентах…. не обязательно связаны с конфликтом», и отметил, что озабоченность теоретиков SR временем и мотивацией не исключает интереса к получению стимула и организационным переменным. Действительно, за последние 25 лет большое количество исследований в области обучения, вытекающих из традиции SR, касались этих более поздних проблем, например, интереса к ориентированию и вниманию (Holland, 1997; Mackintosh, 1975; Pearce & Hall, 1980) и к перцептивным. организация (Кук, Райли и Браун, 19 лет)92; Рескорла, 1986).

Организм как активный или пассивный обработчик информации

Во время выступления Спенса велась активная дискуссия о «роли организма» в обработке информации, о том, являются ли животные «просто пассивно воспринимающими и реагирующими на все стимулы, которые физически присутствуют» (Tolman, 1948, стр. 189), или активно обрабатывали эту информацию, выбирая и собирая элементы ассоциации до того, как сформировать сами ассоциации. Опять же, Спенс чувствовал, что когнитивные теоретики исказили позицию S-R:

«Трудно точно знать, что Толмен и другие, высказавшие это мнение, имеют в виду под такого рода утверждениями. …Большая часть теории S-R связана с классической ситуацией обусловливания, в которой условия стимуляции чрезвычайно просты. Никакого «активного поиска» сигнала… или специальной ориентации рецепторов не требуется… Но даже в случае этой простой ситуации обучения теоретики обучения S-R не предполагали, что организмы пассивно получают и реагируют на все стимулы, которые физически присутствуют» (Spence, 1950, с. 168.)

Таким образом, Спенс подготовил почву для последующего включения переменных, которые теперь описываются как «внимание» в S-R теорию. Например, можно разумно ожидать, что непредвиденные обстоятельства подкрепления будут распространяться как на явную обработку внимания, такую ​​как движения глаз и ориентировочное поведение (например, Siegel, 1967), так и на более неявную обработку, предполагаемую более поздними теориями обучения, такую ​​как изменения параметров скорости обучения. Все это могло повлиять на последующую рецепцию и использование тех или иных раздражителей при формировании ассоциации в дальнейшем.

Как заметил Спенс, в привычке нет ничего по существу СС или СР. Например, воспроизведите диаграммы Спенса (1950) и Холланда (1990), различающие потенциальные связи СС и СР в простом эксперименте Павлова. Если второй член ассоциации запаздывает в потоке обработки, мы описываем ассоциацию как S-R, а если он ранний, мы описываем ее как S-S. С этой точки зрения, насколько поздно это поздно и насколько рано это рано, определяют вопрос о том, является ли ассоциация или привычка S-R или S-S.

Открыть в отдельном окне

A: Диаграмма Спенса (1950), на которой показаны ассоциации стимул-стимул (S-S) и стимул-реакция (S-R). Sc и Su относятся к условному и безусловному раздражителям соответственно, A1 и A2 относятся к афферентным процессам, продуцируемым Sc и Su, E1 и E2 относятся к эфферентным процессам, продуцируемым A1 и A2, а Ro и Ru относятся к ориентировочным и безусловным реакциям. B: Диаграмма Холланда (1990), противопоставляющая ассоциации SS и SR. CS, US и UR относятся к условному раздражителю, безусловному раздражителю и ориентировочной реакции соответственно. Буквы a-d относятся к гипотетическим этапам обработки.

Поскольку в простейшем случае такие взгляды предполагают линейную цепочку обработки событий от получения стимула до двигательной активности, кажется маловероятным, чтобы дихотомическая категоризация усвоенного поведения могла быть реально проведена в рамках психологических или нейрофизиологических теорий путем указания на различия в стимул по сравнению с обработкой ответа или сенсорные по сравнению с двигательными областями мозга. Тем не менее, вероятно, будет достигнуто значительное согласие в отношении того, что одни события являются «более стимулирующими», а другие — «более реакцией». Возможно, самыми ранними тестовыми аренами для постановки вопросов S-S или S-R были те, в которых были минимизированы либо стимульные, либо ответные аспекты второго, «подкрепляющего» события в ассоциативном событии.

Ответы без стимулов

Loucks (1935) исследовал обучение, когда сгибание передней ноги в присутствии зуммера индуцировалось электрической стимуляцией соответствующей области моторной коры, а не обычным ультразвуковым током передней ноги. В этой процедуре предполагалось, что электрическая стимуляция вызывает реакцию без предварительного ввода стимула. Таким образом, обучение S-S должно быть невозможным, а обучение S-R не затронуто в этой подготовке. Действительно, Лоукс не нашел доказательств приобретения реакции сгибания ноги, предполагая, что смежность стимула и реакции недостаточна для обучения. Спенс (1950) согласился с этим, но затем отметил, что во втором эксперименте Loucks (1935) обнаружил, что если после стимуляции моторной коры зуммером следует прием пищи, сгибание ног приобретается. Спенс утверждал, что эту пару результатов можно легко интерпретировать в рамках теории вознаграждения S-R: в отличие от шока ногой, стимуляция моторной коры вызывает реакцию сгибания, но не вызывает драйв (боль), снижение которой может усилить формирование привычки, в то время как добавление пищи добавляет такую ​​реакцию. источник вознаграждения. Хотя другим удалось найти успешное сгибание конечностей при помощи стимуляции моторной коры (например, Doty & Giurgea, 1961), более поздние эксперименты (например, Thomas, 1971; Wagner, Thomas, & Norton, 1967) заставляют усомниться в том, обнаруживали ли такие исследования прямое павловское обусловливание реакций сгибания ног или инструментальное обусловливание реакций, уменьшающее негативные постуральные последствия внезапного неконтролируемые движения ног, вызванные стимуляцией моторной коры. И помимо этих опасений, можно было бы легко задаться вопросом, обеспечит ли массивная, бессистемная стимуляция моторной коры подходящую основу для пластичности, необходимой для S-R обучения в этой точке системы. Примечательно, что в некоторых системах, таких как кондиционирование век, и КС, и УЗИ могут быть заменены прямой стимуляцией нервных путей (например, Steinmetz, Lavond & Thompson, 19).89; Томпсон и др., 1998; см. раздел 3 настоящей статьи).

Стимулы без ответов

По той же логике блокирование ответов на УЗ или выбор УЗ с минимальными ответами должны существенно ухудшить обучение, если обучение представляет собой S-R, но иметь небольшой эффект, если обучение представляет собой S-S. Ранние исследования периферической блокады ответов во время тренировки обычно выявляли значительную реакцию после снятия блокады (например, Finch, 1938). Однако снова легко утверждать, что никто на самом деле не ожидает, что обучение S-R будет локализовано в нервно-мышечном соединении или симпатическом нейроне. Такие исследования оказались более полезными в рассмотрении утверждений о том, что случайное инструментальное усиление двигательных реакций было ответственно за появление предположительно павловских CR.

Более плодотворным направлением исследований было сенсорное предварительное обусловливание, в котором относительно нейтральные стимулы, такие как свет и звук, были парными. Хотя обычно такие пары CS1-CS2 сами по себе не вызывали легко наблюдаемых изменений в поведении, последующее сочетание одного из них (CS2) с более значимым событием, таким как еда или шок, обычно приводило к обучению в ответ на другой сигнал (CS1). (). Как правило, считалось, что CR на нетренированный сигнал CS1 опосредуется цепочкой двух отдельно приобретенных ассоциаций во время исполнения. На начальном этапе СС-ассоциации формировались между событиями преимущественно сенсорного характера. Затем на втором этапе были сформированы ассоциации между CS2 и US. Наконец, когда CS1 будет представлен в тесте, он вызовет CS2, который, в свою очередь, вызовет CR (). Разумеется, изобретательные теоретики СР быстро предложили альтернативные решения проблемы сенсорной предварительной подготовки. Например (), на первой фазе между CS1 и ориентировочными ответами на CS2 могут формироваться связи S-R, а затем ассоциации между сенсорной обратной связью от этих ответов и реакцией на УЗИ во второй фазе. Наконец, в тесте S1 будет вызывать условный OR, первоначально вызванный CS2, а обратная связь от этих условных OR, в свою очередь, вызовет UR-подобный CR, обусловленный этими стимулами обратной связи во второй фазе (Osgood, 19).53, с. 461-462). Поскольку такие ответы часто было нелегко наблюдать, эти версии часто было трудно подтвердить или опровергнуть. Тем не менее, сотни экспериментов по сенсорному предварительному обусловливанию дали доказательства обучения при отсутствии очевидных реакций (например, Thompson, 1972). Я подозреваю, что Спенс удовлетворился бы описанием этих результатов как примеров сенсорно-сенсорных привычек.

Открыть в отдельном окне

Методика и результаты эксперимента сенсорного прекондиционирования. A: Экспериментальные процедуры. B: Счет производительности, опосредованный стимулом. C: Счет производительности, опосредованный стимулом-реакцией. D: учетная запись обучения, опосредованная стимулом. CS1, CS2 и US относятся к двум условным раздражителям и безусловному раздражителю. OR2 и OR2-s относятся к ориентировочной реакции, первоначально вызванной CS2, и к стимульной обратной связи от OR2. Черточки (—) означают организованные отношения; стрелки (→) обозначают заученные ассоциации; двунаправленные стрелки ( ← → ) обозначают двунаправленные ассоциации; линии (—) обозначают безусловные отношения.

В приведенных выше учетных записях S-S и S-R предполагается, что выполнение CR по отношению к CS1 опосредовано во время тестовых презентаций путем объединения отдельных ассоциаций, ранее установленных между CS1 и CS2, а также между CS2 и США. Прямых ассоциаций между CS1 и США не образуется. Альтернативная версия состоит в том, что прямые ассоциации формируются между CS1 и США на второй фазе. Благодаря этому «опосредованному обучению» (Holland, 1981a) или «обратной сенсорной предварительной подготовке» (Ward-Robinson & Hall, 1996), на второй фазе CS2 ассоциативно активирует представление CS1, за которым затем следует US. Таким образом, ассоциации могут образовываться непосредственно между CS1 и УЗ, которые затем выявляются в финальном тесте только CS1 (). Обычно бывает трудно различить эти альтернативы, хотя примечательно, что в одном из первых экспериментов по сенсорному прекондиционированию человека Брогден (1947) проводил различие между испытуемыми, которые приписывали свою реакцию на CS1 в тесте тому, что он напоминает им о CS2, и испытуемыми, которые утверждали, что на Фазе 2 CS1 фактически работал в паре с США. Субъектов можно поощрять к использованию стратегии «опосредованного обучения», используя параметры кондиционирования, которые препятствуют использованию ассоциаций CS1-CS2, требуемых учетной записью опосредованной производительности, и вместо этого поощряют использование ассоциаций CS2-CS1, требуемых учетной записью опосредованного обучения. Например, Уорд-Робинсон и Холл (1996) предъявляли два нейтральных стимула в порядке CS2-CS1 на первой фазе эксперимента по сенсорному предварительному кондиционированию и обнаружили существенную реакцию на CS1 в тесте.

Оценки характера обучения после обучения

В обсуждавшихся выше экспериментах логика заключалась в изучении последствий изменения условий обучения таким образом, чтобы они способствовали (или не способствовали) обучению S-S или S-R. Однако, хотя такие исследования были полезны для демонстрации того, что обучение мог быть S-S или S-R, они не были информативны о том, было ли обучение в любой типичной процедуре кондиционирования S-S или S-R. Использование разного рода посттренировочных тестов часто позволяло собрать такую ​​информацию.

Тесты на перенос

Возможно, наиболее распространенным применением тестов на перенос после обучения было определение того, усваивают ли крысы в ​​простых лабиринтах пространственные атрибуты окружающей среды лабиринта или реакции поворота. Например, в эксперименте Толмена «солнечные лучи» (Tolman et al., 1946а) крыс обучали в аппарате, в котором крысы сначала бежали прямо по переулку, затем должны были сделать поворот налево и два направо, прежде чем найти пищу в правой части комнаты. В тесте переноса крысам предъявляли аллеи, ведущие в виде веера под углами от стартовой зоны. Если бы крысы научились реакциям «повернуть налево» или «повернуть направо», можно было бы ожидать, что они выберут левый (0 градусов) или правый (180 градусов) переулок, если бы они научились «идти прямо, затем делать повороты», они выбирали прямолинейное движение (90 градусов), но если бы они узнали примерное местонахождение еды в комнате, они могли бы выбрать переулок, указывающий на это место (135 градусов). Хотя Толмен и соавт. (1946a) обнаружили значительные индивидуальные различия в поведении крыс при выборе, большая часть данных подтверждала утверждение, что крысы усвоили приблизительное местонахождение пищи (или что они соответствующим образом интегрировали прямой и правильный векторы реакции). Вариант этого эксперимента, который длился дольше, следует за тренировкой в ​​Т-образном лабиринте с тестом в лабиринте, когда он повернут на 180 градусов (Packard & McGaugh, 19).96; Полдрак и Паккард, 2003 г.; Толмен, Ричи и Калиш, 1946b). Таким образом, в тесте стратегии «ответ» и «место» противопоставлены друг другу. Если крыса делает тот же поворот (например, вправо), что и при обучении, идентифицируется ответное обучение, тогда как если она приближается к той же стороне комнаты, что и при обучении, предполагается обучение на месте.

Изменения вознаграждения после обучения

Другой способ формулировки вопроса S-R vs S-S заключался в том, способствовали ли вознаграждения формированию ассоциаций или участвовали ли они в них. То есть вознаграждение просто отпечаталось (Торндайк, 1898) или катализируют (Colwill & Rescorla, 1986; Rescorla, 1988) ассоциации «стимул-реакция» или животные формируют ассоциации между стимулами и сенсорными и другими свойствами вознаграждения? Первоначальный подход к этому вопросу заключался в том, чтобы установить стабильное состояние производительности с помощью определенного вознаграждения, а затем заменить его другим вознаграждением. Если бы подкрепление просто закрепляло ассоциации, то нельзя было бы ожидать нарушения производительности (при условии, что замененное подкрепление имело сравнимую ценность), тогда как если бы животные ожидали определенного вознаграждения, то некоторые аспекты производительности могли бы быть чувствительны к изменению. Ранние эксперименты с отсроченной реакцией показали, что обезьяны могут сохранять в памяти представления об определенных пищевых продуктах в течение относительно длительных интервалов времени. Например, работая с Колером, Тинкельпо (1928) обучали обезьян выполнению задания, при котором экспериментатор с учетом испытуемого клал пищу под одну чашку, а не под другую, такую ​​же чашку. После задержки, во время которой чашки были скрыты от глаз обезьяны, экран убрали, и обезьяне сказали взять еду. На разных сеансах использовалось несколько разных продуктов. Обычно обезьяна выбирала правильную чашку и быстро съедала награду. Однако если экспериментатор спрятал банан, но затем подставил под чашку салат, пока она была скрыта от взора обезьяны, то обезьяна рассматривала, но не прикасалась к салату, тщательно исследовала чашку и иногда кричала на экспериментатора. Напротив, в последующем испытании, в котором салат был спрятан и сохранен под чашкой, обезьяна съела салат быстро и без происшествий. Таким образом, исходя из этих реакций на замещающее вознаграждение, обезьяны должны были представлять в памяти определенные аспекты вознаграждения. К сожалению, поскольку ожидание вознаграждения было вызвано представлением самого вознаграждения, а не соучастником вознаграждения, такие эксперименты проливают мало света на то, представлены ли свойства вознаграждения в ассоциативном обучении. Ближе к истине оказался эксперимент, поставленный в лаборатории Толмена Эллиотом (1928), в котором разные группы крыс обучались бегать по сложному лабиринту либо в поисках семечек подсолнуха, либо в предпочитаемом пюре из отрубей. После серьезной подготовки в группе отрубей награда в виде отрубей была заменена менее предпочтительными семечками подсолнуха. Хотя крысы охотно ели семена подсолнечника без каких-либо признаков беспокойства, результаты последующих испытаний были значительно нарушены, так что они были хуже, чем результаты крыс, которых с самого начала обучали семечками подсолнечника. Это нарушение предполагало, что крысы ожидали определенного вознаграждения. Однако Эллиот не проводил аналогичную замену подсолнечника на отруби, поэтому сбой мог отражать только последствия снижения величины вознаграждения.

В более поздних экспериментах более симметрично изучались эффекты замещения США в павловском обусловливании. Например, Холланд и Форбс (1982) обнаружили, что любой из двух УЗ (гранулы сахарозы с разным вкусом) лучше сохранялся в памяти (по оценке с помощью процедуры подготовки-высвобождения, например, Терри и Вагнер, 1976), если им предшествовал неконгруэнтный Павловской КС1 (т. е. для других ПС), чем конгруэнтной КС. Точно так же в моей лаборатории Александр Джонсон (неопубликованные данные) недавно обнаружил, что у мышей наблюдалось нарушение потребления каждой из пары жидкостей US (лецитин и сахароза), когда каждая из них сопровождалась звуковым сигналом для другой жидкости. Таким образом, по крайней мере некоторые свойства поощрения, по-видимому, кодируются CS после простых процедур кондиционирования.

Переоценка поощрения

Процедура переоценки поощрения после обучения (формально описанная Rozeboom, 1958) стала золотым стандартом анализа наличия или отсутствия S-S (Павловской) или R-S (инструментальной) ассоциаций (Pickens & Holland, 2004) . Сначала животные получают павловское или инструментальное обучение с одним или несколькими подкреплениями. Затем значение подкрепления изменяется при отсутствии сигналов или реакций обучения. Наконец, реакция оценивается при отсутствии какого-либо подкрепления. Часто уровень реакции, наблюдаемый в тесте, спонтанно изменяется, отражая изменения ценности поощрения, с которым он ранее сочетался. Основные преимущества этой парадигмы включают ее полезность практически после любой процедуры обучения и доступность широкого спектра методов изменения стоимости вознаграждения в сторону увеличения («инфляция») или уменьшения («девальвация»). Например, мотивационные состояния, связанные с подкреплением, могут быть вызваны химическим путем (например, увеличение или уменьшение баланса натрия после тренировки с вознаграждением в виде солевого раствора) или путем изменения их воздействия (например, выборочное насыщение одним из двух пищевых вознаграждений). Точно так же определенные аспекты вознаграждения могут быть ассоциативно изменены путем их сочетания с различными агентами, которые увеличивают или уменьшают их привлекательность. Даже неассоциативные манипуляции, такие как простое воздействие самого поощрения или более слабых или сильных версий поощрения, могут быть эффективными (например, Rescorla, 19).73, 1974).

Одним из первых применений этого метода было исследование Зенера и Маккарди (1939). Собаки, лишенные еды, получали два сигнала в сочетании с собачьим печеньем с разным вкусом. Затем собак бережно насыщали одним из вкусов собачьего печенья. Наконец, были отмечены реакции собак на каждый сигнал. Гораздо менее энергично они реагировали на намек на печенье, которым насытились. Хотя по нынешним стандартам исследование было несколько ошибочным, поскольку печенье по-прежнему предъявлялось в тесте (и, таким образом, снижение реакции могло отражать более низкую ценность подкрепления сытым печеньем, а не спонтанную корректировку реакции на основе ее измененной ценности), эти и другие результаты воодушевили Зинера (1937, с. 386) описывать обусловливание как «реорганизацию в некое функциональное целое систем восприятия, соответствующих условным и безусловным раздражителям; и в функциональном отношении этой организованной системы к системе побуждения или напряжения, первоначально возбуждаемой безусловным стимулом», а не в обучении S-R-ассоциациям.

Аналогичная логика мотивировала ранние исследования различительного поведения в лабиринте или переулке Толменом (1933), Миллером (1935), а также Толменом и Глейтманом (19).49). Tolman (1933) первоначально обучал крыс в ящике для различения с двумя вариантами выбора с двумя отличительными стимулами, черными или белыми занавесками. Прохождение (скажем) через черные занавески привело к ящику с едой, тогда как прохождение через белые занавески привело к тупику без еды. После тщательного обучения выполнению этой задачи крыс помещали прямо в коробку с едой и били электрическим током. Наконец, крыс возвращали в стартовый бокс и позволяли им бегать. Если бы крысы действительно усвоили ассоциации «реакция-коробка с едой» или «ожидание знака-гештальта», то даже при первом испытании они не смогли бы бежать. Однако каждая крыса «сразу же весело и как обычно промчалась через весь дискриминационный аппарат и с грохотом врезалась в отсек с едой, в котором ее только что ударили током» (Толмен, 19 лет).33, с. 250.)

В ответ Толмену (1933) Миллер (1935) пошел еще дальше, описав S-R объяснение того, как крысы могут проявлять гибкое поведение в такой ситуации, и продолжил демонстрировать это. В своем отчете Миллер использовал концепцию дробных упреждающих целевых реакций. Крысы могут производить мощные целевые реакции (Rg, например, жевать), части которых (rg) могут быть обусловлены сигналами переулка, которые предшествуют самой цели. Когда крысу впоследствии помещали в коробку с мишенью и били током, реакции прыжков или замирания на шок могли быть обусловлены стимулирующей обратной связью от предыдущих целевых реакций, основанных на еде (например, Rg-Sg→Rshock). Затем, когда крысу поместят обратно в переулок, выполнение условного rg приведет к ответному сигналу sg, который, в свою очередь, вызовет условную дробную часть реакции на шок, препятствующую бегу. Миллер предположил, что все, что потребуется для получения ожидаемых данных Толмена, — это придать ячейкам с целями характерные ответы на цели. Он сделал это, используя две награды (еда и вода) и две отличительные цели, одна из которых требовала подъема и резкого поворота направо, а другая требовала прямого входа, за которым следовал резкий левый поворот. В отличие от аппарата Толмена, который требовал различения одновременного выбора, Миллер использовал один проход с одним полем для ворот, но подвергал крыс воздействию другого поля для ворот в отсутствие прохода. Когда позже крыс помещали непосредственно в вход в одну из ворот и били током, реакция на шок зависела от определенного Sg, возникающего из характерного Rg в этом боксе. Если крысу подвергали электрошоку в том же воротном поле, которое всегда находилось в конце аллеи, помещение этой крысы обратно в начальный бокс аллеи для теста вызвало бы РГ, чья обратная связь СР была связана с частичной реакцией на шок, и, следовательно, мешать бегу. Напротив, если бы крысу били током в другой клетке, обратная связь sg rg, вызванная переулком, не была бы связана с реакцией на шок, и такого вмешательства не ожидалось бы. Миллер (1935) действительно нашел этот результат. Таким образом, отчет Миллера S-R не только объяснял такое поведение девальвации, но и предлагал условия, при которых она будет и не будет наблюдаться.

Интересно, что в классическом исследовании Т-образного лабиринта Толмана и Глейтмана (1949), в котором Толмен, наконец, преуспел в обнаружении спонтанной девальвации, две ячейки цели также были построены таким образом, что они требовали различных целевых ответов (хотя Толмен и Глейтман вместо этого подчеркнул разницу в восприятии между коробками). Наконец, в одном из наиболее причудливых поворотов логики rg-sg-опосредования эффектов девальвации с использованием варианта Миллера (1935), Фаулер и Миллер (1963) обнаружили, что удары током по воротам могут либо снижать, либо улучшать результаты теста, в зависимости от того, передние или задние лапы крыс подвергались ударам. Если бы удары наносились на передние ноги, R-шок отскакивал бы назад, но если бы они наносились на задние ноги, R-шок прыгал бы вперед. Когда их заменяли в переулках, крысы, получившие удары током по передним лапам, отпрыгивали назад, что замедляло их работу, но те, кто получал удары током от ворот по задним лапам, прыгали вперед, повышая свою производительность. Таким образом, еще раз, система посредничества rg-sg не только обеспечивала S-R учет эффектов «девальвации», но также предсказывала характер результата на основе характеристик условной фракционной предвосхищающей реакции.

Современный эксперимент по девальвации

Современный эксперимент по девальвации связан с использованием Рескорла процедуры для изучения содержания павловского защитного (Rescorla, 1973, 1974) и аппетитного (Holland & Rescorla, 1975) обусловливания, а затем с последующим использованием методика Дикинсона, Рескорла и их коллег для изучения инструментального обусловливания вознаграждения (например, Адамс и Дикинсон, 1981; Баллейн и Дикинсон, 1991; Колвилл и Рескорла, 1985b, 1986; Рескорла, 19). 87). В каждом из этих исследований наблюдался умеренный эффект девальвации США после объединения CS-US. Например, Холланд и Рескорла (1975) сочетали тон с пищевыми гранулами, а затем обесценивали пищу, либо насыщая крыс этими гранулами, либо комбинируя их с высокоскоростным вращением, вызывая укачивание. Они обнаружили, что крысы, получившие такую ​​девальвацию, показали меньшую реакцию, чем те, которые не получали сытости или получали непарные презентации еды и вращения. В то же время у крыс, которые подвергались условному рефлексу второго порядка того же тона, не было выявлено такого влияния любой девальвационной обработки на CR второго порядка, таким образом исключая множество простых основанных на характеристиках объяснений сниженной реакции после девальвации.

Результаты, подобные этим, побудили авторов текстов по обучению и вводной психологии утверждать, что обусловливание является преимущественно СС. Но такой вывод не обязательно хорошо обоснован. Во-первых, эффекты девальвации обычно невелики и, возможно, ограничиваются ограниченным набором параметров обучения. Я получил много сообщений с запросами информации «как сделать» от исследователей, которым не удалось обнаружить эффекты девальвации. Хотя обычно мне удавалось направить их на путь успеха в получении этого феномена, примечательно, насколько малы многие эффекты девальвации в абсолютном выражении. Например, показаны эффекты девальвации в последней дюжине экспериментов, опубликованных сотрудниками моей лаборатории. Большинство этих исследований было проведено на интактных животных, хотя некоторые из них представляют эффекты девальвации у крыс с ложным поражением различных областей мозга, которые, как известно, важны для девальвации. Примечательной особенностью этих данных является то, насколько малы различия между контрольными условиями и условиями девальвации, а также то, сколько остается реагирующих после девальвации. В большинстве случаев девальвация самих США была полной, то есть крысы почти ничего не потребляли из самой пищи. Колвилл и Рескорла (1990) широко обсуждали этот вопрос в контексте инструментальной девальвации, указывая на важность таких переменных, как сходство между моделями подачи США на этапах обучения и девальвации. Тем не менее, в большинстве случаев остаток достаточно велик (но см. Colwill & Rescorla, 1990; Kerfoot et al., 2007).

Открыть в отдельном окне

Результаты 12 экспериментов по девальвации из моей лаборатории. В каждом эксперименте слуховой или зрительный условный раздражитель (УС) сначала сочетался с едой, затем пища либо обесценивалась путем сочетания ее с хлоридом лития (LiCl), либо поддерживалась путем предъявления пищи и LiCl непарно, и, наконец, УС предъявлялся отдельно. тест.

Во-вторых, результаты экспериментов по девальвации могут существенно различаться в зависимости от выбранного агента девальвации. Например, Холланд и Штрауб (1979) и Холланд (1981b) исследовали влияние обесценивания пищи за счет насыщения или сочетания ее с хлоридом лития или высокоскоростным вращением. показывает потребление пищи и эффективность упреждающих реакций входа в чашку с едой на сигналы в сочетании с едой после обесценивания каждым из этих трех методов. В этих исследованиях было обнадеживающе, что степень снижения потребления была положительно коррелирована со степенью снижения реакции чашки с едой во время CS. В то же время бросается в глаза и отсутствие такой корреляции. Например, Galarce, Crombag и Holland (2007) обучали крыс двум слуховым сигналам, сигнализирующим о двух продуктах (сахароза и мальтодекстрин). Один продукт сочетался с LiCl, а другой — нет. Наконец, крыс тестировали в присутствии двух тонов. Необычной особенностью этого эксперимента было то, что в разных тестовых сессиях либо предотвращенные, либо непредотвращенные США были представлены в чашке с едой во время теста на девальвацию. Интересно, что постоянное присутствие любого из этих продуктов в чашках для еды мало влияло на реакцию на CS. Хотя неудивительно, что крысы проводили больше времени в чашке с едой, когда она содержала непредотвращенную пищу, чем когда она содержала непредотвращенную пищу, CS для непредотвращенной пищи усиливал реакцию чашки с едой, чем сигнал для избегаемой пищи, независимо от того, какая пища была съедена. физически присутствует. Таким образом, ответ, основанный на ожидаемой цели, может иметь место, несмотря на явно опровергающие доказательства цели.

Открыть в отдельном окне

Левые столбцы: Показатели условных реакций (CR) чашки с едой только на условный раздражитель (CS) в тестовом сеансе после того, как еда была обесценена путем ее сочетания с хлоридом лития (LiCl) или высокоскоростным вращением , или пресыщением этой пищей. Правые столбцы: количество пищевых гранул, потребленных за 10 минут после того, как 50 пищевых гранул были помещены в чашку для еды в экспериментальных камерах. Реакция в состоянии поддержания представляет собой совокупность реакций на тест CS, который был представлен после непарных предъявлений еды и LiCl или вращения, или в отсутствие пищевого насыщения. Данные из Голландии (1981b) и Холланд и Штрауб (1979).

Еще одной проблемой в экспериментах по девальвации является показатель, выбранный для отражения ожидаемого результата. Во-первых, некоторые показатели более чувствительны к девальвации, чем другие. Холланд и Штрауб (1979) обнаружили, что поведение в более поздних цепочках (например, контакт и взятие гранулы) проявляет большую чувствительность к обесцениванию пищи в сочетании с LiCl, чем поведение в ранних цепочках (приближение к чашке с едой). Интересно, что некоторые более косвенные показатели обучения, которые, как часто считают, отражают мотивационные свойства условного стимула, кажутся особенно нечувствительными к обесцениванию. Например, Холланд (2004 г.) и Рескорла (1994) не нашел доказательств того, что на павловско-инструментальный перенос повлияла девальвация подкрепления. В исследовании Холланда (2004) после тренировки с двумя CS, двумя УЗ и двумя инструментальными реакциями сочетание одного УЗ с LiCl снижало базовые уровни инструментальных ответов для этого УЗ и уменьшало реакции чашки с едой на CS, которые предсказывали это УЗ, но не повлияло на степень, в которой этот CS усилил инструментальную реакцию, которая обычно заслуживала этого УЗИ. Точно так же Паркинсон и соавт. (2005) обнаружили, что хотя после повторного тестирования девальвация США полностью устранила реакцию, вызванную CS, эта CS не утратила своей способности служить вторичным или условным подкреплением.

Во-вторых, меры реагирования и методы девальвации могут взаимодействовать. Например, хотя Холланд и Штрауб (1979) обнаружили, что обесценивание пищи под действием LiCl снижает вход в чашку с едой в большей степени, чем обесценивание при высокоскоростном вращении, вставание на задние лапы при зрительных сигналах и реакция вздрагивания на слуховые сигналы в большей степени влияли на быстрое вращение, чем на быстрое вращение. пары еда-LiCl. Напротив, насыщение снижало оба класса ответов на промежуточную степень. Ясно, что «ценность США» не является одномерной по отношению к системам поведения. Различные поведенческие реакции могут быть опосредованы различными сенсорными свойствами репрезентаций США, которые, в свою очередь, могут быть по-разному чувствительны к различным методам девальвации. Я кратко вернусь к этому вопросу в разделе 3.

В-третьих, аппетитные и завершающие CR могут реагировать на обесценивание подкрепления совершенно по-разному. Хотя, как было отмечено в работе, реакции на чашку с едой часто проявляют относительно небольшую чувствительность к обесцениванию подкрепления, консумирующие CR, такие как облизывание и различные так называемые вкусовые реакции (TR; Berridge, 2000; Grill & Norgren, 1978), считаются отражающими гедонистические реакции. или вкусовые аспекты вознаграждения часто более полностью исключаются. Используя крыс с постоянными внутриротовыми канюлями, Kerfoot et al. (2007) соединили тональное КС с внутриротовой доставкой раствора сахарозы за один сеанс в двух группах крыс и представили эти события непарными у других крыс. Крысы в ​​группе Devalue затем заболевали инъекцией LiCl после однократного сеанса внутриротовой доставки сахарозы при отсутствии тонуса, в то время как крысы в ​​группе поддержания получали сахарозу и LiCl в отдельные дни. Контрольные крысы, обученные с непарным тоном и сахарозой, также получали сахарозу и LiCl, либо парные, либо непарные на этой фазе. Наконец, все крысы были протестированы с сочетанием тона с настоями простой воды. Крысы в ​​группе поддержания показали высокие уровни показателей TR положительного (гедонистического) аффекта в тестовых испытаниях (). Хотя эти ответы были особенно очевидны в присутствии воды, которая служила субстратом для их проявления, они также возникали во время одного тона, до вливания воды в каждом испытании. Напротив, крысы в ​​группе Devalue показали не больше облизывания или положительных ТУ, чем крысы из контрольной группы. Таким образом, девальвация была полной. Кроме того, эти крысы показали значительно больше отрицательные ТУ, такие как раскрытие рта и сокращенные облизывания, которые обычно проявляются в ответ на сами избегаемые вкусы, чем у контрольных или поддерживающих крыс (). Возникновение этих отрицательных ТУ особенно важно, потому что крысы Devalue никогда ранее не выполняли отрицательные ТУ ни на тон, ни на сахарозу. Во время сочетания тон-сахароза и во время введения только сахарозы перед инъекцией LiCl сахароза вызывала только положительные TR, и сахароза не презентировалась снова после однократной инъекции LiCl. Таким образом, демонстрация отрицательных ответов TR крысами с парной девальвацией в тесте не могла отражать обучение S-R, даже через S-R (Osgood, 19).53) или rg-sg (Miller, 1935) механизмы посредничества, описанные ранее.

Открыть в отдельном окне

Положительные (панель А) и отрицательные (панель Б) вкусовые реактивные реакции (ВР) при тестовых предъявлениях тонового условного раздражителя (УС) и простой воды в девальвационном тесте. Крысы сначала получали пары тон → сахароза, за которыми следовали либо пары сахароза-хлорид лития (LiCl) (Devalue), либо непарные представления этих событий (поддержание). Контрольные крысы получали тон и сахарозу без пары во время обучения, а затем сахарозу и LiCl в паре или без пары. Все жидкости вводились интраорально. Данные взяты из Kerfoot et al., 2007.

Заманчиво предположить на основании результатов Kerfoot et al. (2007), что выученные завершающие или ТР ответы особенно чувствительны к обесцениванию. Однако более простая возможность заключается в том, что внутриротовая доставка подкрепления и использование этого метода доставки как на этапах обучения, так и на этапах девальвации являются более важными факторами. В соответствии с этой возможностью Colwill и Rescorla (1990) обнаружили почти полную девальвацию нажатия на оперантный рычаг после обучения и девальвацию при внутриротовом подкреплении. Совсем недавно Холланд, Лассетер и Агарвал (2008) исследовали завершающие и ТР ответы в экспериментах по девальвации с внутриротовой или обычной (в утопленную чашку) доставкой сахарозных усилителей. Пищевые чашки были оснащены камерами, позволяющими измерять ответы TR в условиях чашки, а также в условиях внутриротовой доставки. Положительные ответы TR показали одинаковую картину независимо от метода введения сахарозы. Как при интраоральном, так и при чашечном методе доставки крысы в ​​состоянии Devalue показали почти полную потерю положительных TR после девальвации сахарозы по сравнению с крысами в состоянии поддержания, и только крысы в ​​состоянии Devalue показали отрицательные ответы TR (12). В то же время вход в пищевую чашку показал лишь частичную чувствительность к девальвации сахарозы. Кроме того, в обоих условиях родов простые реакции лизания, охарактеризованные Berridge (2000) как завершающие, но негедонические, показали умеренную, но не полную чувствительность к девальвации. Таким образом, результаты исследования Holland et al. (2008) показывают, что, независимо от метода подачи подкрепления, оценочные ответы ТР особенно чувствительны к обесцениванию по сравнению с неоценочными консуматорными реакциями (простое облизывание) и (при обычном подкреплении) к девальвации. аппетитные реакции (вход чашки с едой).

Открыть в отдельном окне

A: Пищевая чашка и положительная вкусовая реактивность (TR), реагирующие во время тестовых презентаций на тон и простую воду после минимального количества пар тон-сахароза, за которыми следует любое сочетание (девальвация) сахарозы с литием хлорид (LiCl) или непарное представление этих событий (Maintain). B: То же, что и панель A, за исключением того, что после интенсивной тренировки с сахарозой. C: Простое (неоценочное) облизывание, положительная ТР и отрицательная реакция ТР во время тестовых представлений тона и простой воды, после минимального количества пар тон-сахара, за которыми следуют либо пары (девальвация) сахарозы с LiCl, либо непарные презентации этих событий ( Поддерживать). D: То же, что и панель C, за исключением того, что после интенсивной тренировки с сахарозой. Все жидкости подавались в утопленную пищевую чашку (панели A и B; Holland et al., 2008, Эксперимент 1) или внутриротовые (панели C и D; Holland et al. , 2008, Эксперимент 2).

Вторая цель исследования Holland et al. (2008) состояла в том, чтобы изучить влияние объема обучения на эффективность девальвации со всеми этими показателями. В контексте инструментального обучения часто утверждается (например, Adams, 1982; Kimble & Perlmuter, 1970; но см. Colwill & Rescorla, 1985a; Colwill & Triola, 2002; Holland, 2004), что выученная реакция становится все более невосприимчивой к подкреплению. девальвация с расширенным обучением. Действительно, одно из алиби Толмена (1933) (его слова) для отсутствия эффекта девальвации заключалось в том, что его крысы были перетренированы и «зациклились» на беге. Мы никогда не наблюдали такого эффекта в павловском обусловливании; то есть павловские CR, по крайней мере, так же чувствительны к обесцениванию пищи в сочетании с LiCl после расширенного обучения, как и после минимального обучения (например, Holland, 19).98; 2004, 2005). Тем не менее, мы часто наблюдали резкую потерю способности павловского CS участвовать в «опосредованном обучении» по мере продолжения обучения.

Holland (1981a, 1990) обнаружил, что опосредованное обучение отвращению к еде может быть установлено, когда ассоциативно-активированное представление о еде сочетается с болезнью (см. Holland & Wheeler, в печати, для недавнего обзора). Например, в одном эксперименте (Holland, 1981a) крысам сначала давали пары двух слуховых CS с двумя пищевыми подкрепителями, которые различались только по вкусу (например, тон → сахароза со вкусом грушанки и шум → сахароза со вкусом мяты перечной), чтобы дать эти CSs способность избирательно активировать представления того или иного из этих подкреплений. Затем предъявление только одного из слуховых CS сочеталось с инъекцией токсина хлорида лития (LiCl) в отсутствие каких-либо ароматизаторов. Последующие тесты потребления показали установление легкого отвращения к еде, чей партнер CS был связан с болезнью, как если бы активация CS репрезентации еды непосредственно перед индукцией болезни позволяла формировать ассоциации пищевого заболевания. Позже Голландия (1990, 1998, 2005) обнаружили, что, хотя пары CS-LiCl вызывали значительное опосредованное отвращение к еде после 16-24 пар CS-пища, у крыс, обученных с 40 или более парами CS-пища, не было признаков такого опосредованного отвращения к пище. В то же время другие крысы, тренированные с 160 парами CS-US, продолжали демонстрировать признаки обучения S-S тон-пища, на что указывали процедуры девальвации подкрепления. Эти результаты привели Холланда (Holland, 1990, 1998, 2005) к предположению, что в начале обучения CS активируют широкий спектр процессов обработки, обычно активируемых самими США, включая процессы восприятия на ранней стадии, но по мере продолжения обучения этот доступ сужается до более ограниченного уровня. наборы систем обработки. Таким образом, с этой точки зрения опосредованное обучение отвращению к вкусу не наблюдалось позже в ходе обучения, потому что CS больше не активировал перцептивную обработку отсутствующего вкуса, которая могла бы ассоциироваться с болезнью.

Логика, лежащая в основе исследований Холланда и др. (2008), заключалась в том, что если обусловленность реакций ТР на сигналы в сочетании с сахарозой отражает активацию сигналов перцептивной обработки отсутствующей сахарозы, и что такая активация происходит только в начале обучения , то только минимально обученный CS будет контролировать эти положительные оценочные ответы, а более тщательно обученный CS — нет. В каждом из своих экспериментов Holland et al. (2008) тренировали каждую крысу с двумя КС, одна из которых 16 раз применялась в паре с сахарозой, а другая — 112 раз. показать ответ на минимально обученный CS (описанный ранее), тогда как показать ответ на экстенсивно обученный CS. Как и предполагалось, проявление условных реакций ТР наблюдалось только после минимальной тренировки. В то же время аппетитные и неоценочные завершающие реакции (простые облизывания) были чувствительны к обесцениванию сахарозы как после минимальной, так и после экстенсивной тренировки.

Эти данные, как и данные исследований опосредованного обучения, согласуются с точкой зрения (Holland, 1990) о том, что в начале обучения CS активирует процессы восприятия, обычно активируемые самой пищей. С этой точки зрения любая функция, обычно контролируемая вкусом США, должна быть доступна CS. Таким образом, можно было бы ожидать опосредованного обучения отвращению к этому подкреплению, если бы CS сочетался с инъекцией LiCl, потому что крыса заболела бы после того, как попробовала отсутствующий US. Точно так же этот CS должен контролировать оценочные ответы TR, соответствующие этому вкусу, как заметили Holland et al. (2008) и Керфут и др. (2007). Поскольку CS активирует предоценочную перцептивную обработку США пищи, наблюдаемый TR будет соответствовать текущей оценке вкуса этой пищи и, таким образом, будет чувствителен к посттренировочным изменениям ценности подкрепления, как это наблюдается в тех случаях, когда исследования. Напротив, по мере продолжения обучения CS теряет доступ к этой низкоуровневой перцептивной обработке США и вместо этого активирует аспекты обработки подкрепления, которые не включают сам перцептивный опыт или способность контролировать оценочные реакции, соответствующие текущей оценке этого состояния. перцептивный опыт. Эти более концептуальные аспекты США, тем не менее, должны включать как сенсорную, так и некоторую мотивационную информацию, потому что эффекты девальвации подкрепления остаются в высокой степени специфичными для США даже после того, как CS теряют способность контролировать ответы TR или опосредовать обучение отвращению к новому вкусу (Holland, 19). 98).

Очевидно, что в этой истории есть нечто большее, чем ассоциации S-S и S-R. Репрезентации, активируемые CS после минимального и расширенного обучения, можно отличить по их способности участвовать в новом (опосредованном) обучении и по их способности контролировать соответствующие оценочные ответы TR. Тем не менее, даже после длительного обучения CS могут активировать репрезентации подкрепления, которые включают в себя богатую сенсорную информацию, которая может поддерживать эффекты обесценивания подкрепления. Это различие похоже на то, которое предложил Конорский (1967, напр., стр. 170—181), который различал ассоциативную активацию «галлюцинации» и «образа» КС. В первом случае считалось, что КС вызывает активность сенсорных «проективных» единиц, которая может напоминать активность этих единиц, когда они были активированы самим УЗ. Напротив, в последнем случае CS активировала только «гностические» единицы, которые кодировали информацию о США, но которые обычно не генерировали перцептивную обработку. Говоря небрежно, галлюцинация включает в себя сенсорное переживание отсутствующего объекта, тогда как можно представить этот объект и его сенсорные свойства, не испытывая их.

В разделе I я отметил, что Спенс пренебрежительно относился к физиологизации, даже к Халлу, как к вводящей в заблуждение, а не полезной при описании математических и поведенческих аспектов обучения привычкам. Однако результаты описанных мной задач на девальвацию подразумевают, что ассоциативное обучение может задействовать различные уровни нейронной обработки. Пластичность не уникальна ни для одной из окружностей в . Например, исследования нейронной пластичности при кондиционировании век (например, Medina et al., 2000; Steinmetz et al., 19).89; Thompson et al., 1998) идентифицировали участки пластичности мозжечка, которые можно охарактеризовать как находящиеся в пределах «выходных» путей и, следовательно, более «S-R», а также другие участки, расположенные ранее в потоке обработки. Разумная исследовательская программа могла бы представить себе обстоятельства, при которых сигналы управляют обработкой информации в различных системах мозга, которые предпочтительно контролируют разные аспекты поведения. Понимание потока информации в мозге может помочь нам понять, почему, например, некоторые продукты обучения, такие как контроль ответов TR и способность поддерживать опосредованное обучение, связаны своими быстрыми битоническими функциями приобретения, почему другие, по-видимому, сохраняют чувствительность к обесцениванию из-за интенсивного обучения, а третьи, кажется, теряют эту чувствительность из-за обучения.

Различные нейробиологические методы были использованы для получения информации, необходимой для понимания содержания обучения. Методы стимуляции мозга вышли далеко за рамки грубой стимуляции моторной коры, как в опытах Лоукса (1935). Например, в анализе нейронных систем для кондиционирования век замена реальных событий, таких как CS и УЗИ (или оба, например, Steinmetz et al., 1989) стимуляцией мозга выявила события, критические для кондиционирования век. Точно так же паттернированная стимуляция миндалевидного тела помогла выяснить механизмы приобретения и угасания условного рефлекса страха (Vidal-Gonzalez et al. , 2006).

Точные, фармакологически избирательные поражения и обратимая инактивация различных групп клеток могут избирательно изменять чувствительность крыс к девальвации, не влияя на другие аспекты деятельности. Например, повреждение компонентов схемы, включая базолатеральную миндалевидное тело (БЛА), орбитофронтальную кору (ОФК), субрегионы медиально-префронтальной коры и, в некоторых случаях, медиодорсальный таламус, нарушает павловскую девальвацию крыс, не влияя на приобретение пищи. чашка CR или отвращение к вкусу (Gallagher et al., 1999; Хэтфилд и др., 1996; Мэддакс и Холланд, 2007 г .; Пикенс, 2008 г.; Пикенс и др., 2003). Более того, эти исследования показывают, что разные части этой схемы выполняют специализированные функции в рамках задачи девальвации. Например, для того чтобы крысы демонстрировали эффекты обесценивания при процедурах с одним подкреплением, функция BLA необходима во время начальных сочетаний CS-пища, но не после этого. То есть, если крысы приобрели ассоциации CS-пища при сохранной функции BLA, то последующие поражения не ухудшают показатели этой формы девальвации, как если бы функция BLA необходима крысам для приобретения ассоциаций S-S, а не SR-ассоциаций, но не для использования ранее. -установленные связи СС для управления поведением (Pickens et al., 2003). Напротив, функция OFC, по-видимому, имеет решающее значение для выражения, а также для приобретения таких ассоциаций в задачах девальвации. Поражения OFC нарушают выполнение девальвации (то есть крысы не могут спонтанно снизить реакцию на CS после девальвации US), независимо от того, выполняются ли они до CS-пищи, отвращения к пище или заключительных фаз теста (Pickens et al., 2003, 2005) . Наконец, вовлечение этих областей мозга может варьироваться в зависимости от требований задачи. Например, хотя при использовании одной комбинации сигнал-поощрение функция BLA не требуется после установления ассоциации сигнал-поощрение, при использовании двух или более сигналов и поощрений функция BLA также должна быть неповрежденной во время тренировки отвращения к вкусу. и/или тестирование на девальвацию (Johnson et al., 2007). Точно так же Пикенс (2008) обнаружил, что функция медиодорсального таламуса была важна для выполнения задачи павловской девальвации только в том случае, если эта задача требовала смены стратегии по сравнению с предыдущей задачей.

Результаты недавних исследований электрофизиологических записей также предполагают, что процедуры обусловливания могут устанавливать различные типы ассоциаций как внутри, так и между взаимосвязанными областями мозга. Например, используя задачу распознавания запаха, Шенбаум, Чиба и Галлахер (1998) обнаружили нейроны в BLA и OFC, которые можно охарактеризовать как отражающие ассоциации SS и ответ-стимул (RS). Эти нейроны сначала избирательно реагировали на одно из двух подкреплений, используемых в задании, но в ходе обучения их активность перешла под контроль либо определенного запаха, либо определенной реакции. Более поздние исследования показали, что характер нейронного кодирования информации о результатах стимула или реакции в этих двух областях мозга зависит от связи между ними (например, Saddoris, Gallagher, & Schoenbaum, 2005; Schoenbaum, et al., 2003). Совсем недавно Furuyashiki, Holland и Gallagher (2008) также сравнили активность нейронов OFC, которые кодируют информацию о результатах, с теми, которые кодируют информацию об ответах. Эти последние нейроны специфически реагировали на определенные ответы, но не на определенные подкрепления. Хотя эти последние нейроны нельзя рассматривать как субстрат для S-R-ассоциаций, поскольку они повышали свою активность только после выполнения закодированного ответа, их существование показывает, что, по крайней мере, в некоторых областях мозга отдельные нейроны могут кодировать различные виды информации о задачах.

Наконец, мы использовали методы немедленной и ранней экспрессии генов, чтобы связать функцию мозга с производительностью в простых задачах девальвации (и других). Наша цель состоит в том, чтобы связать различия в производительности в разных условиях с различиями в системах мозга, задействованных в этих условиях. Посмертный анализ ткани может дать подробную информацию об отдельных нейронах, которые были активны (Lee et al., 2005) или претерпевали пластические изменения (Guzowski & Worley, 2001; Petrovich et al., 2005) в течение довольно ограниченных интервалов времени, таких как конкретный эпизод поведенческого теста перед жертвоприношением. Например, после оценки ответов ТР на минимально тренированный тон CS в отсутствие сахарозы Kerfoot et al. (2007; ) умерщвляли своих крыс для исследования экспрессии FOS, белкового продукта зависимого от активности гена немедленного раннего развития 9.0071 с-фос . Они обнаружили, что экспрессия FOS, зависящая от обучения и девальвации, в ряде областей мозга, известных из экспериментов с повреждениями (только что описанных), имеет решающее значение для обучения, чувствительного к обесцениванию результата (базолатеральная миндалина и орбитофронтальная кора; Holland & Gallagher, 2004). области, связанные с отображением ответов TR (прилежащая оболочка; Reynolds & Berridge, 2002), и области, связанные с обработкой вкусовой информации (вкусовая кора; Kiefer & Orr, 19).92). Эти последние наблюдения особенно интересны в связи с нашим более ранним предположением о том, что обусловливание может наделять CS способностью активировать перцептивную обработку отсутствующих US. Если в результате сочетания тон-сахароза тон вызывал восприятие сладости, делая вкус простой воды сладким, можно было бы ожидать, что крысы как в условиях обесценивания, так и в условиях поддержания продемонстрируют повышенную активность ФОС в вкусовой коре, что они и сделали. Более того, поскольку крысы в ​​поддерживающем состоянии реагировали бы на сладкое аппетитными вкусовыми реакциями, сам по себе тон также вызывал бы эти реакции, а активность ФОС в части прилежащей оболочки коррелировала с такими реакциями. Напротив, поскольку крысы в ​​состоянии девальвации будут реагировать на сладкое аверсивными реакциями, тон будет провоцировать аверсивные реакции, а ФОС в другом субрегионе прилежащей оболочки коррелирует с аверсивными реакциями TR. Все эти результаты наблюдались. Учитывая выводы Холланда и др. (2008), было бы интересно определить, является ли более интенсивно тренируемый CS, который не может вызвать аппетитные ответы TR во время обучения или вызывает отрицательные ответы TR после девальвации и который не поддерживает опосредованное вкус -обучение с отвращением также не может индуцировать ФОС в прилежащей оболочке или вкусовой коре.

Интересно, что хотя Kerfoot et al. (2007) обнаружили зависимую от кондиционирования экспрессию ФОС в центральном ядре миндалевидного тела (CeA), на эту экспрессию не влияли условия девальвации (девальвация или сохранение). Это наблюдение примечательно по трем причинам. Во-первых, это предполагает, что ассоциативно активируемые вкусовые воспоминания не полностью взаимозаменяемы с самими вкусами. Информация о вкусе и болезни сходятся в этой области (Bernstein & Koh, 2007; Yamamoto, 2007), и известно, что CeA важен во многих аспектах обучения и выражения вкусовых отвращений (Lamprecht and Dudai, 2000; Yamamoto, 2007). Однако, если бы ассоциативно активируемая вкусовая память инициировала эти аспекты обработки вкуса, мы бы наблюдали различную активность СЕА в условиях поддержания и девальвации. Во-вторых, поражение СеА не влияет на девальвацию (Hatfield et al., 19).96). В-третьих, функция СеА имеет решающее значение для приобретения условных ОР, которые в других обстоятельствах Холланд и Штрауб (1979) обнаружили, что они относительно нечувствительны к девальвации в парах пища-LiCl. Взятые вместе, эти два последних наблюдения предполагают сходящиеся доказательства, которые связывают различия в чувствительности условных OR и связанных с пищей CR к процедурам девальвации на основе LiCl (Holland & Straub, 1979) с различиями в схемах мозга, поддерживающих эти усвоенные реакции. Различия в рабочих характеристиках этих систем могут определять различную чувствительность различных поведенческих систем к параметрам девальвации.

Эти исследования нейронных систем девальвации и связанных с ней явлений показывают, что вопросы содержания обучения сложны. Даже в кажущихся простыми поведенческих системах, таких как рефлекс моргания, в обслуживающих их нейронных системах имеется множество возможностей для пластических изменений. Последствия экспериментального манипулирования стимулами окружающей среды для обучения могут значительно различаться в этих системах и их компонентах. Становится все труднее с уверенностью различать ассоциации SS и SR на основе какого-либо отдельного поведенческого анализа или аспекта нейронной обработки. Характеристика множественных поведенческих и нейронных последствий вариаций в ассоциативных процедурах обучения должна привести к более богатым, хотя, возможно, и менее понятным описаниям природы обучения.

В контексте ассоциаций S-S и S-R в обучении маятник решительно качнулся в сторону познания со времен Спенса. В настоящее время существует множество демонстраций кодирования подробных сенсорных аспектов подкрепления с помощью CS из ряда поведенческих парадигм, включая сенсорное предварительное обусловливание, обесценивание подкрепления, опосредованное обучение и другие. Возможно, из-за этих многочисленных примеров приобретение S-R ассоциаций редко исследуется напрямую. Ассоциация SS стала стандартной, и отсутствие ее доказательств больше не принимается в качестве доказательства ассоциации SR, как это было раньше. Например, хотя эффекты девальвации часто невелики, по-видимому, преобладает мнение, что остаточная реакция после девальвации отражает неадекватность процедуры девальвации, а не обучение S-R. Это мнение может быть необоснованным. Существует много примеров провала девальвации, и примечательно, что немногие из многих поражений головного мозга, которые ухудшают эффективность девальвации, приводят к общему снижению измеренных CR. Вместо этого животные с такими поражениями функционируют на нормальном уровне до девальвации, но не могут скорректировать свою реакцию в сторону понижения после девальвации. Таким образом, эти поражения, по-видимому, изменяют то, что узнают от ассоциаций S-S к S-R, не затрагивая наиболее очевидные аспекты формы CR. Кроме того, из исследований нейронных систем ясно, что имеет место пластичность реакции и что благодаря ассоциативному обучению нейроны могут кодировать аспекты поведения, а также стимулы.

Как насчет других 5 характеристик Спенса «Когнитивных и стимул-реакторных теорий обучения»? С точки зрения метафоры , и телефонные коммутаторы, и диспетчерские карты стали анахронизмами. Как и во времена Спенса, большинство современных количественных моделей обучения и поведения делают акцент на ассоциативных структурах, которые могут быть истолкованы так же, как S-S или S-R. Широко распространено мнение, что богатое представление задач и результатов обучения и гибкость их использования в производительности являются правилом, но, вероятно, они не лучше определены в рамках формальных моделей, чем карты прошлых лет.

Спенс, вероятно, поступил мудро, проигнорировав нейрофизиологизацию своего времени, потому что она мало основывалась на изучении нервной системы. Нейрофизиологические характеристики обучения сегодня находятся на гораздо более прочной основе, чем в 1950 году, и гораздо чаще основаны на данных, чем на предположениях. Электрофизиологические методы записи могут характеризовать нейронное кодирование различных видов информации, а функциональные анатомические методы могут использоваться для изучения основ изначально гипотетических сетей мозга, лежащих в основе аспектов ассоциативного обучения. Хотя многие современные редукционистские анализы обучения подчеркивают клеточные и молекулярные изменения, лежащие в основе обучения, эти анализы редко используются в качестве замены поведенческого анализа. Хотя я считаю, что лучший способ углубить наше понимание поведения — это изучить поведение, нейронный анализ часто может дать нам подсказки и подсказки о поведенческих процессах и организации. Возможно, не менее важно и то, что изучение нейронной основы обучения может связать изучение обучения с гораздо более широкой научной базой и сообществом.

В современных исследованиях обучения наш выбор стимульных переменных гораздо более эклектичен, чем во времена Спенса, когда одни и те же лаборатории часто исследуют перцептивные, мотивационные и другие переменные и в равной степени углубляются в определение содержания и условий обучение. Мы, по крайней мере, более восприимчивы к идее, что условия и содержание обучения не являются независимыми, и с большей вероятностью будем следовать программам, которые исследуют, например, условия, благоприятствующие формированию обучения S-S или S-R, чем просто спрашивать: учится S-S или S-R?

Говоря о состоянии теоретизирования в исследованиях обучения, Спенс (1950, стр. 171) сетовал на то, что

«почти складывается впечатление, что главная цель состоит в том, чтобы доказать ошибочность другой концепции, чем пытаться прийти к более полное толкование явлений. Психологи, заинтересованные и ценящие роль теории в развитии научной совокупности знаний, должны сопротивляться таким искушениям… устранение всего теоретизирования, безусловно, не поможет ускорить приобретение научной совокупности знаний об обучении».

Я думаю, справедливо будет сказать, что конфликт между когнитивной теорией и теорией обучения, основанной на стимуле-реакции, в конце концов вышел за рамки этой ранней соревновательной фазы и стимулировал большой прогресс в нашем понимании ассоциативного обучения.

В этой статье я много заимствовал из оригинального языка Спенса (1950), но привожу помеченные цитаты только для особенно длинных или бросающихся в глаза отрывков. Я благодарю организаторов этой встречи, Эдварда Вассермана, Джона Фримена и особенно Аллана Вагнера, чья превосходная опека в начале XIX70-е длились достаточно долго, чтобы спустя столько лет вспомнить эти классические исследования. Подготовка этой рукописи была частично поддержана грантами NIH MH53667 и MH65879.

• Компакт-диск Адамса. Вариации чувствительности инструментальной реакции на обесценивание подкрепления. Ежеквартальный журнал экспериментальной психологии. 1982; 34Б: 77–98. [Google Scholar]
• Адамс С., Дикинсон А. Инструментальная реакция после девальвации подкрепления. Ежеквартальный журнал экспериментальной психологии. 1981;33Б:109–121. [Google Scholar]
• Баллейн Б.В., Дикинсон А. Инструментальная производительность после обесценивания подкрепления зависит от стимулирующего обучения. Ежеквартальный журнал экспериментальной психологии. 1991; 40Б: 279–296. [Google Scholar]
• Bernstein I, Koh MT. Молекулярная передача сигналов во время обучения отвращению к вкусу. Химические чувства. 2007; 32: 99–103. [PubMed] [Google Scholar]
• Berridge KC. Измерение гедонистического воздействия на животных и младенцев: микроструктура моделей аффективной вкусовой реактивности. Нейронаука и биоповеденческие обзоры. 2000; 24: 173–19.8. [PubMed] [Google Scholar]
• Brogden WJ. Сенсорная предварительная подготовка человека. Журнал экспериментальной психологии. 1947; 37: 527–539. [PubMed] [Google Scholar]
• Колвилл Р.М., Рескорла Р.А. Инструментальное реагирование остается чувствительным к обесцениванию подкрепления после интенсивного обучения. Журнал экспериментальной психологии: процессы поведения животных. 1985; 11: 520–526. (а) [Google Scholar]
• Колвилл Р.М., Рескорла Р.А. Постобусловленное обесценивание подкрепления влияет на инструментальную реакцию. Журнал экспериментальной психологии: процессы поведения животных. 1985;11:120–132. (b) [Google Scholar]
• Colwill RM, Rescorla RA. Ассоциативные структуры в инструментальном обучении. В: Bower GH, редактор. Психология обучения и мотивации. Том. 20. Сан-Диего, Калифорния: Academic Press; 1986. С. 55–104. [Google Scholar]
• Колвилл Р.М., Рескорла Р.А. Влияние обесценивания подкрепления на дискриминационный контроль инструментального поведения. Журнал экспериментальной психологии: процессы поведения животных. 1990; 16:40–47. [PubMed] [Академия Google]
• Колвилл Р.М., Триола С.М. Инструментальное реагирование остается под контролем последующего результата после расширенного обучения. Поведенческие процессы. 2002; 57: 51–64. [PubMed] [Google Scholar]
• Кук Р. Г., Райли Д.А., Браун М.Ф. Пространственные и конфигурационные факторы в обработке сложных стимулов голубями. Обучение и поведение животных. 1992; 20:41–55. [Google Scholar]
• Doty RW, Giurgea C. Условные рефлексы, возникающие при соединении электрического возбуждения двух областей коры. В: Delafresnaye JF, редактор. Механизмы мозга и обучение. Оксфорд: Блэквелл; 1961. стр. 133–151. [Google Scholar]
• Эллиот М.Х. Влияние смены вознаграждения на поведение крыс в лабиринте. Публикации Калифорнийского университета по психологии. 1928; 4: 19–30. [Google Scholar]
• Финч Г. Кондиционирование слюны у атропинизированных собак. Американский журнал психологии. 1938; 124: 136–141. [Google Scholar]
• Фаулер Х., Миллер Н.Е. Облегчение и торможение разбега ударами задних и передних лап различной интенсивности. Журнал сравнительной и физиологической психологии. 1963;56:801–805. [PubMed] [Google Scholar]
• Furuyashiki T, Holland PC, Gallagher M. Орбитофронтальная кора крысы раздельно кодирует информацию о реакции и результате во время выполнения целенаправленного поведения. Журнал неврологии. 2008 г. в печати. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Galarce EM, Crombag HS, Holland PC. Подкрепляющая специфичность аппетитно-консуматорного поведения крыс после обусловливания по Павлову пищевыми подкрепителями. Физиология и поведение. 2007;91: 95–105. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Галлахер М., МакМахан Р.В., Шенбаум Г. Орбитофронтальная кора и представление ценности стимула в ассоциативном обучении. Журнал неврологии. 1999;19:6610–6614. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Grill HJ, Norgren R. Тест на вкусовую реактивность. I. Миметические ответы на вкусовые раздражители у неврологически нормальных крыс. Исследования мозга. 1978; 143: 263–279. [PubMed] [Google Scholar]
• Гатри ER. Психология обучения. Нью-Йорк: Харпер и Роу; 1935. [Google Scholar]
• Гатри Э.Р. Психологические факты и психологические теории. Психологический вестник. 1946; 43: 1–20. [PubMed] [Google Scholar]
• Гузовски Дж. Ф., Уорли П.Ф. Анализ временной активности клеточных компартментов с помощью флуоресцентной гибридизации in situ (catFISH). В: Taylor GP, editor. Текущие протоколы в неврологии. Нью-Йорк: John Wiley & Sons, Inc.; 2001. С. 1–16. [Google Scholar]
• Хэтфилд Т., Хан Дж. С., Конли М., Галлахер М., Холланд ПК. Нейротоксические поражения базолатеральной, но не центральной миндалины мешают павловскому обусловливанию второго порядка и эффектам девальвации подкрепления. Журнал неврологии. 1996;16:5256–5265. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Holland PC. Приобретение репрезентативного опосредованного условного отвращения к еде. Обучение и мотивация. 1981; 12:1–18. (а) [Google Scholar]
• Holland PC. Эффекты насыщения после обусловливания аппетита первого и второго порядка. Павловский журнал биологических наук. 1981; 16:18–24. (b) [PubMed] [Google Scholar]
• Holland PC. Репрезентация событий в павловском обусловливании: образ и действие. Познание. 1990;37:105–131. [PubMed] [Google Scholar]
• Голландия ПК. Мозговые механизмы изменений в обработке условных раздражителей при условных рефлексах Павлова: значение для теории поведения. Обучение и поведение животных. 1997; 25: 373–399. [Google Scholar]
• Голландия ПК. Объем обучения влияет на ассоциативно активируемое представление событий. Нейрофармакология. 1998; 37: 461–469. [PubMed] [Google Scholar]
• Голландия ПК. Взаимосвязь павловско-инструментального переноса и девальвации подкрепления. Журнал экспериментальной психологии: процессы поведения животных. 2004; 30:104–117. [PubMed] [Академия Google]
• Голландия ПК. Количество тренировочных эффектов в опосредованном репрезентацией обучении отвращению к еде: нет доказательств роли изменений ассоциативности. Обучение и поведение. 2005; 33: 464–478. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Holland PC, Forbes DT. Контроль производительности условной дискриминации с помощью представлений событий, вызванных CS. Обучение и поведение животных. 1982; 10: 249–256. [Google Scholar]
• Holland PC, Галлахер М. Миндалевидное тело — фронтальные взаимодействия и ожидаемое вознаграждение. Текущее мнение в нейробиологии. 2004; 14:148–155. [PubMed] [Академия Google]
• Холланд П.С., Лассетер Х., Агарвал И. Количество тренировок и вызванная сигналом вкусовая реактивность в ответ на девальвацию подкрепления. Журнал экспериментальной психологии: процессы поведения животных. 2008; 34: 119–132. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Holland PC, Rescorla RA. Эффект двух способов обесценивания безусловного раздражителя после обусловливания аппетита первого и второго порядка. Журнал экспериментальной психологии: процессы поведения животных. 1975; 1: 355–363. [PubMed] [Академия Google]
• Holland PC, Straub JJ. Дифференциальные эффекты двух способов девальвации безусловного раздражителя после павловского обусловливания аппетита. Журнал экспериментальной психологии: процессы поведения животных. 1979; 5: 65–78. [PubMed] [Google Scholar]
• Holland PC, Wheeler DS. Отвращение к еде, опосредованное репрезентацией. В: Рейли С., Шахтман Т., редакторы. Условное отвращение к вкусу: поведенческие и нервные процессы. Оксфорд: Издательство Оксфордского университета; под давлением. [Академия Google]
• Халл КЛ. Принципы поведения. Нью-Йорк: Appleton-Century Crofts; 1943. [Google Scholar]
• Johnson AW, Gallagher M, Holland PC. Изучение роли базолатеральной миндалины в выражении девальвации подкрепления. Общество неврологии. Плакат 2007 г. 934.3/xx11. [Google Scholar]
• Kerfoot EC, Agarwal I, Lee HJ, Holland PC. Контроль аппетитных и аверсивных реакций вкусовой реактивности с помощью слухового условного раздражителя в задаче на девальвацию: ФОС и поведенческий анализ. Обучение и память. 2007; 14: 581–589.. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Kiefer SW, Orr MR. Избегание вкуса, но не отвращение, обучение у крыс, лишенных вкусовой коры. Поведенческая неврология. 1992; 106: 140–146. [PubMed] [Google Scholar]
• Kimble GA, Perlmuter LC. Проблема воли. Психологический обзор. 1970; 77: 361–384. [PubMed] [Google Scholar]
• Коффка К. Принципы гештальт-психологии. Нью-Йорк: Харкорт, Брейс; 1935. [Google Scholar]
• Колер В. Динамика в психологии. Нью-Йорк: Ливерит; 1940. [Google Scholar]
• Конорски Дж. Интегративная деятельность мозга. Чикаго: Издательство Чикагского университета; 1967. [Google Scholar]
• Lamprecht R, Dudai Y. Миндалевидное тело при условном отвращении к вкусу: оно есть, но где. В: Aggleton JP, редактор. Миндалевидное тело: функциональный анализ. Оксфорд: Издательство Оксфордского университета; 2000. стр. 331–351. [Google Scholar]
• Lee HJ, Groshek F, Petroovich GD, Cantalini JP, Gallagher M, Holland PC. Роль миндалевидно-черной схемы в формировании зрительного стимула в сочетании с едой. Журнал неврологии. 2005; 25:3881–3888. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Левин К. Основы топологической психологии. Нью-Йорк: Макгроу-Хилл; 1936. [Google Scholar]
• Loucks RB. Экспериментальное разграничение нервных структур, необходимых для обучения: попытка обусловить реакцию полосатых мышц на фарадизацию сигмовидных извилин. Журнал психологии. 1935; 1: 5–44. [Google Scholar]
• Макинтош, Нью-Джерси. Теория внимания: вариации связываемости стимулов с подкреплением. Психологический обзор. 1975; 82: 276–298. [Академия Google]
• Maddux JM, Голландия, шт. Поражения медиальной префронтальной коры нарушают павловскую девальвацию. Общество неврологии. 2007 постер 310.7. [Google Scholar]
• Медина Дж. Ф., Норес В. Л., Охьяма Т., Маук М. Д. Механизмы обучения мозжечка, предложенные кондиционированием век. Текущее мнение в нейробиологии. 2000; 10: 717–724. [PubMed] [Google Scholar]
• Miller NE. Ответ на вопрос «Знаковый гештальт или условный рефлекс?» Психологический обзор. 1935; 42: 280–292. [Академия Google]
• Осгуд CE. Метод и теория в экспериментальной психологии. Нью-Йорк: Издательство Оксфордского университета; 1953. [Google Scholar]
• Packard MG, McGaugh JL. Инактивация гиппокампа или хвостатого ядра лидокаином по-разному влияет на экспрессию обучения месту и реакции. Нейробиология обучения и памяти. 1996; 65: 65–72. [PubMed] [Google Scholar]
• Паркинсон Дж. А., Робертс А. С., Эверитт Б. Дж., ди Чиано П. Приобретение инструментального условного подкрепления устойчиво к обесцениванию безусловного раздражителя. Ежеквартальный журнал экспериментальной психологии. 2005;58Б:19–30. [PubMed] [Google Scholar]
• Пирс Дж. М., Холл Г. Модель павловского обучения: различия в эффективности условных, но не безусловных стимулов. Психологический обзор. 1980; 106: 532–552. [PubMed] [Google Scholar]
• Петрович Г.Д., Холланд П.С., Галлахер М. Миндалевидные и префронтальные пути к латеральному гипоталамусу активируются усвоенным сигналом, стимулирующим прием пищи. Журнал неврологии. 2005; 25:8295–8302. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Пикенс CL. Ограниченная роль медиодорсального таламуса в задачах девальвации. Поведенческая неврология. 2008 г. в печати. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Pickens CL, Holland PC. Обусловливание и познание. Нейронаука и биоповеденческие обзоры. 2004; 28: 651–661. [PubMed] [Google Scholar]
• Pickens CL, Saddoris MP, Gallagher M, Holland PC. Орбитофронтальные поражения нарушают использование ассоциаций сигнал-результат в задаче на девальвацию. Поведенческая неврология. 2005; 119: 317–322. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Пикенс С.Л., Саддорис М.П., ​​Сетлоу Б., Галлахер М., Холланд П.С., Шенбаум Г. Различные роли орбитофронтальной коры и базолатеральной миндалины в задаче девальвации подкрепления. Журнал неврологии. 2003; 23:11078–11084. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Poldrack RA, Packard MG. Конкуренция между несколькими системами памяти: сходящиеся данные исследований мозга животных и человека. Нейропсихология. 2003; 41: 245–251. [PubMed] [Google Scholar]
• Rescorla RA. Эффект привыкания к США после кондиционирования. Журнал сравнительной и физиологической психологии. 1973;82:137–143. [PubMed] [Google Scholar]
• Rescorla RA. Эффект увеличения значения безусловного стимула после обусловливания. Журнал сравнительной и физиологической психологии. 1974; 86: 101–106. [Google Scholar]
• Рескорла Р.А. Павловское возбуждающее и тормозное обусловливание. В: Эстес В.К., редактор. Справочник по обучению и познавательным процессам. Том. 2. Нью-Йорк: Эрлбаум; 1975. С. 7–35. [Google Scholar]
• Рескорла Р.А. Две перцептивные переменные в обучении внутри события. Обучение и поведение животных. 1986;14:387–392. [Google Scholar]
• Рескорла Р.А. Павловский анализ целенаправленного поведения. Американский психолог. 1987; 42: 119–129. [Google Scholar]
• Рескорла Р.А. Павловское обусловливание: это не то, что вы думаете. Американский психолог. 1988; 43: 151–160. [PubMed] [Google Scholar]
• Rescorla RA. Передача инструментального контроля, опосредованная обесцениванием результата. Обучение и поведение животных. 1994; 22:27–33. [Google Scholar]
• Рейнольдс С.М., Берридж К.С. Положительная и отрицательная мотивация в оболочке прилежащего ядра: бивалентные рострокаудальные градиенты для ГАМК-вызванного приема пищи, вкусовые реакции «нравится»/«не нравится», предпочтение/избегание места и страх. Журнал неврологии. 2002; 22:7308–7320. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Розебум ВВ. «Чему научились?»: эмпирическая загадка» Психологический обзор. 1958; 65: 22–33. [PubMed] [Google Scholar]
• Саддорис М.П., ​​Галлахер М., Шенбаум Г. Быстрое ассоциативное кодирование в базолатеральной миндалине зависит от связей с орбитофронтальной корой. Нейрон. 2005; 46: 321–331. [PubMed] [Google Scholar]
• Шенбаум Г., Чиба А.А., Галлахер М. Орбитофронтальная кора и базолатеральная миндалина кодируют ожидаемые результаты во время обучения. Неврология природы. 1998; 1: 155–159.. [PubMed] [Google Scholar]
• Шенбаум Г., Сетлоу Б., Саддорис М.П., ​​Галлахер М. Кодирование прогнозируемого результата и полученного значения в орбитофронтальной коре во время выборки сигналов зависит от входных данных от базолатеральной миндалевидного тела. Нейрон. 2003; 39: 855–867. [PubMed] [Google Scholar]
• Сигель С. Перетренированность и процессы перевода. Журнал сравнительной и физиологической психологии. 1967; 64: 471–477. [PubMed] [Google Scholar]
• Spence KW. Природа обучения различению у животных. Психологический обзор. 1936;43:427–49. [Google Scholar]
• Spence KW. Когнитивные теории обучения против стимул-реакции. Психологический обзор. 1950; 57: 159–72. [PubMed] [Google Scholar]
• Steinmetz JE, Lavond DG, Thompson RF. Классическое обусловливание у кроликов с использованием стимуляции ядра моста в качестве условного раздражителя и стимуляции нижних олив в качестве безусловного раздражителя. Синапс. 1989; 3: 225–233. [PubMed] [Google Scholar]
• Терри В.С., Вагнер А.Р. Кратковременная память на «удивительные» и «ожидаемые» безусловные стимулы в условных рефлексах Павлова. Журнал экспериментальной психологии: процессы поведения животных. 1975;1:122–133. [PubMed] [Google Scholar]
• Томас Э. Роль постуральных приспособлений в кондиционировании собак при электрической стимуляции моторной коры в качестве безусловного раздражителя. Журнал сравнительной и физиологической психологии. 1971; 76: 187–198. [PubMed] [Google Scholar]
• Томпсон РФ. Сенсорное прекондиционирование. В: Томпсон Р.Ф., Восс Дж.С., редакторы. Темы обучения и производительности. Нью-Йорк: Академическая пресса; 1972. С. 105–129. [Google Scholar]
• Томпсон Р.Ф., Томпсон Дж.К., Ким Дж.Дж., Крипа Д.Дж., Шинкман П.Г. Природа подкрепления в мозжечковом обучении. Нейробиология обучения и памяти. 1998;70:150–176. [PubMed] [Google Scholar]
• Thorndike EL. Интеллект животных: экспериментальное исследование ассоциативных процессов у животных. Дополнения к монографии «Психологический обзор». 1898;2(4, Целое число 8) [Google Scholar]
• Tinklepaugh OL. Экспериментальное исследование репрезентативных факторов у обезьян. Журнал сравнительной и физиологической психологии. 1928; 8: 197–236. [Google Scholar]
• Tolman EC. Целенаправленное поведение животных и человека. Нью-Йорк: Appleton Century; 1932. [Google Scholar]
• Tolman EC. Знак-гештальт или условный рефлекс. Психологический обзор. 1933; 40: 246–255. [Google Scholar]
• Tolman EC. Когнитивные карты у крыс и людей. Психологический обзор. 1948; 55: 189–208. [PubMed] [Google Scholar]
• Tolman EC, Gleitman H. Исследования в области обучения и мотивации: I. одинаковое подкрепление в обоих концевых блоках, за которым следует шок в одном концевом блоке. Журнал экспериментальной психологии. 1949; 39: 810–819. [PubMed] [Google Scholar]
• Толман Э.К., Ричи Б.Ф., Калиш Д. Исследования в области пространственного обучения. I: Ориентация и короткий путь. Журнал экспериментальной психологии. 1946;36:13–25. (a) [PubMed] [Google Scholar]
• Толман Э.К., Ричи Б.Ф., Калиш Д. Исследования в области пространственного обучения. II: Обучение на месте в сравнении с обучением в ответ. Журнал экспериментальной психологии. 1946; 36: 221–229. (б) [PubMed] [Google Scholar]
• Видаль-Гонсалес И., Видаль-Гонсалес Б., Раух С.Л., Квирк Г.Дж. При микростимуляции обнаруживаются противоположные влияния прелимбической и инфралимбической коры на выражение условного страха. Обучение и память. 2006; 13: 728–733. [Бесплатная статья PMC] [PubMed] [Google Scholar]
• Вагнер А.Р., Томас Э., Нортон Т. Кондиционирование с помощью электрической стимуляции моторной коры: свидетельство возможного источника мотивации. Журнал сравнительной и физиологической психологии. 1967; 64: 191–199. [PubMed] [Google Scholar]
• Уорд-Робинсон Дж., Холл Г. Обратное сенсорное предварительное кондиционирование. Журнал экспериментальной психологии: процессы поведения животных. 1996; 22: 395–404. [Google Scholar]
• Ямамото Т. Области мозга, ответственные за выражение условного вкусового отвращения у крыс. Химические чувства. 2007; 32: 105–109.. [PubMed] [Google Scholar]
• Зенер К. Значение поведения, сопровождающего условную секрецию слюны, для теорий условной реакции. Американский журнал психологии. 1937; 50: 384–403. [Google Scholar]
• Зенер К., Маккарди Х.Г. Анализ мотивационных фракций условного поведения: I. Дифференциальное влияние изменений голода на условное, безусловное и спонтанное слюноотделение. Журнал психологии. 1939; 8: 321–350. [Академия Google]

Что такое поведенческая перспектива? Понимание взаимосвязи между стимулом, реакцией и поведением

Если вы когда-либо слышали термин «поведенческая перспектива» и вам было любопытно, что он означает, то, скорее всего, вы разговаривали с кем-то, кто интересуется бихевиоризмом. Эти два термина практически взаимозаменяемы. Это теоретическая точка зрения, согласно которой поведение и обучение объясняются и описываются в соответствии с отношениями стимул-реакция. Чтобы продвинуть эту концепцию еще дальше, центральное предположение бихевиоризма состоит в том, что действия человека являются результатом исключительно его взаимодействия с окружающей средой. Итак, что это значит в терминах, понятных непрофессионалу? В этой статье мы более подробно рассмотрим стимул, реакцию и соответствующее поведение, как это продиктовано теорией бихевиоризма.

Понимание моделей поведения, определяющих вашу повседневную жизнь

Найдите консультанта-специалиста, который поможет вам

Что такое стимул?

Когда вы смотрите на определение поведенческой точки зрения, два термина, которые бросаются в глаза, — это стимул и реакция. Скорее всего, вы уже имеете некоторое представление о том, что они оба означают. Стимул — это событие, которое происходит или что-то, с чем вы сталкиваетесь, вызывает определенную функциональную реакцию в ткани или органе.

Многие потенциальные примеры легко идентифицировать. Например, если вы идете по улице и вдруг сталкиваетесь с собакой по другую сторону забора, которая начинает злобно лаять на вас, вы подпрыгнете, если не видели, и ваше сердце остановится. стучать. Это физиологическая реакция. В этом примере стимулом является собака. То же самое может произойти, если вы находитесь в кинотеатре и смотрите фильм ужасов, и вдруг на экран выпрыгивает сумасшедший серийный убийца. В этом примере стимулом является то, что происходит в фильме.

Уходя от вещей, которые вас пугают, возможно, вы в кого-то влюблены, и они наклоняются для поцелуя. Нахождение так близко к объекту вашего желания может привести к тому, что вы начнете потеть, а частота сердечных сокращений ускорится. Ваш партнер наклоняется и приближается к вам, что является стимулом в этом примере.

Что такое ответ?

Теперь, когда вы понимаете стимул, давайте перейдем к реакции. Реакция — это реакция на что-то. Это может быть устный или письменный ответ, но в данном контексте мы говорим больше о том, что ваше тело делает непроизвольно, когда вы сталкиваетесь с ситуацией.

Давайте посмотрим на три примера, о которых мы говорили в предыдущем разделе. Когда собака напугала вас, ваша реакция состояла в том, чтобы подпрыгнуть от удивления, и ваш пульс ускорился. Ваша реакция на происходящее на экране в фильме ужасов была схожей.

Что касается вашего свидания, наклонившегося для поцелуя, ответом было то, что вы вспотели, а ваше сердцебиение увеличилось. Интересно отметить, что часто тело одинаково реагирует на то, что вы можете расценивать как положительный раздражитель (поцелуй вашего спутника) и отрицательный раздражитель (потенциальная опасность от злобной собаки).

До сих пор большая часть того, о чем мы говорили, касалась того, как тело непроизвольно реагирует на внешние раздражители, с которыми вы можете столкнуться в мире. Но как насчет поведения, над которым мы, казалось бы, имеем некоторый контроль? Одно дело — покрыться мурашками, услышав жуткое музыкальное произведение, или беззаботно смеяться, если мы найдем что-то чрезвычайно смешное. Но как насчет остального нашего поведения? Насколько мы можем контролировать его перед лицом раздражителей, с которыми мы регулярно сталкиваемся?

Самый простой способ ответить, что поведенческая перспектива применима только к поведению, которое можно наблюдать и записывать. Возможно, именно поэтому он потерял такую ​​известность примерно в 1950-х годах. Раньше она господствовала среди психологов, но в то время большинство из них стали отдавать предпочтение когнитивной точке зрения. Когнитивная точка зрения приобрела популярность, потому что она выходила за рамки того, что можно было только увидеть. Это больше связано с мышлением, памятью, способностями к принятию решений и решению проблем.

Поведенческая точка зрения не выдерживает такой же критики, как и когнитивная, потому что она ограничивает с психологической точки зрения. Это может объяснить то, что можно увидеть, но многое из человеческого поведения больше связано с тем, что происходит за кулисами, так сказать, в нашем сознании. Это область, которая допускает множество предположений, чего нельзя сказать о бихевиоризме.

Когнитивная перспектива

Там, где поведенческая перспектива терпит неудачу, другие психологические теории о человеческом поведении начинают укрепляться. Когнитивную перспективу следует упомянуть еще раз из-за ее аспекта, в котором человеческий разум сравнивается с компьютером. Теория состоит в том, что мы похожи на информационные процессоры. Мы не просто рабы своих биологических инстинктов. Мы получаем информацию, обрабатываем ее, храним и используем. Чем старше мы становимся и чем опытнее мы становимся в различных ситуациях, тем больше мы можем использовать то, чему мы научились, чтобы справляться с тем, что происходит вокруг нас.

Биологическая перспектива

Еще одна теория, о которой стоит упомянуть и которая, можно сказать, выходит за рамки того, что можно количественно оценить и объяснить с точки зрения поведения, — это биологическая перспектива. Это теория, которая имеет отношение как к биологическим факторам, так и к внешним раздражителям. Он углубляется в генетику, иммунную систему, мозг и нервную систему.

Эта перспектива привлекла большое внимание в последние пару десятилетий, потому что существуют способы измерения человеческого поведения и его объяснения, связанные с тестами, которые можно провести. Это означает, что часто с этой точки зрения наряду с теорией существуют научные данные.

Например, мозг бывших игроков НФЛ исследовали с помощью МРТ и ПЭТ. У многих из этих игроков наблюдается ХТЭ, хроническая травматическая энцефалопатия. Это состояние, при котором множественные травматические повреждения головного мозга вызывают депрессию, перепады настроения, насилие и суицидальные мысли или идеи. Смерть члена Зала славы Джуниора Со привлекла большое внимание, потому что считалось, что его самоубийство, возможно, можно объяснить или лучше понять из-за биологической точки зрения человеческого поведения.

Межкультурная перспектива

Межкультурная перспектива существует не так давно, как некоторые другие. Однако в некоторых кругах он приобрел известность как способ объяснения чьих-либо действий, которые могут показаться странными или нежелательными из-за культурных предубеждений, но в других местах могут считаться совершенно нормальными.

Вот некоторые примеры, когда в некоторых частях мира считается уместным и вовсе не необычным забивать кого-то камнями до смерти или сбрасывать с крыши, если они были пойманы на совершении гомосексуальных действий. Многие части мира сочли бы это прискорбным, но с межкультурной точки зрения это совсем не кажется чем-то необычным.

Это также относится к так называемым убийствам чести, которые иногда происходят в Пакистане и других местах. Идея состоит в том, что, когда считается, что девочка обесчестила свою семью, один из ее братьев и сестер мужского пола, ее отец, дядя или другой мужчина в семье может совершить акт насилия по отношению к ней. Они могут изуродовать ее, плеснув ей в лицо кислотой. Официальная позиция многих в стране заключается в том, что они против этого, но часто правонарушители отделаются простым шлепком по запястью, показывая, что это более допустимо, чем то, что говорит большинство людей. В некоторых других странах подобные вещи сочли бы ужасающими, но межкультурная поведенческая точка зрения прекрасно объясняет это.

Что все это значит?

Если вы пытаетесь понять, что все это значит для вас, то вам не нужно слишком беспокоиться об этом. Ведь это все теории. Некоторые из них могут показаться более достоверными, чем другие, из-за научных данных, подтверждающих выдвигаемые идеи. Однако было бы неправильно говорить, что какое-либо из упомянутых нами понятий является конечным, решающим, когда речь идет об объяснении человеческого поведения. По всей вероятности, каждая из теорий может объяснить часть человеческого поведения, и все они заслуживают внимания или, по крайней мере, внимания.

Когда дело доходит до вашего поведения, последнее слово остается за вами. В игре могут быть культурные импульсы, которым вы научились, биологические и другие. Однако чем старше вы становитесь и чем опытнее вы становитесь, тем лучше вы, по-видимому, будете контролировать свои действия. Это дает вам большую степень свободы, а также личную ответственность, потому что вам никогда не нужно говорить, что вы действовали определенным образом, основываясь на том, как вас воспитали, или на чем-то еще. Вместо этого вы можете управлять своими действиями так, как считаете нужным, независимо от того, что происходит вокруг вас в любой момент времени.

Заключение

У вас могут возникнуть дополнительные вопросы о том, что движет вашим поведением. Если да, вы можете поговорить с квалифицированным специалистом в области психического здоровья на сайте www.betterhelp.com/online-therapy/. Получение некоторых ответов на вопрос, почему вы ведете себя так, а не иначе, может дать вам душевное спокойствие, если вы не уверены в том, является ли действие, которое вы предпринимаете, правильным.

Теория стимул-реакция — 686 слов

Оцените, как классическое обусловливание можно применить к процессу обучения

Классическое обусловливание — это процесс, при котором обучение происходит с помощью внешних и естественных стимулов. Психологи считают, что обучение происходит через изменение поведения, когда стимулы окружающей среды связаны с естественными стимулами. Несколько теорий поддерживают работу классического обусловливания и процесса обучения (Carlson, 2010).

Теория стимул-реакция согласна с тем, что в начале теста может возникнуть безусловная реакция. Несмотря на этот ответ, обучение в конце концов происходит.

Например, крыса может не реагировать безоговорочно, если ее сначала поместить в лабиринт, но со временем она выучит лабиринт и, таким образом, будет реагировать условно. Эта теория имеет некоторые недостатки, учитывая, что условные и безусловные реакции могут различаться, даже если стимул один и тот же (Terry, 2009).

Вторая теория основана на стимуле к стимулу. Эта теория влечет за собой приобретение части знаний и сохранение их для будущего использования. Например, дети учат цвета и числа условно или безоговорочно и помнят этот учебный опыт независимо от стимула в более позднем возрасте (Neuringer, 2002). Обусловливание второго порядка используется здесь для приобретения базовых знаний и последующего их расширения на более высоких уровнях.

Например, в первом классе ученики могут узнать об Усаме по имени. В старших классах они могут узнать о его сложной жизни. Первоначальные учения представляют собой условные стимулы, которые ученики старших классов используют для получения дополнительной информации. Эта теория основана на когнитивных способностях, которые у разных людей различаются (Terry, 2009).

Третья теория основана на оперантном обусловливании. Он фокусируется на определенных действиях, которые приводят к наказаниям или вознаграждениям. Например, детям дошкольного возраста можно давать перекус, если они каждый день правильно произносят буквы, или отказываться от перекуса, если они этого не делают.

Эта теория может негативно повлиять на процесс обучения, поскольку у таких детей может сложиться негативная репутация в отношении способностей к обучению (Neuringer, 2002). Это препятствует развитию положительных способностей к обучению.

Какие основные понятия обусловливания связаны с Павловым?

Кондиционирование состоит из четырех основных понятий, которые имеют решающее значение для понимания процесса обучения. Они включают следующее;

Приобретение

Это явление относится к периоду, когда условная реакция усиливается. Связывание условных раздражителей с безусловными усиливает классическое обусловливание.

Например, собаку можно научить выделять слюну при звонке колокольчика перед тем, как ей подадут еду. Немедленно у собаки выделяется слюна в ответ на звук колокольчика, реакция приобретена. Как только реакция будет получена, собаку можно подкрепить едой (Baum, 2012).

Угасание

Удаление подкрепления отрицательно влияет на условную реакцию, ослабляя ее (Baum, 2012). Например, когда кто-то попадает в аварию на мотоцикле, у него развивается страх езды на нем. Однако со временем страх проходит после нескольких безопасных поездок

Обобщение

Понятие обобщения возникает, когда условный раздражитель неоднократно вызывает в уме сходные реакции. Это называется генерализацией стимула (Neuringer, 2002). Например, когда собака обливается горячей водой в тазике, она боится воды в тазике.

Различение

Способность различать условный раздражитель и безусловный раздражитель называется различением. Например, если условным стимулом является национальный гимн, то способность отличать национальный гимн от других песен называется дискриминацией (Terry, 2009). ).

Поведению лучше всего можно научиться с помощью классических методов обучения.

Поведение, связанное с азартными играми

Игрок, играющий в казино, может получить крупный выигрыш, стоя в определенном положении или одетый в определенную одежду. Этот человек может продолжать стоять в этой позе или постоянно носить этот тип одежды, думая, что победа стала результатом этих случайных событий. Это, в конечном итоге, меняет поведение человека (Carlson, 2010).

Суеверное поведение

Люди склонны считать, что случайные события, связанные друг с другом, имеют причинно-следственную связь. Например, если человека ограбили, когда он проходил по какой-либо улице ночью, инцидент будет связан с ночной прогулкой. Это может изменить его поведение (Terry, 2009).

Лечение алкоголизма

Можно использовать лекарство против злоупотребления, чтобы вызвать негативный эффект от употребления спиртных напитков. При отравлении алкоголем человек испытывает тошноту. Следовательно, он/она учится избегать этого (Карлсон, 2010).

Ссылки

Baum, WM (2012). Переосмысление подкрепления: распределение, индукция и непредвиденные обстоятельства. Журнал экспериментального анализа поведения , 97, 101-124.

Карлсон, Н.Р. (2010). Психология: наука о поведении . Нью-Джерси, США: Pearson Education Inc.

Neuringer, A. (2002). Оперантная изменчивость: доказательства, функции и теория. Психонометрический бюллетень и обзор , 9 (4), 672–705.

Терри, В.С. (2009 г.). Обучение и память: основные принципы, процессы и процедуры (4-е изд.). Бостон: Пирсон / Аллин и Бэкон.

Это эссе по теории стимул-реакция было написано и представлено вашим коллегой ученик. Вы можете использовать его для исследовательских и справочных целей, чтобы написать свою собственную статью; однако ты должны цитировать его соответственно.

Запрос на удаление

Если вы являетесь владельцем авторских прав на эту статью и больше не хотите, чтобы ваша работа публиковалась на IvyPanda.

Запросить удаление

Обучение по месту и реакции: история, полемика и нейробиология

Введение

В теории обучения в первой половине 20-го века доминировали два широко противоположных взгляда на механизмы обучения и памяти животных. Согласно представлению «стимул-реакция» (S-R), животные приобретают ассоциации между стимулами (S) и реакциями (R) в обучающей среде. Например, в ситуации обучения в лабиринте, когда животное учится проходить лабиринт, чтобы достать пищу из определенного целевого места, визуальные или тактильные стимулы в среде обучения могут приобрести способность активировать ряд кинестетических реакций поворота, направляющих поведение к пищевой усилитель. Напротив, согласно конкурирующему когнитивному подходу, называемому целенаправленным бихевиоризмом, животные приобретают значимые отношения между стимулами в обучающей среде, что приводит к формированию «когнитивных ожиданий». Эти приобретенные ожидания позволяют животному делать выводы о том, какие поведенческие реакции необходимо предпринять, чтобы получить пищевое подкрепление. Таким образом, согласно когнитивной точке зрения, животные не являются автоматами S-R, а скорее принимают рациональные решения, основанные на ожиданиях, причинах и целях.

Заслуживающими внимания фигурами сторонников СР были Торндайк (1933 г.), Гатри (1935 г.) и Спенс (1936 г.), а исследователем, представившим, возможно, наиболее полную итерацию СР-представления, был Кларк Л. Халл в своей чрезвычайно популярной книге . Принципы поведения (Халл, 1943). С другой стороны, описанный выше когнитивный взгляд на обучение был представлен Толменом (1932) в другой влиятельной книге под названием Целенаправленное поведение у животных и человека . Учитывая популярность взглядов, отстаиваемых Халлом и Толменом, дебаты между SR и теориями когнитивного обучения происходили преимущественно в виде серии экспериментов, сравнивающих взгляды Халла и Толмана на обучение и память.

Чтобы разрешить спор, Tolman et al. (1946a) разработали две задачи «крестообразный лабиринт» ¹ — задачу «обучения в ответ», которая требует использования обучения S-R, и задачу «обучения на месте», которая требует использования когнитивного обучения. Вскоре после того, как Толмен представил задачи обучения на место и реакцию, другая лаборатория разработала третью версию крестообразного лабиринта, т. е. задачу с двойным решением, для изучения относительного использования места и обучения на реакцию (Blodgett and McCutchan, 19).48). Эти три задачи в виде крестообразного лабиринта были широко приняты другими лабораториями для оценки подходов Халлиана и Толмана к обучению и памяти, что привело к десятилетнему спору о «месте против реакции» (Restle, 1957). По мере того, как интерес к полемике между местом и реакцией и спорам между когнитивными теориями и теориями обучения S-R угасал, использование этих задач в крестообразном лабиринте также сокращалось. Однако это снижение было лишь временным, поскольку в последние годы вновь появились задачи обучения месту и реакции в качестве важных инструментов для исследования поведенческих и нейробиологических механизмов различных видов памяти.

В настоящем обзоре представлен исторический отчет о месте и ответах на обучающие задачи в крестообразном лабиринте. Обзор начинается с краткого описания теорий обучения, которых придерживались Толмен и Халл, а также некоторых исторических факторов, которые мотивировали их идеи. Далее следует описание места и ответ на обучающие задания крестообразного лабиринта. В следующем разделе освещается полемика между местом и реакцией в 1940–1950-х годах и то, как она была разрешена путем признания того, что различные параметрические факторы определяют, доминирует ли обучение на месте или реакции в поведении. Далее в настоящем обзоре обсуждаются некоторые альтернативные методологии изучения места и реакции обучения за пределами классических задач толкановского крестообразного лабиринта. За этим следует исчерпывающий обзор нейробиологии обучения месту и реакции, включая основные структуры мозга и системы нейротрансмиттеров, которые были задействованы. Наконец, в настоящем обзоре рассматривается будущее задач обучения месту и реакции, например, их потенциальное использование в исследованиях нейронных цепей памяти, обучения угасанию, пересмотра теории систем памяти и психопатологии человека.

Толмен в точке выбора

В 1932 г., когда Эдвард К. Толмен (рис. 1) опубликовал свою книгу под названием Целенаправленное поведение животных и человека , он сразу же стал отцом целенаправленного бихевиоризма и подставным лицом, ведущим восстание против S-R взгляда на обучение. Мало того, что залпы Толмена были очевидны в его трудах, он также имел обыкновение критиковать теорию в своих менее официальных письмах. Как рассказывает один из его бывших учеников:

Рисунок 1 . Эдвард Чейс Толмен (1886–1959).

… в одной из лекций, комментируя ограничения теории S-R [Толмен] указал, что, поскольку в организме существуют важные когнитивные процессы, которые вмешиваются между S и R, по крайней мере, «О» (для « организм») должен быть вставлен. Более того, поскольку речь идет о поведенческих актах, а не о подергивании мышц, «R» следует заменить на «B» для «поведения». Затем он с лукавой ухмылкой (и, без сомнения, с некоторой остаточной виной Новой Англии) назвал теорию S-R теорией «собачьих»9. 0650 (Макго, 2003, стр. 19).

Этот забавный анекдот от одного из учеников Толмена, возможно, проливает свет на отвращение исследователя к точке зрения S-R, которая отчасти побудила его написать Целенаправленное поведение .

Хотя Толмен стал одним из самых популярных и энергичных противников теории S-R, он не всегда питал негативное отношение к этой теории. Будучи аспирантом Гарварда, Толмен прошел курс сравнительной психологии, который в то время читал известный психолог Роберт Йеркс. Учебником для курса стала основополагающая работа друга и коллеги Йеркса Джона Б. Уотсона под названием Поведение: введение в сравнительную психологию . Толмен в то время рассматривал бихевиоризм Уотсона как «огромный стимул и облегчение» по сравнению с альтернативным интроспективным подходом, применявшимся примерно в то время другими психологами (Tolman, 1952, стр. 326). Однако у Толмена также были некоторые оговорки по поводу бихевиоризма Уотсона:

Мне… не нравились чрезмерно упрощенные представления Уотсона о стимуле и реакции. Не понравилась мне и его трактовка каждого отдельного раздражителя и каждой отдельной реакции как совершенно обособленного явления, практически не имеющего отношения ни к каким другим раздражителям, ни к каким другим реакциям. То есть я уже находился под влиянием гештальт-психологии и понял, что крыса, бегущая по лабиринту, должна изучать схему или паттерн, а не просто иметь связи между атомоподобными стимулами и атомоподобными реакциями, «впечатанными» или «впечатанными». вне», будь то упражнением или эффектом (Толман, 1952, стр. 329).

Таким образом, возможно, именно недоверие к чрезмерно редукционистскому взгляду Уотсона на поведение побудило Толмена начать рассматривать альтернативные гештальт-представления об обучении, которые исходили из Германии и набирали популярность в США. Заманчиво представить Толмена в эти годы становления крысой на критическом перекрестке — или в точке выбора — лабиринта, в котором у него была возможность повернуть в одну сторону и продолжить в духе ватсоновского бихевиоризма или повернуть в другую сторону и всем сердцем подписываюсь на гештальт-психологию. Однако оказалось, что Толмен не пошел ни по одному из этих путей. Вместо этого он наметил новый путь к своему собственному взгляду на поведение — теории, сочетающей бихевиоризм Уотсона с избранными принципами гештальт-психологии.

В Целевом поведении Толман предположил, что поведение мотивируется целью, познанием и ожиданием. То есть животные приобретают осмысленные отношения между объектами-стимулами в окружающей среде в той мере, в какой животное усваивает, что взаимодействие с одним конкретным объектом определенным образом (например, поворот направо на перекрестке) приведет к возможности взаимодействия с другим объектом. например, поворот налево на следующем перекрестке) и так далее. Знание о том, как стимулы в окружающей среде связаны друг с другом, кодируется с помощью ассоциаций стимул-стимул (СС). Все соответствующие стимулы в окружающей среде и значимые ассоциации между ними объединяются и инкапсулируются в то, что Толмен назвал «знаково-гештальт-ожиданием» или, в более широком масштабе, «ожиданием поля». Стимулы в окружающей среде могут активировать весь знаковый гештальт или полевое ожидание, которое затем может быть использовано животным для целенаправленного направления поведения в сторону приятного положения дел (например, еда, избегание угрозы и так далее). Идеи Толмена, касающиеся знакового гештальта и ожиданий поля, позже были изложены в его основополагающей статье о когнитивных картах (Tolman, 19).48). В этой статье Толмен предположил, что животные (включая людей) приобретают различные когнитивные карты, в том числе не только аллоцентрические карты пространства, но и более абстрактные межличностные карты, которые влияют на поведение, мышление и (на спекулятивной ноте) психопатологию. Толмен, 1948).

Важно подчеркнуть, что, хотя склонность Толмена к когнитивному взгляду на обучение была частично мотивирована скептицизмом, связанным со строгим уотсоновским бихевиоризмом, его когнитивные взгляды были подтверждены обширными поведенческими исследованиями, большая часть которых проводилась в его лаборатории в Беркли. Толмен использовал различные лабиринты, чтобы показать, что животные могут усваивать когнитивные карты обучающей среды, и они могут использовать эти карты, чтобы направлять беговое поведение к вкусному пищевому подкреплению. Например, вопреки взгляду S-R на обучение, животные могли делать выводы о том, что в лабиринте есть короткие пути, и генерировать новые серии навигационных реакций на основе этих выводов (Tolman et al., 19).46б). Эксперименты, проведенные в лаборатории Толмена, способствовали сдвигу в этой области от довольно спартанского взгляда СР к более целенаправленному, когнитивному взгляду на поведение. Однако как только теория когнитивных ожиданий Толмена набирала обороты в этой области, другой исследователь вышел на сцену и расхваливал впечатляющее омоложение теории S-R, которое нельзя было просто игнорировать.

Корпус в машине

Когда Кларк Л. Халл (рис. 2, 3) начал изучать психологию, он, как и Толмен, увлекся бихевиоризмом Ватсона. Однако, как и у Толмена, у него были некоторые сомнения по поводу этой теории. Халл не соглашался с некоторыми «догматическими утверждениями» Уотсона, и результатом его несогласия «было запоздалое обращение к своего рода необихевиоризму — бихевиоризму, связанному с определением количественных законов поведения и их дедуктивной систематизацией» (Hull, 1952, с. 154). Опираясь на свою любовь к математике и свой профессиональный опыт в области химии и инженерии, Халл разработал сложную серию «математико-дедуктивных» формул для объяснения и предсказания наблюдаемого поведения (Hull et al., 1940). Эти формулы значительно превосходили примитивные ассоциации S-R, предложенные классическими бихевиористами (Thorndike, 1898; Watson, 1914).

Рисунок 2 . Кларк Леонард Халл (1884-1952).

Рисунок 3 . Слева направо: Курт Левин, Эдвард Толман и Кларк Халл на 47-м ежегодном собрании Американской психологической ассоциации в 1939 году. Коллекция Джеффри У. Х. Лейтема, Архив истории американской психологии, Центр истории психологии докторов Николаса и Дороти Каммингс, Акронский университет).

Хотя Халл и Толмен были похожи в своем стремлении вырваться из ограничений ватсоновского бихевиоризма, Халл, в отличие от Толмена, воздерживался от включения в свою теорию того, что он считал телеологическими понятиями, такими как цель и ожидание. Он считал, что такие концепции были неудачными побочными продуктами антропоморфного субъективизма (т. Е. Тенденции рассматривать животных как обладающих человеческими мыслями и чувствами). Чтобы обезопасить себя от этих ловушек, Халл предложил рассматривать

действующий организм как полностью самоподдерживающийся робот, построенный из материалов, настолько непохожих на нас самих. При этом нет необходимости пытаться решать детальные инженерные задачи, связанные с проектированием такого существа. Однако рассмотрение различных проблем в динамике поведения, которые должны быть решены при разработке действительно самоподдерживающегося робота , является полезным и показательным упражнением (Халл, 1943, стр. 27).

Склонность Халла рассматривать организмы как автоматы, действующие бесцельно и по доброй воле, остается очевидной в его математико-дедуктивном взгляде на поведение.

Согласно Халлу, вероятность выполнения определенного поведения (т. е. потенциал реакции) зависит от силы влечения и привычки. Он определил силу привычки как степень, в которой стимул (S) способен активировать реакцию (R), при этом действие R приводит к снижению влечения. Например, если голодная крыса слышит сигнал (S), а затем нажимает на рычаг (R), что приводит к получению благоприятного результата (O), потребление пищи приведет к снижению влечения (т. е. к уменьшению чувства голода). и, таким образом, связь S-R между тоном и нажатием рычага будет усилена. Сила привычки увеличивается на протяжении многих итераций S в паре с R. Со временем S может автоматически активировать R, даже в условиях низкого драйва. Таким образом, согласно Халлу, большая часть выученного поведения представляет собой серию привычек S-R.

Теория Халла, хотя и впечатляющая своей полнотой и объяснительной силой, подверглась резкой критике со стороны теоретиков когнитивного обучения, включая Толмена и его коллег (например, Tolman, 1948; Gleitman et al. , 1954). Вскоре после публикации необихевиористского манифеста Халла под названием « Принципы поведения » лаборатория Толмена разработала новую парадигму, в которой халловская «привычка» и толкмановская «когнитивная» теории конкурировали друг с другом. Эта парадигма Толмана была принята другими лабораториями и служила полем битвы для дебатов между S-R и когнитивными взглядами на обучение в течение многих последующих и спорных лет.

Толмен против Халла: Развитие места и реакции Обучение плюс-лабиринт Задания

Ранее исследователям стало ясно, что если животное поместить в лабиринт с едой, последовательно размещенной в другом «целевом конце» лабиринта , животное в конце концов научится добывать пищу (Small, 1901). Тем не менее, вопрос о том, как именно 90 650 животных научились находить пищу, или 90 649 того, что 90 650 животных приобрели, что позволило им направлять поведение к месту вознаграждения, оставался спорным. По словам Толмана и его коллег, было три возможных объяснения, которые заслуживали рассмотрения:

1. 1. Такая дрессировка могла вызвать у крыс предрасположенность бегать по дорожке, имеющей определенные специфические характеристики (например, сучки такого-то и такого-то рисунка и т.п.), и избегать бега по всем дорожкам, имеющим некоторые другие специфические характеристики.

2. 2. Такое обучение, возможно, породило склонность поворачивать направо всякий раз, когда они подходят к точке выбора.

3. 3. Наконец, такое обучение могло сформировать предрасположенность ориентироваться на место, где находится пища (например, под окном, слева от батареи и т. д.; Tolman et al., 1946а, с. 221).

Толмен и его коллеги быстро исключили первое объяснение, основанное на более ранних выводах Хонзика (1936), предполагая, что крысам было трудно использовать сигналы внутри лабиринта для управления поведением. Однако они предположили, что ни в одном исследовании еще не проводилось прямого сравнения последних двух объяснений. В каком случае животные приобретают реакцию (т. е. в соответствии с халловским S-R взглядом на обучение) или животные учатся идти в какое-то место (т. е. в соответствии с когнитивным взглядом Толмена на обучение)? Толман и др. (1946а) разработал две задачи крестообразного лабиринта для проверки этих гипотез.

Задание на изучение места и задание на обучение реакции

В лаборатории Толмена использовался крестообразный лабиринт, состоящий из четырех ответвлений, расположенных крестообразно (+). Два противоположных рукава (например, северный и южный) были обозначены как начальные рукава, из которых животных выпускали во время тренировки в лабиринте, а два других рукава (например, восточный и западный) были обозначены как целевые рукава, которые могут содержать пищевое вознаграждение во время обучения. Две задачи, которые Tolman et al. (1946а) бегали в крестообразном лабиринте, назывались задачами «обучение места» и «обучение реакцией». В задаче обучения места (см. Рисунок 4B) животных выпускали из противоположных исходных положений, и вкусная пищевая награда находилась в последовательном целевом рукаве. Таким образом, животным, по-видимому, необходимо было изучить пространственное расположение пищевого вознаграждения, чтобы точно направлять поведение от различных исходных положений к вознаграждаемому пространственному местоположению. В задаче обучения реакции (рис. 4А) животных также выпускали из противоположных исходных положений, но пищевое вознаграждение в этом случае было повернуто к противоположным целевым рукам таким образом, что для того, чтобы животные могли быстро достать пищу, им нужно было сделать постоянная реакция на поворот тела. Например, если крыс выпускали из северного рукава, пищевое вознаграждение находилось в западном рукаве. Если животное было выпущено из южного рукава, пищевая награда находилась в восточном рукаве. Таким образом, независимо от того, откуда крыса была выпущена, крысе нужно было научиться последовательному повороту тела вправо, чтобы быстро достать пищу.

Рисунок 4 . Место и реакция обучения в крестообразном лабиринте. (A) В задаче обучения реакции в крестообразном лабиринте крысу освобождают от противоположных стартовых рук (например, N и S) на протяжении всего обучения, и та же самая реакция поворота тела в точке выбора усиливается. Например, когда крысу выпускают из N-плеча, пища оказывается в W-плече. Когда крысу выпускают из S-плеча, пища оказывается в E-плече. В данном примере усиливается поворот вправо в точке выбора. (B) В задаче «обучение месту в крестообразном лабиринте» крысу освобождают от противоположных начальных рычагов на протяжении всего обучения, в то время как пища остается в неизменно закрепленном пространственном положении. (C) Во время начального обучения в задаче крестообразного лабиринта с двойным решением крысу выпускают из последовательного стартового рукава (например, N) с пищей, также расположенной в постоянном пространственном положении (например, W). Крыса может научиться добывать пищу, используя стратегию обучения месту (т. е. идти в одно и то же место) или стратегию обучения реакции (т. е. заставить одно и то же тело повернуться в точке выбора). Чтобы определить, как крыса научилась решать задачу, проводят пробное испытание, в котором крысу запускают с противоположной руки (например, S). Если крыса продолжает делать один и тот же поворот тела в точке выбора, ее называют обучающейся. Если крыса совершает противоположный поворот тела, чтобы вернуться в усиленное пространственное положение, ее называют обучающейся на месте. (D) Виртуальная версия задачи «крестообразный лабиринт» с двумя решениями может использоваться для изучения обучения на месте и реакции у людей (изображения из Astur et al., 2016). (E) Задания на изучение места и реакции использовались для изучения обучения и памяти у различных видов, помимо грызунов и людей, включая черепах, саламандр, кур, лошадей и акул, среди прочих (изображение из Salas et al. , 2003 г. с разрешения S. Karger AG, Базель).

Толман и др. (1946а) хотел определить, какое задание животные усвоили быстрее. В то время предполагалось, что если животные усваивают одну задачу быстрее, чем другую, то тип обучения, лежащий в основе первой задачи, является более доминирующим или «естественным» для животных, чем тип обучения, лежащий в основе другой, более медленно усваиваемой задачи. Результаты их исследования показали, что животные усваивали задачу обучения месту намного быстрее, чем задачу обучения реакции, и поэтому исследователи пришли к выводу, что «оба вида диспозиций могут быть приобретены крысой, но диспозиция ориентироваться на цель проще». и более примитивны, чем склонность повернуть направо» (Tolman et al., 1946а, с. 228). Однако многие последующие эксперименты с крестообразным лабиринтом поставили под сомнение вывод Толмена.

Задание с двойным решением в виде крестообразного лабиринта

Другая группа исследователей, критиковавших выводы Толмена, представила альтернативную версию задания в виде крестообразного лабиринта (обычно называемого крестообразным лабиринтом с двойным решением) для изучения относительного использования обучения по месту и ответу. Хью К. Блоджетт, получивший докторскую степень. под руководством Толмана из Беркли, разработал эту задачу с двумя решениями крестообразного лабиринта в своей лаборатории Техасского университета (Блоджетт и Маккатчан, 19 лет). 48). В ходе обучения лабиринту в задаче с двойным решением в крестообразном лабиринте крыс выпускали из постоянного исходного положения в крестообразном лабиринте (например, на севере), а пищу помещали в последовательное целевое плечо (например, на запад). Это задание с лабиринтом проводилось в однородной визуальной среде с единственным пространственным ориентиром (например, 10-дюймовым отражающим диском), расположенным непосредственно за пределами лабиринта. На начальном этапе выполнения задачи животные могли находить пищу, осваивая либо стратегию обучения месту (т. реакция поворота тела в точке выбора). В любом случае поведение во время начального обучения выглядело одинаково. Чтобы определить, какую стратегию использовали животные, было проведено пробное испытание, в котором отражающий диск перемещался в противоположную сторону комнаты. Крысы, которые использовали диск в качестве пространственного ориентира, чтобы найти местонахождение пищи во время начального обучения (т. е. стратегия размещения), в конечном итоге шли к противоположному рукаву лабиринта во время этого пробного испытания. Напротив, крысы, которые научились совершать последовательные повороты тела во время начального обучения (т. Е. Стратегия ответа), будут продолжать делать это во время пробного испытания, игнорируя при этом изменение пространственной среды вне лабиринта.

Неожиданным результатом этого первоначального исследования крестообразного лабиринта с двумя растворами, проведенного Blodgett and McCutchan (1948), было то, что во время эксперимента с зондом крысы в ​​основном демонстрировали одинаковую реакцию поворота. Эти результаты свидетельствуют о том, что животные предпочтительно усваивали и/или выражали стратегию обучения в ответ, а не стратегию обучения на месте. Авторы пришли к выводу, что в их экспериментальных условиях и в отличие от того, что Tolman et al. (1946a) ранее предполагали, что «предрасположенность к реакции… сильнее, чем предрасположенность к месту» (Blodgett and McCutchan, 19).48, с. 23).

Следует отметить, что задача крестообразного лабиринта с двумя решениями претерпела изменения с момента ее первоначальной итерации Блоджеттом и Маккатчаном (1948). Одной из проблем с их версией задачи было использование единственного пространственного сигнала. Несмотря на то, что крысы, использующие пространственный сигнал, были отмечены в своем исследовании как обучающиеся на месте, использование одного пространственного сигнала для управления поведением в ситуации лабиринта также можно рассматривать как форму обучения реакции S-R в той степени, в которой животное может научиться просто бегать. к (R) сигналу дополнительного лабиринта (S). Чтобы обеспечить экспериментальную ситуацию лабиринта, способствующую обучению, необходимо сделать доступным множество пространственных объектов вне лабиринта, позволяющих субъекту построить пространственную когнитивную карту окружающей среды для управления поведением (Tolman, 19).48). С этой целью в более поздних версиях задачи крестообразного лабиринта с двойным решением использовались гетерогенные визуальные среды, содержащие несколько объектов дополнительного лабиринта. Начальная тренировочная фаза задачи осталась прежней; однако испытание зонда было изменено, чтобы предотвратить перемещение пространственных объектов по комнате. Вместо этого во время пробного испытания крысу начинают с руки, противоположной исходной стартовой руке (например, Packard and McGaugh, 1996). Например (см. рис. 4C), если во время начального обучения крысу постоянно помещают в северный рукав с едой в западный рукав, крыса начинает испытание зонда с южного рукава. Во время пробного испытания, если крыса продолжает делать тот же самый поворот тела вправо в точке выбора (т. е. убегает от исходного места еды на западном рукаве), она помечается как «обучающаяся реакции». Если вместо этого крыса делает левый поворот в точке выбора (т. е. бежит к исходному месту еды на западном рукаве), она помечается как «ученик-место».

Противоречие между местом и реакцией

Сразу же после оригинальных экспериментов с крестообразным лабиринтом, проведенных Толменом и Блоджеттом, другие экспериментаторы начали использовать те же задачи с крестообразным лабиринтом для изучения когнитивного и S-R взглядов на обучение. Сторонники когнитивного взгляда Толмена на обучение считали, что обучение в месте было более доминирующим или естественным для животного, чем ответное обучение, в то время как сторонники S-R взгляда Халла считали обратное. Этот конфликт подготовил почву для разногласий между местом и реакцией (Restle, 19 лет).57) — то есть дебаты о том, являются ли животные в крестообразном лабиринте естественным образом обучающимися на месте или обучающимися на реакцию, — и напрямую мотивировали немедленное широкое использование задач крестообразных лабиринтов, обучающихся на месте и на реакцию, в 1940–1950-х годах. Однако, подобно первоначальным исследованиям, проведенным в лабораториях Толмена и Блоджетта, эти эксперименты дали смешанные результаты. В некоторых случаях исследователи обнаружили, что обучение на месте доминирует, тогда как в других случаях доминирует обучение в ответ. Окончательное решение этой загадки заключалось в том, что в этих задачах крестообразных лабиринтов могло доминировать либо обучение на месте, либо ответная реакция, и что доминирование конкретного вида обучения зависело от множества параметрических факторов (обзоры см. в Restle, 19).57; Паккард и Гудман, 2013 г.).

Роль параметрических факторов в относительном использовании различных стратегий обучения, возможно, первоначально была предусмотрена Толменом. В своей знаменитой статье о когнитивных картах Толмен (1948) предположил, что крысы и люди одинаково приобретают когнитивные карты, чтобы направлять наши мысли и поведение, и что когнитивные карты различаются по размеру и деталям. Толмен считал, что большие и подробные когнитивные карты позволяют животным гибко генерировать новые маршруты из новых исходных позиций и выбирать более короткие пути, когда внезапно становятся доступными более короткие пути. С другой стороны, относительно тонкая «полоса-карта», лишенная деталей, может позволить животному выполнить простую навигационную реакцию из точки А в точку Б, но не позволит животным срезать путь или быстро достичь цели. местоположение из новой начальной позиции. Таким образом, широкие и всеобъемлющие карты могут способствовать обучению на месте, тогда как карты с узкими полосами могут способствовать обучению в ответ.

Толмен предположил, что на относительную малость или величину конкретной когнитивной карты может влиять множество факторов. Толмен пишет:

… Каковы условия, благоприятствующие узкополосным картам, и каковы те, которые склонны благоприятствовать широким всеобъемлющим картам? В литературе разбросаны значительные данные, касающиеся этого вопроса как для крыс, так и для людей. Некоторые из этих данных были получены в Беркли, а некоторые — в другом месте… Я могу просто резюмировать их, сказав, что узкие карты-полосы, а не широкие исчерпывающие карты, по-видимому, вызваны: (1) повреждением мозга; (2) неадекватным набором сигналов, представленных в окружающей среде; (3) передозировкой повторений на исходном тренированном пути; и (4) наличием слишком сильно мотивирующих или слишком сильно фрустрирующих условий (Толман, 1948, стр. 206–207).

Хотя этот отрывок относится непосредственно к факторам, влияющим на относительную узость или полноту когнитивной карты, он также служит впечатляющим списком основных факторов, влияющих на относительное преобладание обучения на месте или обучения в ответ. В настоящем разделе представлен обзор поведенческих факторов, влияющих на место и реакцию обучения, многие из которых были описаны Толменом выше, например объем обучения, визуальные аспекты среды обучения и эмоциональное состояние организма. Следует отметить, что, хотя многие из этих факторов были впервые выявлены во время полемики между местом и реакцией 19-го40-х – 1950-х годов, этот раздел также включает современные исследования, чтобы обеспечить более всестороннее обсуждение основных факторов, влияющих на обучение на месте и реакцию.

Факторы, влияющие на место и реакцию обучения

Объем обучения

Согласно взгляду Халлиана на обучение, сила привычки S-R частично зависит от количества раз, когда S сочетался с R. Следовательно, разумно предсказать, что после ограниченного обучения связь SR может быть слабой, позволяя другим механизмам обучения управлять поведением. Этот прогноз согласуется с результатами исследований, в которых использовались версии с одним решением задач обучения места и реакции. То есть, как упоминалось ранее, животным требуется больше испытаний, чтобы научиться обучающей версии крестообразного лабиринта с реакцией S-R по сравнению с версией задачи, обучающей когнитивному месту (Tolman et al., 19).47). Более того, в задаче с двойным решением, когда животным после ограниченного обучения дается проба с зондом, большинство животных демонстрируют стратегию обучения на месте, тогда как после экстенсивного обучения животные преимущественно демонстрируют научение в ответ на пробу с зондом (Ritchie et al., 1950). ; Hicks, 1964; Packard and McGaugh, 1996; Packard, 1999). Интересно, что более недавнее исследование показало, что переход к ответному обучению может быть заблокирован, если животному предлагается выполнить одновременную задачу с рабочей памятью во время освоения задачи (Gardner et al., 2013). Кроме того, в отличие от «сухих» аппетитных задач лабиринта с двойным решением, крысы в ​​версиях водного лабиринта задач места и реакции не всегда демонстрируют первоначальное предпочтение стратегии обучения месту. Исследования показывают, что крысы часто не проявляют никаких предпочтений (Макдональд и Уайт, 19 лет).94), либо они сначала отдают предпочтение обучению в ответ, а затем после дальнейшего обучения переходят к обучению на месте (Asem and Holland, 2013, 2015; Farina and Commins, 2020; Gasser et al., 2020). Первоначальное проявление реакции обучения в водном крестообразном лабиринте может быть частично объяснено стрессом при плавании (см. раздел «Эмоциональное возбуждение» ниже).

Массовое обучение в сравнении с разнесенным

Имеющиеся данные свидетельствуют о том, что обучение на месте и в зависимости от реакции также может по-разному выигрывать от массовой и распределенной практики. При массовом обучении испытания разделены короткими интервалами между испытаниями, тогда как при распределенном (или разнесенном) обучении испытания разделены значительно более длинными интервалами между испытаниями. Обучение на месте происходит быстро при использовании протокола массового обучения, в котором испытания разделены на 30 с, и медленно при использовании распределенного протокола, в котором испытания разделены на 15–30 минут (Томпсон и Томпсон, 19). 49; Вингард и др., 2015). Напротив, при использовании протокола массированного обучения обучение реакции происходит медленнее, а при использовании распределенного протокола происходит относительно быстрее (Thompson and Thompson, 1949; Wingard et al., 2015).

Визуальные аспекты учебной среды

На изучение места и реакции в крестообразном лабиринте также может влиять визуальная обучающая среда. В обучающих средах, содержащих большое количество визуальных стимулов вне лабиринта (называемых гетерогенным визуальным окружением), обучение в пространстве усваивается быстрее, чем обучение в ответ, и стратегия обучения в месте предпочтительнее стратегии обучения в ответ в версиях задачи с двойным решением (Tolman et al. ., 1946а, 1947 г.; Блоджетт и Маккатчан, 1948 г .; Блоджетт и др., 1949; Толман и Глейтман, 1949 г .; Галантер и Шоу, 1954 г.; Уоддель и др., 1955). Визуально неоднородная среда обучения может благоприятствовать обучению на месте, позволяя животным приобретать когнитивную пространственную карту (Tolman, 1948). Напротив, обучающая среда, содержащая мало или совсем не содержащая визуальных сигналов дополнительного лабиринта (т. е. однородное визуальное окружение), позволяет обучаться в ответ быстрее, чем обучение на месте, и приводит к использованию стратегий обучения в ответ вместо стратегий обучения на месте в двойном решении. крестообразный лабиринт (Блоджетт и Маккатчен, 19 лет)48; Ричи и др., 1950; Маккатчан и др., 1951; Хилл и Тьюн, 1952 г .; Шарлок, 1955). Интересно, что добавление визуальных подсказок вне лабиринта, которые делают среду обучения более неоднородной, ухудшает усвоение информации в ответной обучающей задаче (Chang and Gold, 2004). Возможно, дополнительные сигналы лабиринта стимулируют приобретение когнитивной карты и что животные, использующие эту когнитивную карту среды обучения, с большей вероятностью пойдут в то же место, где они нашли пищу в предыдущем испытании. Это может привести к ошибкам в задаче обучения реакции, когда поощрение перемещается в разные пространственные местоположения, но позволит точно выполнить задачу обучения на месте, где поощрение остается в постоянном пространственном положении. С другой стороны, относительно однородное визуальное окружение, по-видимому, помешало бы получению пространственной когнитивной карты, что могло бы: (1) привести к более быстрому усвоению ответного обучения за счет устранения пространственных помех; и (2) нарушать обучение месту, не позволяя животному кодировать пространственное расположение подкрепления.

Эмоциональное возбуждение

Другим фактором, сильно влияющим на обучение месту и реакции, являются стресс и тревога (обзор см. Packard and Goodman, 2012; Goodman et al., 2017a; Packard et al., 2018). Поведенческие стрессоры, такие как стресс, связанный с ограничениями, или воздействие запаха хищника, улучшают усвоение информации в задаче на ответное обучение в крестообразном лабиринте и приводят к большему использованию ответного обучения по сравнению с обучением на месте в задаче на два решения в крестообразном лабиринте (Sadowski et al., 2009). ; Леонг и Паккард, 2014; Тейлор и др., 2014). Хроническое сдерживание и непредсказуемый шок также приводят к более быстрому обучению при выполнении других заданий в лабиринте (Kim et al. , 2001; Schwabe et al., 2008). Помимо поведенческих стрессоров, высокие уровни личностной тревожности или гипертонии благоприятствуют обучению реакции в крестообразном лабиринте и в водном лабиринте Морриса с двойным решением (Robertson et al., 2008; Wells et al., 2010; Hawley et al. ., 2011). Наконец, условные эмоциональные стимулы (например, тон, ранее сопровождаемый ударом тока) также могут усиливать ответное обучение и приводить к более широкому использованию ответных стратегий обучения по сравнению со стратегиями обучения в крестообразном лабиринте (Leong et al., 2015; Goode et al. ., 2016). Представление условного эмоционального стимула может аналогичным образом способствовать использованию стратегии обучения реакции в водном лабиринте Морриса с двумя решениями (Hawley et al., 2013).

Системные инфузии гормонов стресса (например, кортикостерона или адреналина) или анксиогенных препаратов (например, антагонисты α-2-адренорецепторов йохимбин или RS 79948-197), по-видимому, имитируют эффекты личностной тревожности и поведенческих стрессоров за счет усиления обучения реакции (Packard and Вингард, 2004 г. ; Эллиот и Паккард, 2008 г.; Вингард и Паккард, 2008 г.; Паккард и Габриэле, 2009 г.; Леонг и др., 2012 г.). Усиливающий эффект кортикостерона или RS 79948-197 на обучение реакции может быть заблокирован одновременным введением анксиолитических препаратов (Leong et al., 2012; Goodman et al., 2015). Важно отметить, что усиление ответного обучения после стресса/тревоги было продемонстрировано не только у крыс, использующих задания в крестообразном лабиринте (Packard and Wingard, 2004), но также наблюдалось при использовании ответного обучения или заданий на запоминание «привычки», разработанных для людей (Schwabe и др., 2007, 2008, 2010, 2013; Швабе и Вольф, 2009, 2010; Гензель и др., 2014 г.; Гольдфарб и др., 2017; Гудман и др., 2020 г.; Зербес и др., 2020).

Повышение обучаемости в ответ может быть связано с ухудшением воздействия стресса/тревоги на обработку пространственной памяти. Инфузии анксиогенных препаратов ухудшают усвоение в версии крестообразного лабиринта для обучения на месте, а аналогичные дозы улучшают усвоение ответного обучения (Wingard and Packard, 2008; Packard and Gabriele, 2009; Sadowski et al. , 2009). В соответствии с идеей о том, что системы памяти, опосредующие обучение месту и реагированию, конкурируют друг с другом в некоторых учебных ситуациях (Poldrack and Packard, 2003), стресс/тревога могут усилить реагирование на обучение и привести к более широкому использованию стратегий реагирования на обучение косвенно, нарушая функцию. системы памяти, опосредующей обучение месту.

Биологический пол

Потенциальное влияние биологического пола на обучение на месте и реакции также подвергалось некоторым исследованиям. Как было рассмотрено ранее, крысы обычно предпочитают стратегию обучения на месте на ранних стадиях обучения в крестообразном лабиринте с двумя решениями и постепенно переходят к стратегии обучения в ответ после интенсивного дополнительного обучения; однако недавние данные показывают, что только самцы крыс демонстрируют этот сдвиг в предпочтениях, тогда как предпочтение стратегии самок крыс зависит от уровня эстрогена (обзоры см. Korol, 2004, 2019).). Самки крыс в период проэструса (т. е. когда уровни эстрогена высоки) преимущественно демонстрируют обучение на месте, тогда как самки крыс в период эструса (т. е. когда уровни эстрогена относительно низки) преимущественно демонстрируют ответное обучение (Korol et al., 2004; см. также Korol and Kolo). , 2002; Зурковский и др., 2006, 2007; Зурковский и др., 2011). Напротив, другие исследования не выявили предпочтения между стратегиями пространственного развития и стратегиями «стимул-реакция» у самок крыс, даже если принять во внимание эстральный цикл, по сравнению с самцами крыс, которые продолжают демонстрировать предпочтения в обучении либо по месту, либо по реакции в различных условиях (Grissom et al. и др., 2012, 2013; Хоули и др., 2012). Кроме того, мужчины и женщины существенно не отличаются друг от друга с точки зрения предпочтения стратегии в различных задачах с двойным решением (например, Iaria et al., 2003; Schwabe et al., 2007, 2008; Andersen et al., 2012). ; Швабе и Вольф, 2012).

Конец спора о месте и реакции

Общее наблюдение о том, что относительное преобладание обучения на месте и реакции зависит от множества экспериментальных переменных, обеспечило потенциальное разрешение спора о месте и реакции 1940–50-х годов. В часто цитируемой обзорной статье, обобщающей открытия той эпохи, Фрэнк Рестл (известный в то время когнитивный психолог) сказал следующее: или «ответный» ученик. Крыса в лабиринте будет использовать все соответствующие сигналы, а важность любого класса сигналов зависит от количества соответствующей стимуляции, а также от сенсорных способностей животного… Общий вывод автора заключается в том, что дальнейшие «окончательные» исследования Противоречие между местом и реакцией, чтобы доказать, что крысы по своей природе обучаются либо месту, либо реакции, было бы бесплодным … (Рестле, 1957, стр. 226–227).

Разумно предположить, что общий вывод Рестла о том, что дальнейший анализ вопроса «место против ответа» будет «бесплодным», вероятно, поддержали его современники. В комментарии к обзору Рестла, который был опубликован примерно десятилетие спустя, отмечалось, что «с момента появления статьи Рестла было опубликовано несколько дальнейших исследований, посвященных проблеме места и ответа» и что «маловероятно, что проблема когда-либо исчезнет». быть вновь открытым в его более ранней форме» (Goldstein et al., 1965, с. 229). Оглядываясь назад, мы можем определить, что это предсказание было верным — исследователей больше не беспокоило, какой вид обучения был более «естественным» для животного. Однако эти авторы не смогли предвидеть, насколько ценными станут задачи обучения места и реакции, когда более поздние исследователи начали изучать нейронные субстраты обучения и памяти.

Следует подчеркнуть, что исследования нейробиологии обучения на месте и реакции проводились не только в крестообразном лабиринте, но и во многих других задачах лабиринта. Таким образом, прежде чем обсуждать нейробиологию этих различных видов обучения, будет важно кратко рассмотреть такие альтернативные подходы к изучению обучения на месте и реакции.

Альтернативные обучающие задачи на место и реакцию

Задачи в виде крестообразного лабиринта, созданные в лабораториях Толмена и Блоджетта, т. позже использовал задачи для изучения Hullian SR и Tolmanian когнитивных взглядов на обучение. Однако не все исследователи воспроизвели оригинальные конструкции; некоторые продолжали модифицировать их или разработали совершенно новые задачи для изучения места и обучения реакции (например, виртуальные версии крестообразного лабиринта с двумя решениями; рис. 4D). Эти новые задачи позволили исследователям изучить другие аспекты изучения места и реакции, а также предоставили определенные преимущества по сравнению с первоначальными проектами. Ниже приведен список некоторых альтернативных методов изучения места и реакции.

Задания «Вода плюс лабиринт»

Учебные задания на место и реакцию, включая задачу двойного решения, можно легко выполнять в водном крестообразном лабиринте (например, Schroeder et al., 2002; Packard and Wingard, 2004; Wingard and Паккард, 2008). Эти задачи выполняются так же, как и в описанных выше аппетитных версиях с пищевым подкреплением. Однако вместо того, чтобы крысы бегали за едой, крыс помещают в крестообразный лабиринт, наполненный водой, и они должны плыть к невидимой спасательной платформе, спрятанной в одном из рукавов ворот. Таким образом, в отличие от аппетитных версий обучающих задач «место и реакция», которые включают положительное подкрепление (т. е. пищевое вознаграждение), водный крестообразный лабиринт предполагает отрицательное подкрепление (т. е. подъем на невидимую платформу, чтобы выбраться из воды). Водный крестообразный лабиринт дает некоторые преимущества по сравнению с первоначальными задачами с подкреплением аппетита. В то время как животные, обученные в аппетитных версиях, должны быть ограничены в еде в течение нескольких дней, чтобы мотивировать поведение по поиску пищи, животные, обученные в водном лабиринте, не нуждаются в какой-либо предварительной депривации пищи. Отсутствие необходимости лишать лабораторных животных пищи не только экономит время, но и исключает потенциальные смешанные переменные, такие как влияние голода и голодания на обучение и память. Кроме того, животные, как правило, усваивают версии задачи в водном лабиринте намного быстрее, чем версии с аппетитом, что позволяет исследователям быстрее проводить эксперименты и увеличивать производительность экспериментов. Наконец, задачи водного крестообразного лабиринта, по-видимому, зависят от тех же нейробиологических систем, что и задачи аппетита (Schroeder et al., 2002; Compton, 2004; Asem and Holland, 2015), что позволяет предположить, что лежащие в основе механизмы обучения также могут быть такими же. . Однако, как отмечалось ранее, задачи в водном лабиринте отличаются от исходных задач в «сухом» лабиринте, вызывающих аппетит, тем, что эмоциональное возбуждение, вызванное стрессом от плавания, потенциально модулирует формирование памяти и предпочтение стратегии в водном лабиринте (см. раздел «Эмоциональное возбуждение» выше).

Лабиринт с радиальными рукавами

В лабиринте с радиальными рукавами изучение места и реакции можно оценить с помощью версий лабиринта «выиграл-остайся» и «выиграй-сдвиг». В радиальном лабиринте с реакцией S-R или в радиальном лабиринте «выиграл-остайся» (Packard et al., 1989; рис. 5A) четыре из восьми ответвлений в радиальном лабиринте подкрепляются и сигнализируются световым стимулом, и крысы могут пройти к каждому из них. освещенные руки дважды в течение ежедневной тренировки, чтобы достать еду. В этой задаче животные предположительно приобретают S-R-ассоциацию между световым стимулом (S) и реакцией на приближение (R), тогда как входы в неосвещенные рукава оцениваются как ошибки. С другой стороны, в версии радиального лабиринта «место обучения» или «выигрышной смены» (рис. 5B) крысы могут посетить каждое из восьми ответвлений один раз в течение ежедневной тренировки, чтобы получить пищевое вознаграждение, в то время как повторные входы в ранее посещенные руки засчитываются как ошибки. Важно отметить, что руки, содержащие пищу, не отмечены какими-либо проксимальными сигналами, и поэтому животное должно, предположительно, полагаться на аллоцентрические пространственные сигналы, чтобы определить, какие руки уже были посещены, а какие руки все еще содержат пищу. Следует отметить, что, хотя исследования с использованием радиального лабиринта продемонстрировали различные роли гиппокампа и стриарной нервной системы в обучении и памяти, радиальный лабиринт также был полезен для демонстрации того, как эти две системы могут взаимодействовать в кооперативном режиме. Макдональдс и Уайт, 19 лет95).

Рисунок 5 . Обучение месту и реакции в радиальном лабиринте с восемью рукавами. (A) В радиальном лабиринте «выиграй-остайся» световые сигналы сигнализируют о наличии еды на конце каждого рукава. Эта задача способствует обучению реакции S-R до такой степени, что световые сигналы (S) становятся связанными с поведением приближения (R). (B) В радиальном лабиринте win-shift крыса должна использовать пространственные сигналы вне лабиринта, чтобы найти пищу и избежать повторного входа в руки, в которых еда уже была извлечена, тем самым способствуя использованию обучения на месте. (C) Виртуальная версия радиального лабиринта с двойным решением 4/8 может быть использована для изучения относительного использования обучения на месте и реакции у людей. Каждое испытание этой задачи разделено на две части (Часть 1 и Часть 2). Во время части 1 четыре из восьми рукавов заблокированы стеной, и участнику предлагается войти в четыре открытых рукава и найти спрятанные призовые предметы. Во время части 2 все рукава открыты, и участник получает указание извлечь оставшиеся объекты вознаграждения из рукавов, которые ранее были заблокированы. Чтобы избежать повторного входа руками, участники могут использовать стратегию обучения месту (т. е. обращаться к пространственным сигналам вне лабиринта, чтобы направлять поведение к правильным рукам) или стратегию обучения реакции (т. е. запоминать серию эгоцентрических реакций, ведущих к правильные руки). Во время последующего испытания зонда пространственные сигналы вне лабиринта блокируются из поля зрения, что препятствует использованию стратегии места. Таким образом, большее количество ошибок во время этого зондирующего испытания предполагает использование стратегии места, тогда как меньшее количество ошибок предполагает использование стратегии ответа (изображения из Bohbot et al. , 2012). (D) 4-летний ребенок ищет награду в обучающей версии радиального лабиринта с восемью ответвлениями (изображение из Overman et al., 1996).

Интересно, что эти задачи в радиальном лабиринте, хотя в основном они проводились с грызунами, также были адаптированы для изучения обучения на месте и реакции у людей. Эти задачи обычно включают созданные компьютером лабиринты, в которых субъект может перемещаться с помощью клавиатуры или джойстика (см. рис. 5D; например, Bohbot et al., 2004, 2007; Banner et al., 2011; Horga et al., 2015; и др., 2016b; Гудман и др., 2020). Тем не менее, некоторые исследователи изучили «обучение места и реакции» с помощью встроенного в масштабе лабиринта с радиальными рукавами, который люди-участники могут пройти в реальном пространстве (см. рис. 5D; например, Overman et al., 19).96).

Версия лабиринта с радиальными рукавами с двумя решениями также может быть использована для оценки относительного использования стратегий обучения места и реакции у людей (рис. 5C). В радиальном лабиринте с двумя решениями (Iaria et al., 2003) участники перемещаются по виртуальному лабиринту и извлекают спрятанные призовые объекты, перемещаясь к концам некоторых ответвлений. Учитывая, что в удаленной виртуальной среде есть множество пространственных сигналов, включая горы и деревья, участники могут использовать пространственные сигналы, чтобы определить, какие руки содержат объекты вознаграждения. Однако участник может также использовать эгоцентрическую стратегию ответа, изучая последовательность поворотов, ведущих к правильным рукам. Чтобы определить, какую стратегию использовали участники, можно провести пробный тест, в котором стены окружают лабиринт и не позволяют субъекту использовать дистальные пространственные сигналы. Таким образом, большее количество ошибок во время пробного теста будет означать, что испытуемые использовали стратегию обучения на месте, тогда как небольшое количество ошибок предполагает, что испытуемые использовали стратегию обучения в ответ. Кроме того, как одно из преимуществ проведения экспериментов с людьми, участников также могут опросить и попросить сообщить, как они решили задачу. По этим ответам исследователи могут определить, использовали ли участники стратегию обучения месту или реакции.

Водный лабиринт Морриса

Помимо лабиринта с радиальными рукавами, изучение места и реакции можно также исследовать с помощью водного лабиринта Морриса (см. рис. 6; McDonald and White, 1994; Devan and White, 1999; Devan et al., 1999). ; Ли и др., 2008, 2014). В стандартной версии водного лабиринта Морриса для обучения месту (рис. 6В; Morris, 1984) крыс выпускают в круговой бассейн с водой из разных исходных положений, и они должны полагаться на аллоцентрические пространственные объекты в среде лабиринта, чтобы изучить пространственное положение. невидимой спасательной платформы. В версии с ответным обучением или «подсказкой» (рис. 6А) платформа для побега визуально подсвечивается, так что животное может приобрести ассоциацию S-R, позволяющую платформе под подсказкой (S) вызвать поведение приближения (R). Платформа с сигналами также перемещается в разные пространственные местоположения во время обучения, что делает стратегию пространственного обучения ненадежной. В версии с двойным решением (рис. 6C) сигнальная платформа остается в одном и том же пространственном положении на протяжении обучения, позволяя животным приобретать либо стратегию пространственного обучения (т. идите на платформу с сигналами). Какую стратегию обучения использовало животное, можно оценить с помощью пробного испытания, в котором платформа с сигналом перемещается в новое пространственное положение. Если крыса продолжает плыть к исходному пространственному местоположению, считается, что крыса приобрела стратегию обучения месту, тогда как, если крыса следует за платформой с сигналом к ​​новому пространственному местоположению, считается, что крыса приобрела стратегию обучения реакции.

Рисунок 6 . Место и реакция обучения в водном лабиринте. (A) В задаче водного лабиринта по сигналу платформа либо видна (т. е. сделана из заметного непрозрачного материала и/или расположена над поверхностью воды), либо на нее указывает проксимальный объект (например, прикрепленный белый флажок). на платформу). Во время обучения платформу поворачивают в разные квадранты лабиринта, и животное должно научиться ассоциировать видимый стимул (S) с поведением при приближении к плаванию (R). (B) В задаче с пространственным водным лабиринтом без подсказок платформа остается в неизменном пространственном положении и явно скрыта под поверхностью воды (платформа может состоять из прозрачного материала или вода может быть пропитана непрозрачным красителем). Следовательно, крыса должна использовать пространственные сигналы вне лабиринта, чтобы узнать местонахождение скрытой платформы. (C) В версии водного лабиринта с двумя решениями визуально обозначенная платформа остается в одном и том же пространственном положении на протяжении начального обучения. Во время более позднего пробного теста сигнал перемещается в другой квадрант лабиринта. Если крыса продолжает плыть в одно и то же место в пространстве, ее называют обучающейся на месте. Если крыса приближается к видимому сигналу, ее называют обучающейся реакцией.

Лабиринт Барнса

Изучение места и реакции также было исследовано с использованием лабиринта Барнса (Harrison et al., 2006; Rueda-Orozco et al., 2008; Wahlstrom et al., 2018). Лабиринт Барнса представляет собой большую круглую платформу с рядом отверстий по периметру, где одно из этих отверстий ведет к небольшому отсеку для побега под лабиринтом. В стандартной версии обучения месту животное может использовать дистальные сигналы, чтобы определить пространственное расположение отверстия для побега (Barnes, 1979). В версии с сигнальным или ответным обучением выходное отверстие расположено в разных пространственных точках на протяжении обучения, но надежно отмечено проксимальным визуальным сигналом (Reiserer et al., 2007). Относительное использование места и обучение реакции также можно исследовать с помощью версии лабиринта Барнса с двумя решениями, в которой выходное отверстие расположено в постоянном пространственном положении, а также надежно определяется с помощью проксимального визуального стимула (Harrison et al. , 2006). Во время последующего пробного зонда все отверстия блокируются, а проксимальный стимул перемещается в другое отверстие. Проведение большего количества времени рядом с исходным пространственным местоположением свидетельствует о стратегии обучения на месте, тогда как проведение большего количества времени рядом с проксимальным сигналом свидетельствует о стратегии обучения в ответ. Относительное использование места и ответного обучения также можно наблюдать, анализируя использование стратегии во время стандартной версии обучения на месте в лабиринте Барнса (Harrison et al., 2006; Rueda-Orozco et al., 2008). Если животные бегут прямо к отверстию для побега, считается, что они используют стратегию обучения на месте. Однако, если животные подбегают к произвольной дыре и последовательно исследуют каждую соседнюю дыру, пока не найдут правильное отверстие, ведущее в отсек для побега, считается, что они используют стратегию обучения реакции.

Обесценивание результатов

Процедуры обесценивания результатов могут быть добавлены к задачам изучения лабиринта места и реакции, чтобы проверить, является ли поведение крысы при беге по лабиринту целенаправленным или привычным. Реакция обучения в крестообразном лабиринте традиционно считалась типом выученной привычки S-R в той степени, в которой поворотное поведение (R) предположительно происходит автоматически в ответ на стимулы окружающей среды (S). Это контрастирует с обучением на месте, которое требует, чтобы животное целенаправленно направляло поведение к цели, используя когнитивную карту. В 19В 80-х годах исследователи начали использовать девальвацию результатов в качестве теста для определения того, является ли выученное поведение привычным (Adams and Dickinson, 1981a,b; Adams, 1982; Dickinson and Nicholas, 1983; Dickinson et al., 1983). Обесценивание результатов может быть достигнуто разными способами, но, возможно, наиболее часто это осуществляется путем сочетания пищевого подкрепления с инъекцией хлорида лития, которая вызывает заболевание. Позже, если животное продолжает выполнять выученное поведение, несмотря на то, что подкрепление было обесценено, такое поведение считается привычным. С другой стороны, если животное больше не выполняет поведение после девальвации, поведение считается целенаправленным. Хотя девальвация результатов изначально использовалась в инструментальных обучающих задачах (например, нажатие на рычаг), эта процедура также может применяться в обучающих задачах на месте и в ответ, чтобы определить, является ли бег по лабиринту привычным или целенаправленным. Исследования подтвердили, что ответное обучение в крестообразном лабиринте, в дополнение к ответному обучению в других задачах лабиринта, относительно нечувствительно к обесцениванию результата, предполагая, что усвоенное поведение является привычным (Sage and Knowlton, 2000; Lin and Liao, 2003; De Leonibus et al., 2011; Smith et al., 2012; Smith and Graybiel, 2013; Kosaki et al., 2018). Напротив, обучение на месте оказывается чувствительным к обесцениванию результатов, что свидетельствует о том, что обучение на месте является целенаправленным (Sage and Knowlton, 2000; Lin и Liao, 2003; De Leonibus et al., 2011; Kosaki et al., 2018).

Задания на изучение места и реакции плюс-лабиринт у других видов

Хотя в большинстве исследований с использованием заданий на обучение месту и реакции использовались крысы и, в меньшей степени, мыши и люди, эти задания были адаптированы для использования во многих разнообразие видов. Цель многих из этих экспериментов состояла в том, чтобы измерить способности к когнитивному картированию или спонтанное использование различных навигационных стратегий среди ряда видов, представляющих разные ветви филогенетического древа. Взятые вместе, эти данные по видам могут позволить сделать выводы относительно эволюции пространственной навигации (см. Jacobs, 2003; Salas et al., 2003).

Версии заданий на изучение места и реакции в виде крестообразных лабиринтов, включая задание на двойное решение, использовались для изучения обучения и памяти у кур (Brookshire et al., 1961), наземных жаб (Daneri et al., 2011) , лошади (Parker et al., 2009), саламандры (Kundey et al., 2016) и черепахи (López et al., 2000; Rodríguez et al., 2002; см. рисунок 4E). В дополнение к исследованиям наземных и земноводных животных, водные версии крестообразных лабиринтов для изучения места и реакции были легко использованы для изучения памяти у различных водных животных, включая акул (Fuss et al., 2014a,b), пресноводных скаты (Schluessel and Bleckmann, 2005), каракатицы (Alves et al. , 2007), раки (Tierney and Andrews, 2013) и золотые рыбки (Rodríguez et al., 19).94, 2002; Салас и др., 1996а,б; Ромагера и Маттиоли, 2008 г.; Макарое и др., 2016). Помимо изучения нормальных способностей к обучению и памяти, в некоторых исследованиях использовались методы повреждения для изучения нейронных субстратов обучения на месте у этих животных. Поражения, доставленные в определенные области конечного мозга, которые, как считается, гомологичны гиппокампу млекопитающих, вызывают дефицит обучения на месте, но не ответного обучения у акул (Fuss et al., 2014a,b), золотых рыбок (Salas et al., 1996a, b; Rodríguez et al., 2002; Romaguera and Mattioli, 2008) и черепахи (Rodríguez et al., 2002). Эти находки демонстрируют схожую роль образования гиппокампа в выполнении функций обучения месту у разных видов, предполагая, что онтогенез обработки пространственной памяти гиппокампа может иметь раннее эволюционное происхождение.

Нейронные механизмы обучения месту и реакции: свидетельство множественных систем памяти

Как отмечалось выше, использование задач крестообразного лабиринта обучения места и реакции начало сокращаться после разрешения спора о месте и реакции в 1950-х годах. . Однако спустя десятилетия эти задачи в лабиринте были возрождены, когда исследователи начали изучать нейробиологию обучения и памяти. В частности, задачи обучения места и реакции стали весьма полезными в исследованиях множественных систем памяти. Гипотеза множественных систем памяти предполагает, что разные типы памяти обрабатываются разными частями мозга. Эта гипотеза к настоящему времени получила широкое экспериментальное подтверждение (исторические обзоры см. в Squire, 2004; White et al., 2013), и большая часть доказательств получена в результате использования различных обучающих задач на место и реакцию. Важно отметить, что в то время как ранние исследования систем памяти предполагали, что системы памяти работают независимо и параллельно, также есть много свидетельств того, что системы памяти могут взаимодействовать друг с другом кооперативно или конкурентно (Poldrack and Packard, 2003; Hartley and Burgess, 2005).

Задания на изучение места и реакции имеют большое преимущество в исследованиях систем памяти, поскольку они обеспечивают перекрывающуюся экспериментальную основу для изучения двойных диссоциаций. При использовании задач обучения на место и реакцию можно продемонстрировать двойную диссоциацию, когда повреждение области мозга A ухудшает обучение на месте, но не обучение на реакцию, тогда как повреждение области мозга B ухудшает обучение на реакцию, но не обучение на месте. Основное преимущество использования задач обучения месту и реакции для демонстрации двойных диссоциаций заключается в том, что эти задачи включают сходные мотивационные, сенсорные и моторные процессы, тогда как принципиальное различие между задачами заключается в типе памяти, необходимой для решения каждой задачи. Таким образом, если повреждение области мозга А нарушает усвоение информации в задаче на изучение места, но не на задачу научения в ответ, эффект может быть связан с нарушением типа памяти, лежащего в основе обучения на месте, а не с нарушением какого-либо немемического процесса. . Напротив, если повреждение области мозга А нарушило обучение как месту, так и реакции, было бы трудно исключить возможность того, что область мозга А опосредует немемический процесс, общий для обеих задач. В настоящем разделе рассматриваются доказательства того, что обучение месту и реакции опосредовано анатомически различными нервными системами, что обеспечивает сильную экспериментальную поддержку существования множественных систем памяти в мозге млекопитающих.

Области мозга

Гиппокамп и DLS

Двумя основными структурами мозга, которые участвуют в обучении на месте и ответной реакции в крестообразном лабиринте, являются гиппокамп и DLS. Дифференциальные мнемонические функции гиппокампа и DLS в опосредовании когнитивно-пространственной и SR-привычной памяти, соответственно, были первоначально продемонстрированы с использованием версий восьмиконечного радиального лабиринта «выиграй-сдвиг» и «выиграй-остайся», а также версий обучения «место и реакция» Водный лабиринт Морриса (Packard et al., 1989; Паккард и Макго, 1992 г.; Паккард и др., 1992; Деван и Уайт, 1999; Деван и др., 1999; Макдональд и Уайт, 2013 г.). В более поздних исследованиях использовались классические задачи Толмена и Блоджетта в крестообразном лабиринте для изучения потенциальных различий в мнемонических функциях гиппокампа и DLS. В задаче крестообразного лабиринта с двойным решением временная инактивация гиппокампа приводит к преимущественному использованию стратегии обучения реакции, тогда как инактивация DLS приводит к использованию стратегии обучения места (Packard and McGaugh, 19).96; Рамос и Вакеро, 2000 г.; Рамос, 2002 г.; Миддей и др., 2004а; Инь и Ноултон, 2004 г.; Эспина-Марчант и др., 2009 г.; Шумахер и др., 2011; Джейкобсон и др., 2012 г.; но см. также Middei et al., 2004b). Кроме того, внутрижелудочковая инфузия бета-амилоидного белка, который связан с болезнью Альцгеймера и дефицитом памяти гиппокампа, приводит к более широкому использованию обучения в ответ, чем обучение на месте, в версии задачи с двойным решением (Ammassari-Teule et al., 2002), и аналогичные наблюдения были сделаны на модели болезни Альцгеймера у трансгенных мышей (Middei et al., 2004a, 2006).

Кроме того, обратимое или необратимое поражение гиппокампа ухудшает усвоение информации в месте обучения в крестообразном лабиринте, но не в ответ на обучающее задание в крестообразном лабиринте (Oliveira et al. , 1997; Ramos, 2002; Schroeder et al., 2002). ; Chang and Gold, 2003a; Compton, 2004; Boucard et al., 2009; Jacobson et al., 2012). На самом деле, в соответствии с конкурентным взаимодействием между системами памяти, иногда инактивация гиппокампа связана с усиленным усвоением информации в ответном обучении в крестообразном лабиринте (Schroeder et al., 2002; Chang and Gold, 2003a; Compton, 2004). Напротив, обратимое или необратимое поражение DLS ухудшает усвоение информации в крестообразном лабиринте с ответом на одно решение, но не в версии задачи с обучением на месте (Thompson et al., 19).80; Чанг и Голд, 2004 г.; Комптон, 2004 г.; Асем и Холланд, 2015 г.; Горницкая-Павляк и др., 2015).

Обширные исследования, связывающие гиппокамп и DLS с обучением месту и реакции, укрепили общее мнение о том, что эти области мозга служат основными узлами различных систем памяти (Squire, 2004; White et al., 2013). Согласно этой точке зрения, гиппокамп является центральной нервной структурой системы памяти, опосредующей процессы когнитивного пространственного обучения и памяти (O’Keefe and Nadel, 19). 78). Напротив, DLS является центральной нейронной структурой системы памяти S-R, ответственной за связывание сенсорных стимулов (S) в среде обучения с поведенческими реакциями (R; обзоры см. Packard, 2009a; Goodman and Packard, 2016b).

Дорсомедиальное полосатое тело

Дорсальное полосатое тело функционально гетерогенно. В то время как DLS опосредует память о привычках SR, DMS опосредует механизмы когнитивной памяти, сходные с гиппокампом (для обзора см. Devan et al., 2011). В соответствии с ролью в пространственном обучении, поражения DMS нарушают восприятие в различных задачах пространственной памяти, зависящих от гиппокампа, включая версии радиального лабиринта для обучения месту (Devan, 19).97) и водный лабиринт Морриса (Devan and White, 1999; Devan et al., 1999; Lee et al., 2014). В крестообразном лабиринте с двойным решением предтренировочные поражения DMS нарушают использование стратегии обучения на месте и приводят к более широкому использованию стратегии обучения в ответ (Yin and Knowlton, 2004). Роль DMS в приобретении/выражении стратегии обучения месту можно частично объяснить дофаминергическими механизмами (Lex et al., 2011) и синаптической пластичностью в DMS (Hawes et al., 2015).

DMS также играет важную роль в задачах обратного обучения. В задаче обучения реверсированию «реакция» крыс сначала обучают в версии крестообразного лабиринта для обучения реагированию, чтобы они последовательно реагировали поворотом тела (например, поворотом налево), а затем обучают реверсированию, при котором противоположное тело поворачивается. (например, поворот направо) подкрепляется. В задаче на переворот «место» крыс сначала тренируют в версии крестообразного лабиринта, обучающей месту, в которой укрепляется постоянное пространственное положение (т. , Западный рукав) усилен. Обратимые или необратимые поражения DMS перед тренировкой ухудшают обучение как по месту, так и по реакции (Pisa and Cyr, 19).90; Рагозино и др., 2002а; Рагоццино и Чой, 2004). Точно так же поражения DMS нарушают переключение со стратегии обучения реакции на стратегию, управляемую сигналом, и наоборот (Ragozzino et al. , 2002b). Глутаматергические и холинергические механизмы в DMS могут быть необходимы для обратного обучения в этих задачах крестообразного лабиринта (Ragozzino et al., 2002b; Ragozzino, 2003; Palencia and Ragozzino, 2004, 2006; Ragozzino and Choi, 2004; Tzavos et al., 2004 г.; МакКул и др., 2008 г.; Уотсон и Стэнтон, 2009 г.; Рагозино и др., 2009 г.; Бейкер и Рагоццино, 2014 г.).

Наконец, подобно хорошо зарекомендовавшей себя роли в инструментальном нажатии на рычаг (Yin et al., 2005a,b), DMS также участвует в целенаправленном реагировании в задаче «крестообразный лабиринт» с двумя решениями. В одном эксперименте мышей тщательно обучили решению задачи с двумя решениями, так что они в основном выражали стратегию обучения реакции во время пробного испытания. Впоследствии пищевое подкрепление было обесценено путем сочетания подкрепления с вызывающей тошноту инъекцией хлорида лития (De Leonibus et al., 2011). Несмотря на девальвацию, животные продолжали искать пищевое вознаграждение, что указывает на S-R / привычную реакцию. Однако при выпуске из противоположной стартовой руки мыши, получившие девальвацию подкрепления, уменьшили использование стратегии обучения реакции, предполагая, что девальвация может влиять на обучение реакции только тогда, когда животное высвобождается из другого исходного положения. Напротив, стратегия обучения ответу сохранялась у животных с поражениями DMS, несмотря на девальвацию (De Leonibus et al., 2011). В целом, учитывая, что DMS получает информацию от контуров гиппокампа и миндалевидного тела (Groenewegen et al., 1987), DMS хорошо подходит для интеграции пространственной и мотивационной информации, чтобы помочь генерировать соответствующие поведенческие результаты в ситуациях обучения в лабиринте. Это может включать как: (1) помощь в разработке и реализации стратегии обучения на месте; и (2) переключение между стратегиями, когда ранее изученная стратегия больше не приводит к ценному результату.

Миндалевидное тело

Еще одна область мозга, участвующая в обучении на месте и в ответ, — это базолатеральный комплекс миндалевидного тела (БЛА). Хотя BLA не является критически необходимым для усвоения информации о месте или ответной реакции, эта область мозга все же может быть задействована в той степени, в которой она опосредует эмоциональную модуляцию памяти в этих задачах (обзоры см. Packard, 2009).б; Паккард и Гудман, 2012 г.; Швабе, 2013; Гудман и др., 2017а; Паккард и др., 2018). Как описано выше, стресс/тревога улучшает усвоение ответного обучения и ухудшает усвоение обучения на месте. Кроме того, стресс/тревога приводит к большему относительному использованию стратегии обучения реакции в крестообразном лабиринте с двумя решениями. BLA был критически вовлечен в каждый из этих эффектов. Введения анксиогенных препаратов внутри BLA достаточно, чтобы усилить обучение реакции, ухудшить обучение месту и привести к более широкому использованию стратегии обучения реакции в крестообразном лабиринте с двумя решениями (Packard and Wingard, 2004; Elliott and Packard, 2008; Wingard). и Паккард, 2008 г.). Кроме того, усиление реакции обучения, вызванное воздействием запаха хищника или системным введением анксиогенных препаратов, блокируется нервной инактивацией BLA (Elliott and Packard, 2008; Packard and Gabriele, 2009). ; Леонг и Паккард, 2014 г.). Точно так же усиление реакции обучения, вызванное воздействием стимула, обусловленного страхом (т. е. тона, ранее сочетавшегося с шоком), блокируется после введения внутрь BLA антагониста β-адренергических рецепторов пропранолола (Goode et al., 2016).

Медиальная префронтальная кора

Медиальная префронтальная кора участвует в различных когнитивных исполнительных функциях и, в частности, играет решающую роль в поведенческой гибкости (Ragozzino et al., 19).99а,б; Блок и др., 2007 г.; Рагозино, 2007). Поведенческую гибкость можно определить в целом как способность адаптировать свое поведение к изменяющимся требованиям задачи. Это включает в себя переключение стратегии, и действительно, медиальная префронтальная кора участвует в переключении от стратегии обучения месту к стратегии обучения реакции, и 90 649, наоборот, 90 650 (Ragozzino et al., 1999a,b; Rich and Shapiro, 2009). Инфралимбическая область сама по себе необходима для выражения реакции обучения в условной задаче Т-образного лабиринта (Smith et al. , 2012; Smith and Graybiel, 2013). Например, оптогенетическое нарушение инфралимбической активности нарушает восстановление ответного обучения в условном Т-образном лабиринте; однако после того, как сформировалась новая реакция поворота, ингибирование инфралимбической области во второй раз нарушает экспрессию этой новой реакции поворота и восстанавливает экспрессию старой реакции поворота (Smith et al., 2012).

В то время как DLS, гиппокамп, миндалевидное тело и медиальная префронтальная кора представляют собой основные области мозга, обычно связанные с обучением месту и реакции, есть некоторые свидетельства того, что другие области мозга вовлечены в эти задачи, включая дополнительные стриарные и корковые области мозга (McDaniel et al., 1995; Cahill and Baxter, 2001; Noblejas and Poremba, 2003; Wang et al., 2011; Machado et al., 2014). Эти области мозга могут взаимодействовать в нейронных цепях, чтобы опосредовать когнитивные или SR-привычные механизмы памяти, лежащие в основе успешной работы памяти и использования стратегии в задачах обучения на месте и реакции.

Системы нейротрансмиттеров

Глутамат

Глутамат служит основным возбуждающим нейротрансмиттером в головном мозге и играет важную роль в синаптической пластичности и функции памяти, включая мнемонические процессы, лежащие в основе обучения месту и реакции. В задаче «крестообразный лабиринт» с двойным решением предтренировочное системное введение MK-801, антагониста чувствительного к глутамату рецептора NMDA, не ухудшает начальное усвоение, но уменьшает использование стратегии обучения на месте и увеличивает использование стратегия обучения ответу во время последующего пробного испытания (Mackes and Willner, 2006). В другом исследовании прямые инфузии глутамата после тренировки в гиппокамп или DLS также влияли на относительное использование места и обучения реакции в крестообразном лабиринте с двумя решениями. Как упоминалось ранее, контрольные животные обычно демонстрируют стратегию обучения месту после ограниченного обучения, но затем переходят к использованию стратегии обучения реакции после интенсивного обучения в крестообразном лабиринте с аппетитом. Однако послетренировочное введение глутамата непосредственно в гиппокамп во время первоначального освоения задачи двойного решения связано с использованием стратегии обучения на месте даже после интенсивной тренировки, что позволяет предположить, что внутригиппокампальный глутамат блокирует переход к ответному обучению (Packard). , 1999). Напротив, введение глутамата в DLS после тренировки во время начального обучения в этой задаче приводит к более широкому использованию стратегии обучения реакции во время пробного теста даже после ограниченного обучения, предполагая, что глутамат внутри DLS ускоряет переход к обучению реакции. Паккард, 1999). Кроме того, введение антагониста рецептора NMDA AP5 перед или после тренировки во время DLS ухудшает приобретение/консолидацию памяти в ответной обучающей версии крестообразного лабиринта (Palencia and Ragozzino, 2005; Leong and Packard, 2013). Также стоит подчеркнуть, что исследователи продемонстрировали аналогичную роль гиппокампа и глутаматергических систем DLS в версиях водного лабиринта Морриса для обучения реакциям (Packard and Teather, 19). 97, 1999; Фарина и Комминс, 2020 г.).

Дофамин

Обширные данные указывают на избирательную роль дофамина в гиппокампе и DLS в обучении на месте и ответной реакции, соответственно (например, Packard and White, 1991; Packard and McGaugh, 1994; Packard et al., 1994; Packard and Teather, 1998; Legault и др., 2006). В одном эксперименте с использованием крестообразного лабиринта с обучающей реакцией системное введение либо антагониста дофаминовых D1-рецепторов SCh33390, либо антагониста дофаминовых D2-рецепторов этиклоприда нарушило приобретение ответной обучаемости (Daniel et al., 2006). Напротив, в крестообразном лабиринте с двойным решением истощение запасов катехоламинов в гиппокампе приводило к преимущественному использованию стратегии обучения в ответ (Roschlau and Hauber, 2017).

Электрофизиологические данные также указывают на роль дофамина DLS в ответном обучении во время работы памяти в Т-образном лабиринте. В одном исследовании (Lemaire et al., 2012) животные получали одностороннее истощение дофамина в DLS. Это истощение дофамина было связано с повышенными колебаниями потенциалов локального поля в DLS во время выполнения условного Т-образного лабиринта, но только после интенсивного обучения выполнению этой задачи (Lemaire et al., 2012). В другом исследовании (Eddy et al., 2013) исследователи обнаружили, что бег на колесе улучшает усвоение информации в тактильной/визуальной версии условного Т-образного лабиринта, и это частично зависит от дофаминергических механизмов. То есть интра-DLS инфузия антагониста рецептора D1 SCh33390 улучшал усвоение в условном Т-образном лабиринте у нетренирующихся крыс, но не имел эффекта у тренирующихся крыс. С другой стороны, введение антагониста рецептора D2, этиклоприда, внутрь DLS нарушало освоение Т-образного лабиринта у тренирующихся крыс, но не влияло на нетренирующихся крыс. Таким образом, мнемонический эффект упражнений в этой задаче может зависеть от снижения активности рецептора D1 и повышения активности D2 в DLS (Eddy et al., 2013).

В отличие от DLS, DMS, как обсуждалось выше, опосредует приобретение стратегии обучения места в крестообразном лабиринте с двумя решениями. Некоторые данные указывают на то, что роль DMS в таком обучении может частично зависеть от дофаминергической системы. То есть истощение дофамина в DMS приводит к предпочтительному использованию стратегии обучения реакции по сравнению со стратегией обучения места в крестообразном лабиринте с двумя решениями (Lex et al., 2011). Напротив, дофаминергические нейроны в вентральной области покрышки и черной субстанции также играют роль в относительном использовании места и обучения реакции, поскольку удаление рецепторов NMDA из этих дофаминергических нейронов ухудшает использование стратегии обучения реакции в двойном решении плюс -лабиринт (Wang et al., 2011). Однако другое исследование показало, что ежедневное воздействие атразина в течение 1 года, которое повреждает стриатонигральную дофаминовую систему, не влияло на относительное использование места и обучения реакции в задаче с двойным решением (Bardullas et al., 2013).

Ацетилхолин

Несколько исследований микродиализа показали, что холинергические механизмы могут играть решающую роль в обучении на месте и реакции в крестообразном лабиринте. В задаче с крестообразным лабиринтом с двумя решениями выброс ацетилхолина в гиппокампе повышается в начале обучения (т. е. когда животные обычно используют стратегию обучения в месте) и остается повышенным на протяжении продолжительного обучения (Chang and Gold, 2003b). С другой стороны, высвобождение ацетилхолина в DLS неуклонно возрастает на протяжении обучения и только асимптотно после интенсивного обучения, когда животные начинают выражать ответное обучение во время пробных испытаний (Chang and Gold, 2003b). Кроме того, измерения высвобождения ацетилхолина как до, так и во время тренировки с двумя растворами показывают, что крысы, использующие стратегию обучения реакции в последующем пробном испытании, имели более высокий коэффициент высвобождения ацетилхолина внутри DLS по сравнению с ацетилхолином в гиппокампе (McIntyre et al., 2003). ). Это исследование также показало, что высвобождение ацетилхолина в гиппокампе было намного выше у животных, демонстрирующих стратегию обучения месту, по сравнению с животными, демонстрирующими стратегию обучения реакции (McIntyre et al. , 2003). Сходные результаты, указывающие на роль высвобождения ацетилхолина в гиппокампе и DLS на месте и ответного обучения, соответственно, также были получены в версии задачи Y-лабиринт с двойным решением (Pych et al., 2005a). Кроме того, у крыс, которым давали индуцированный пиритиамином дефицит тиамина, который предположительно имитирует мнемонические нарушения, наблюдаемые при синдроме Вернике-Корсакова, наблюдается большее высвобождение ацетилхолина в стриатуме и большее использование ответного обучения в задаче крестообразного лабиринта с двумя решениями по сравнению с крысами. контрольные крысы (Vetreno et al., 2008).

В дополнение к задаче с двумя решениями, роль ацетилхолина также наблюдалась в задачах с одним решением и ответных обучающих задачах. Высвобождение ацетилхолина в стриатуме выше, когда животных тренируют в ответной обучающей версии задачи крестообразный лабиринт по сравнению с обучающей версией задачи на месте, тогда как высвобождение ацетилхолина в гиппокампе увеличивается аналогичным образом, когда животных обучают на месте или в ответной обучающей задаче. Pych и др., 2005b). Интересно, что высвобождение ацетилхолина в гиппокампе уменьшается, когда задача обучения реакции выполняется в однородном визуальном окружении, что позволяет предположить, что роль гиппокампа в обучении реакции может быть предотвращена за счет уменьшения визуальных сигналов вне лабиринта (Pych et al., 2005b).

Роль ацетилхолина в обучении на месте и реакции также наблюдалась посредством удаления холинергических нейронов в различных областях мозга. Селективная абляция холинергических нейронов в стриатуме ухудшает усвоение информации в условной задаче Т-образного лабиринта, но не мешает обучению места в водном лабиринте Морриса (Kitabatake et al., 2003), предполагая, что ацетилхолин в полосатом теле может избирательно поддерживать ответное обучение. Одна область мозга, участвующая в обучении на месте и в ответ, — это медиальная перегородка / вертикальная часть диагональной полосы (MS / VDB), область мозга, которая высвобождает ацетилхолин в гиппокамп. Хотя поражение MS/VDB нарушает предпочтение стратегии в задаче крестообразного лабиринта с двумя решениями, селективное удаление холинергических нейронов в этой области мозга не влияет на обучение месту и реакции (Cahill and Baxter, 2001). Это предполагает, что роль MS/VDB в выборе стратегии может быть достигнута за счет других систем нейротрансмиттеров, не связанных с ацетилхолином. Однако, в отличие от этого исследования, другой эксперимент показал, что селективная абляция холинергических нейронов MS/VDB усиливает использование стратегии обучения по месту в водном лабиринте Морриса с двумя растворами (Jonasson et al., 2004). Чтобы еще больше усложнить ситуацию, в прямом контрасте с этим исследованием другой эксперимент показал, что токсическая абляция холинергических нейронов MS/VDB нарушала усвоение информации в версии водного лабиринта Морриса, обучаемой на месте, и приводила к более широкому использованию стратегии обучения в ответ, а не на месте. стратегии обучения в версии задачи с двумя решениями (Janis et al., 1998). Причина расхождений между этими исследованиями остается невыясненной.

Что касается того, какие подтипы рецепторов могут быть вовлечены в воздействие ацетилхолина на обучение на месте и реакцию, данные указывают на участие мускариновых ацетилхолиновых рецепторов. Интрагиппокампальное введение антагониста мускариновых рецепторов скополамина ухудшает усвоение версии крестообразного лабиринта с обучением на месте, в то же время сохраняя усвоение в версии крестообразного лабиринта с обучением в ответ (Soares et al., 2013). Напротив, внутрисуставная инфузия скополамина ухудшает усвоение информации в ответном обучающем крестообразном лабиринте, в то же время сохраняя усвоение при обучении в крестообразном лабиринте на месте (Soares et al., 2013). В другом исследовании, в котором использовалась версия водного лабиринта Морриса с двумя решениями, более высокий коэффициент связывания мускариновых рецепторов в гиппокампе по сравнению с DLS был связан с предпочтением стратегии обучения в месте по сравнению со стратегией обучения в ответ (Grissom et al., 2013). ). В этом же исследовании исследователи обнаружили, что более высокое соотношение связывания мускариновых рецепторов в миндалевидном теле по сравнению с гиппокампом было связано со стратегией обучения реакции в водном лабиринте Морриса с двумя растворами (Grissom et al. , 2013). Наконец, высокие уровни холин-ацетилтрансферазы — фермента, участвующего в синтезе ацетилхолина, — были связаны с преимущественным использованием пространственной стратегии по сравнению со стратегией обучения реакции в версии водного лабиринта Морриса с двумя растворами (Hawley et al., 2015). .

Каннабиноиды

Накопленные данные свидетельствуют о том, что эндоканнабиноидная система играет важную роль в процессах памяти, зависящих от DLS (для обзора, Goodman and Packard, 2015a). Исследования показывают, что нарушение или усиление функции эндоканнабиноидной системы может ухудшить обучение реакции. Системные или интра-DLS инфузии агонистов или антагонистов рецептора CB1 были связаны с нарушением восприятия в ответной обучающей задаче с крестообразным лабиринтом (Gerdeman et al., 2006, 2007; Goodman and Packard, 2014). Кроме того, внутри-DLS введение агониста каннабиноидных рецепторов анандамида или антагониста AM251 ухудшает обучение реакции в лабиринте Барнса (Rueda-Orozco et al. , 2008), а системная или внутри-DLS инъекция агониста каннабиноидных рецепторов WIN 55212-2 ухудшает консолидация ответного обучения в водном лабиринте Морриса (Goodman and Packard, 2014).

В отличие от однократного введения каннабиноидов, повторное употребление каннабиса может быть связано с усиленным обучением реакции. История употребления каннабиса людьми приводит к предпочтительному использованию стратегии обучения реакции в виртуальном лабиринте с радиальными рукавами (Bohbot et al., 2013). Ослабляющие и усиливающие эффекты краткосрочного и долгосрочного воздействия каннабиноидов на ответное обучение также наблюдались в задачах инструментального обучения у грызунов (Hilário et al., 2007; Crombag et al., 2010; Nazzaro et al., 2012; Гремель и др., 2016). Наблюдение, что повторное воздействие каннабиноидов усиливает обучение привычной реакции, согласуется с гипотезой о том, что повторное употребление наркотиков может сместить контроль над поведением с гиппокампального когнитивного целенаправленного обучения на обучение реакции DLS, что является потенциальным нейронным механизмом, лежащим в основе зависимости от каннабиса (Goodman and Packard, 2015а, 2016а).

Эстроген

Большое внимание привлекли мнемонические эффекты эстрогена в обучающих задачах на месте и реакции. Как упоминалось выше, то, демонстрируют ли самки крыс обучение месту или ответное обучение в крестообразном лабиринте с двойным решением, частично зависит от эстрального цикла (Korol et al., 2004). Во время проэструса (то есть, когда уровни гормонов яичников высоки) самки крыс предпочтительно используют стратегию обучения месту, тогда как во время эструса (то есть, когда гормоны яичников низки) самки крыс демонстрируют стратегию обучения реакции (Korol et al., 2004). Однако было высказано предположение, что влияние эстрогена на стратегию обучения в крестообразном лабиринте с двумя решениями может проявляться только на ранних стадиях освоения. После того, как задача хорошо усвоена, циклический эстроген не влияет на способность самок крыс использовать стратегию обучения месту или реакции в крестообразном лабиринте с двумя решениями (Schmidt et al., 2009).).

Помимо простого изучения эффектов эндогенного циклического эстрогена, влияние эстрогена на обучение на месте и реакцию можно также продемонстрировать с помощью заместительной терапии эстрогеном у самок крыс после овариэктомии. Замещение эстрогена посредством системного введения эстрогена или селективных агонистов ERα или ERβ улучшает усвоение в версии крестообразного лабиринта с обучением на месте и ухудшает усвоение в версии крестообразного лабиринта с обучением в ответ (Korol and Kolo, 2002; Hussain et al., 2013; Pisani et al., 2015), и аналогичные эффекты эстрогена наблюдались в версиях обучения «место и реакция» восьмилучевого радиального лабиринта (Davis et al., 2005) и башенного лабиринта с открытым полем (Lipatova et al. ., 2014). Кроме того, замещение эстрогена путем введения растительных соединений, обладающих эстрогенными свойствами, может также улучшать усвоение в ходе обучения в крестообразном лабиринте и ухудшать усвоение в ответном обучении в крестообразном лабиринте (Pisani et al., 2012; Neese et al., 2014). Аналогичным образом, в условной задаче Т-образного лабиринта замена эстрогена у крыс с овариэктомией ухудшает начальное усвоение, но усиливает межпространственное смещение установок (Lipatova et al. , 2016). Интересно, что усиливающий эффект очень низких уровней эстрогена на ответное обучение как в задачах крестообразного лабиринта с двойным решением, так и с одним решением (например, Korol and Kolo, 2002) блокируется у самок крыс с предшествующим репродуктивным опытом (Hussain et al. , 2013).

Эффекты эстрогена в этих задачах могут быть связаны с активностью эстрогена в областях, связанных с обучением месту и реакцией, т. е. гиппокамп, DLS и медиальная префронтальная кора. Прямая инфузия эстрадиола в гиппокамп или DLS самок крыс с овариэктомией избирательно усиливает приобретение обучения на месте или ответного обучения, соответственно, в Y-образном лабиринте (Zurkovsky et al., 2007). Кроме того, более широкое использование стратегии обучения месту в крестообразном лабиринте во время проэструса может быть заблокировано инактивацией внутри гиппокампа мусцимолом (McElroy and Korol, 2005). Аналогичные роли гиппокампа и DLS также были продемонстрированы с использованием c — Иммуногистохимическая маркировка Fos. Системное введение эстрадиола связано с повышенной экспрессией c -Fos в зубчатой ​​извилине, DMS и DLS после изучения места в крестообразном лабиринте (Pleil et al., 2011). Напротив, системное введение эстрадиола связано со снижением экспрессии c -Fos в зубчатой ​​извилине, DMS и DLS после усвоения в ответной обучающей версии крестообразного лабиринта (Pleil et al., 2011). Важно отметить, что у контрольных животных приобретение в ответной обучающей задаче было связано с большей c -Fos экспрессия в DLS, тогда как это увеличение блокировалось введением эстрадиола (Pleil et al., 2011). Вызванное эстрадиолом снижение активности c -Fos в DLS может быть одним из факторов, способствующих нарушению обучения в ответ после введения эстрадиола. Помимо гиппокампа и стриарных областей, данные также указывают на роль медиальной префронтальной коры в влиянии эстрогена на обучение на месте и реакцию. Инфузия эстрадиола в медиальную префронтальную кору, но не в переднюю поясную кору, склоняет самок крыс к использованию стратегии обучения на месте, а не стратегии обучения в ответ в крестообразном лабиринте с двумя решениями (Almey et al. , 2014).

Некоторые данные свидетельствуют о том, что эстроген может взаимодействовать с дофаминовой системой, чтобы влиять на обучение месту и реакции. Замена эстрогена у крыс с овариэктомией усиливает ослабляющий эффект системного введения антагониста рецептора D2, этиклоприда, но не ослабляющий эффект антагониста рецептора D1 SCH 23390 на приобретение ответного обучения в крестообразном лабиринте (Daniel et al., 2006). Предпочтение обучения реакции в задаче двойного решения при низких уровнях эстрогена может быть обращено в предпочтение обучения месту после введения либо антагониста рецептора D1 SKF 83566, либо антагониста рецептора D2 раклоприда (Quinlan et al., 2008). Более того, предпочтение обучения в месте, вызванное высокими уровнями эстрогена, может быть устранено после введения SKF 83566 или раклоприда, так что эти животные впоследствии не проявляют предпочтения ни к обучению в месте, ни к обучению в ответ (Quinlan et al., 2008). В другом исследовании, проведенном в крестообразном лабиринте с двумя растворами, ошибка обучения в ответ у животных с низким уровнем эстрогена была обращена в ошибку обучения места после введения внутрь DLS антагониста рецептора D1 SCH 2339. 0, но не антагонист рецептора D2 раклоприд (Quinlan et al., 2013). Наоборот, предвзятость обучения места у животных с высоким уровнем эстрогена была обращена в предвзятость обучения реакции после введения внутри DLS SCH 23390, но не после введения раклоприда внутри DLS (Quinlan et al., 2013). Хотя внутри-DLS раклоприд не обращал предпочтения стратегии, умеренная доза препарата была достаточной, чтобы устранить предпочтение стратегии у животных с высоким и низким уровнем эстрогена, что привело к сопоставимому количеству обучаемых по месту и ответу в этих группах. В этом исследовании также наблюдалось, что введение SCH 23390 или раклоприд в прилежащее ядро ​​не оказали заметного влияния на предпочтение стратегии у животных с высоким или низким уровнем эстрогена. Таким образом, влияние высокого или низкого уровня эстрогена на предпочтение стратегии в задаче двойного решения может зависеть от избирательной активации дофаминовых рецепторов в DLS (Quinlan et al., 2013). В аналогичном исследовании системное введение апоморфина или амфетамина в дозах, повышающих активность ауторецепторов D2, превращало предвзятость обучения места в предвзятость обучения реакции у животных с высоким уровнем эстрогена, тогда как у крыс с низким уровнем эстрогена никаких эффектов этих препаратов не наблюдалось (Hussain et al. др., 2016а). Кроме того, введение амфетамина было связано с более высоким высвобождением дофамина внутри DLS у крыс с высоким уровнем эстрогена по сравнению с крысами с низким уровнем эстрогена, но в этом исследовании само высвобождение дофамина DLS не было достоверно связано с предпочтением стратегии (Hussain et al., 2016a).

Наконец, в отличие от исследований с использованием грызунов в крестообразном лабиринте, исследование на людях с использованием виртуального лабиринта с радиальными рукавами (Hussain et al., 2016b) показало, что здоровые женщины с естественной цикличностью отдавали предпочтение обучению реакции как во время ранняя фолликулярная фаза (т. е. когда уровень эстрогена низкий) и овуляторная фаза (т. е. когда уровень эстрогена высокий) менструального цикла. Напротив, женщины отдавали предпочтение обучению на месте, а не обучению в ответ, в середине/поздней лютеиновой фазе менструального цикла (т. е. когда уровни эстрогена снижаются, а уровни прогестерона высоки). Следовательно, относительное использование обучения на месте и реакции у женщин также зависит от менструального цикла, но эффекты отличаются от того, что наблюдалось в исследованиях на грызунах. И эстроген, и прогестерон могут быть необходимы для доминирующего использования обучения на месте у женщин.

Другие нейротрансмиттерные системы и метаболические субстраты

Множество других нейротрансмиттерных систем участвуют в обучении на месте и ответной реакции, хотя и не так широко, как описанные выше нейротрансмиттеры. Например, низкие дозы тестостерона приводят к большему использованию стратегии обучения реакции в задачах с двойным крестообразным лабиринтом и водным лабиринтом Морриса, тогда как более высокая доза тестостерона приводит к преимущественному использованию стратегии обучения на месте в двойных задачах. раствор водного лабиринта Морриса (Spritzer et al., 2013). Кроме того, мыши, лишенные дельта-опиоидных рецепторов, демонстрируют задержку в усвоении стратегии обучения месту в крестообразном лабиринте с двумя решениями, но демонстрируют улучшенное усвоение в версии ответного обучения в крестообразном лабиринте (Le Merrer et al. , 2013). . В другом исследовании мыши, лишенные рецепторов GPR88, быстрее освоили задачу крестообразного лабиринта с двумя решениями, а также раньше начали использовать стратегию обучения ответу по сравнению с мышами дикого типа (Meirsman et al., 2015). Позже, когда та же группа мышей была обучена реверсированию в задаче с двумя решениями, мыши с нокаутом GPR88 быстрее усвоили реверсирование и продемонстрировали стратегию обучения места в последующем пробном тесте, тогда как мыши дикого типа продемонстрировали реакцию. стратегия обучения (Meirsman et al., 2015).

Помимо нейротрансмиттеров, обучение месту и реакции может также зависеть от метаболических субстратов, таких как глюкоза и лактат. Усиление функции полосатого тела за счет инъекций глюкозы в DLS ухудшает усвоение Y-образного лабиринта на месте (Pych et al., 2006), что согласуется с конкурентным взаимодействием между гиппокампом и системами памяти DLS (Poldrack and Packard, 2003). Однако инфузии глюкозы внутри DLS были недостаточными для облегчения освоения ответной обучающей версии Y-образного лабиринта (Pych et al. , 2006). В другом исследовании внеклеточные уровни глюкозы в гиппокампе были значительно выше, когда крыс обучали обучению в крестообразном лабиринте на месте, по сравнению с крысами, тренированными в ответном обучении в крестообразном лабиринте, или контрольными животными, которых не обучали (см. др., 2013). Аналогичная картина наблюдалась для внеклеточных уровней лактата в гиппокампе, при этом у животных, тренированных в задаче обучения на месте, уровень лактата в гиппокампе был выше по сравнению с животными, обученными в задаче обучения реакции, или животными, которые не проходили обучение (Newman et al., 2017). . Уровень лактата также увеличивался в DLS во время обучения реакции, но не обучения на месте; однако это наблюдалось только тогда, когда в качестве подкрепления использовалась питьевая вода, а не пища (Newman et al., 2017). Метаболические субстраты, такие как глюкоза и лактат, могут обеспечить необходимую энергию для нейронов в гиппокампе и DLS для удовлетворения потребностей в задачах обучения месту и реакции соответственно.

Заключение

Резюме

75 лет, прошедших с момента первоначальной концепции задач обучения в крестообразном лабиринте с местом и реакцией (Tolman et al., 1946a; Blodgett and McCutchan, 1947, 1948), продемонстрировали их замечательную полезность для изучение поведенческих и нейробиологических механизмов обучения и памяти. Задания «крестообразный лабиринт» для изучения места и реакции изначально были разработаны для оценки теорий когнитивного обучения Халлиана СР и Толмана. Сторонники точки зрения S-R предположили, что ответное обучение будет доминирующей формой обучения, выраженной в этих задачах, тогда как сторонники когнитивной точки зрения предположили, что обучение на месте будет доминирующим. Однако окончательный вывод, сделанный из этих экспериментов, заключался в том, что в данной учебной ситуации может преобладать либо обучение на месте, либо реагирование, и что преобладание когнитивных или систем обучения S-R зависит от множества экспериментальных переменных.

Результаты этих оригинальных исследований предвосхитили современное широко распространенное мнение о том, что существуют разные виды памяти. Задания на изучение места и реакции были использованы для дальнейшей демонстрации того, что эти параллельные виды памяти также опосредованы различными частями мозга, что согласуется с точкой зрения множественных систем памяти на обучение и память. В частности, обширные данные указывают на то, что тип памяти, лежащий в основе обучения месту, зависит от функции гиппокампа, тогда как тип памяти, лежащий в основе обучения реакции, зависит от функции DLS. Основываясь на этих выводах, многие исследователи пришли к выводу, что гиппокамп может составлять основную часть нервной системы, опосредующую когнитивное обучение и память Толмана, тогда как DLS может опосредовать халловское S-R обучение и память (White and McDonald, 2002; Squire, 2004; White). и др., 2013). В последнее время задачи обучения месту и реакции также широко использовались для изучения систем нейротрансмиттеров, участвующих в процессах когнитивной и S-R памяти, что указывает на важную роль глутамата, дофамина, ацетилхолина, каннабиноидов и эстрогена.

Будущее изучения места и реакции

Текущее широкое использование задач обучения места и реакции может быть расширено для изучения других нейронных механизмов обучения и памяти, включая роль нейронных цепей в системах множественной памяти. Области мозга, участвующие в обучении на месте и в ответ, такие как медиальная префронтальная кора, гиппокамп и дорсальное полосатое тело, среди прочих, взаимосвязаны и, следовательно, потенциально взаимодействуют как конкурентно, так и совместно, чтобы влиять на обучение в месте и в ответ. Глутаматергические проекции, возникающие из системы гиппокампа и медиальной префронтальной коры, иннервируют медиальную область дорсального полосатого тела, и данные свидетельствуют о том, что эти корковые и подкорковые проекции к DMS могут быть вовлечены в пространственную память (например, Devan and White, 19).99; Бейкер и Рагоццино, 2014 г.). Точно так же есть доказательства того, что лобно-стриарная схема участвует в обучении реакции S-R (Horga et al. , 2015). Тем не менее, нейронные цепи, участвующие в смещении доминирования от одной системы памяти к другой (например, от обучения места, зависящего от гиппокампа, к обучению реакции, зависящей от DLS), еще предстоит идентифицировать, что представляет собой открытую область для будущей работы.

Хотя в обширных исследованиях изучались нервные системы, участвующие в первоначальном приобретении, консолидации и воспроизведении памяти, лишь немногие исследования исследовали угасание памяти на месте и ответные обучающие задания. Некоторые данные свидетельствуют о том, что затухание обучения на месте и реакции может включать разные процессы обучения и памяти, опосредованные разными нейронными системами (Goodman and Packard, 2015b, 2018; Goodman et al., 2016a,b, 2017b). Таким образом, эти результаты показывают, что, как и первоначальное приобретение, угасание обучения месту и ответной реакции может также включать отчетливый вклад множественных систем памяти (обзоры см. Goodman and Packard, 2018, 2019). ).

Другим будущим направлением исследований памяти, которое может значительно выиграть от использования обучающих задач на место и реакцию, является дальнейшее развитие теории систем памяти. Хотя существуют убедительные доказательства, подтверждающие существование различных систем памяти в мозге, некоторые несоответствия в исследованиях побудили исследователей предложить поправки к теории систем памяти (Murray et al., 2017; Ferbinteanu, 2018). Например, при определенных параметрах тренировки гиппокамп может потребоваться для обучения реакции, а DLS может потребоваться для обучения на месте (Ferbinteanu, 2016, 2020), что резко контрастирует с общепринятым мнением о том, что гиппокамп опосредует обучение на месте и DLS опосредует обучение реакции (White et al., 2013). Чтобы учесть эти противоречивые результаты, было высказано предположение, что системы памяти могут работать как нейронные сети, способные адаптироваться к изменяющимся требованиям окружающей среды (Ferbinteanu, 2018). Постоянное использование заданий на изучение места и реакции, вероятно, поможет в дальнейшем пересмотре теории систем памяти, что еще больше укрепит наше понимание того, как память организована в мозгу.

Наконец, исследования с использованием заданий на изучение места и реакции также могут иметь отношение к пониманию поведенческих и нейробиологических механизмов некоторых психопатологий человека. Новая гипотеза, предложенная несколькими исследователями, заключается в том, что процессы памяти, зависящие от DLS, могут способствовать возникновению похожих на привычку поведенческих симптомов некоторых психических расстройств человека (Graybiel and Rauch, 2000; Goodman et al., 2012, 2014; Berner and Marsh, 2014; Gillan and Robbins, 2014; Corbit and Janak, 2016; Packard et al., 2018). В частности, переход от рекреационного употребления наркотиков к компульсивному злоупотреблению наркотиками может отражать сдвиг контроля от когнитивной памяти, зависящей от гиппокампа, к зависимой от DLS памяти привычек S-R (White, 19). 96; Эверитт и Роббинс, 2005, 2013; Швабе и др., 2011; Гудман и Паккард, 2015а, 2016а). Таким образом, переход от когнитивного обучения на месте к обучению привычным реакциям в крестообразном лабиринте может служить экспериментальной моделью для понимания механизмов, лежащих в основе дезадаптивных привычек при наркомании, а также симптомов, подобных привычкам, при других психопатологиях человека.

Вклад автора

JG написал статью.

Финансирование