Диагностика развития логического мышления: Логическое мышление. Методика диагностики дошкольников

Логическое мышление. Методика диагностики дошкольников

Главная » Методы диагностики

На чтение 3 мин Просмотров 12.9к. Обновлено 21.09.2018

Логическое мышление — это один из основных показателей качества мышления личности. Способность человека самостоятельно логически мыслить, выделять существенные признаки предметов и явлений, обобщать, делать умозаключения, обосновывать свои суждения, доказывать их истинность возникает и формируется в ходе ее интеллектуального развития.

Методика Э.Ф. Замбацявичене (на основе словесного материала) и тест «Абстрактное логическое мышление» Л.А. Ясюковой, с целью исследования уровня развития логического мышления.

Содержание

1. Методика «НЕЛЕПИЦЫ»
2. Методика «ВРЕМЕНА ГОДА»
3. Методика «НАЙДИ ОТЛИЧИЯ»
4.  Методика « ЧТО ЗДЕСЬ ЛИШНЕЕ?»
5. Методика «РАЗДЕЛИ НА ГРУППЫ»

Методика «НЕЛЕПИЦЫ»

Цель: определить уровень сформированности анализа, как операции логического мышления. С помощью этой же методики определяется умение ребенка рассуждать логически и грамматически правильно выражать свою мысль.

Проведение методики:

Вначале ребенку показывают картинку. В ней имеются несколько нелепых ситуаций. Во время рассматривания картинки ребенок получает инструкцию примерно следующего содержания: « Внимательно посмотри на эту картинку и скажи, все ли здесь находится на своем месте и правильно нарисовано.

Если что-нибудь тебе покажется не так, не на месте или неправильно нарисовано. То укажи на это и объясни, почему этот не так. Далее ты должен будешь сказать, как на самом деле должно быть».

Примечание. Обе части инструкции выполняются последовательно. Сначала ребенок просто называет все нелепицы и указывает их на картинке, а затем объясняет, как на самом деле должно быть.

Время экспозиции картинки и выполнения задания ограничено тремя минутами. За это время ребенок должен заметить как можно больше нелепых ситуаций и объяснить, что не так, почему не так и как на самом деле должно быть.

Методика «ВРЕМЕНА ГОДА»

Цель: определить уровень сформированности синтеза, как операции логического мышления.

Проведение методики:

Ребенку показывают картинку и просят внимательно посмотреть на этот рисунок, сказать, какое время года изображено на каждой части данного рисунка. За отведенное на выполнение этого задания время — 2мин — ребенок должен будет не только назвать соответствующее время года, но и обосновать свое мнение о нем, то есть объяснить, почему он так думает, указать те признаки, которые по его мнению, свидетельствуют о том, что на данной части рисунка показано это, а не какое-либо иное другое время года.

Методика «НАЙДИ ОТЛИЧИЯ»

Цель: Определить уровень сформированности сравнения, как операции логического мышления.

Ребенку показывают 2 картинки, на первый взгляд одинаковые, но в которых есть существенные различия (5 отличий). За время 3 мин ребенок должен найти как можно больше отличий, назвать и показать их.

 Методика « ЧТО ЗДЕСЬ ЛИШНЕЕ?»

Цель: определить уровень сформированности обобщения, как операции логического мышления.

Проведение методики:

В данной методике предлагается серия картинок, на которых представлены разные виды домашней птицы и одно животное, в сопровождение следующей инструкции: «На каждой из этих картинок один из четырех изображенных на ней является лишним.

Внимательно посмотри на картинки и определи, что здесь отличное от других и почему является лишним». На решение задачи отводится 3 минуты.

Методика «РАЗДЕЛИ НА ГРУППЫ»

Ребенку показывают картинку и предлагают следующее задание: «Внимательно посмотри на картинку и раздели представленные на ней фигуры на как можно большее число групп. В каждую такую группу должны входить фигуры, выделяемые по одному общему для них признаку.

Назови все фигуры, входящие в каждую из выделенных групп, и тот признак, по которому они выделены». На выполнение всего задания отводится 3 минуты.

Выполнение детьми предложенных заданий оценивалось по десятибалльной системе, где:

8-10 -высокий уровень

5-7 — средний уровень

0-4 — низкий уровень

Источник

Логическое мышление Мышление

Диагностика мышления младших школьников. | Тест:

Диагностика мышления младших школьников.

                             1. Методика «Простые аналогии»

Цель: исследование логичности и гибкости мышления. 
Оборудование: бланк, в котором напечатаны два ряда слов по образцу.

1. Бежать             Кричать
   стоять              а) молчать, б) ползать, в) шуметь, г) звать, д) конюшня

2. Паровоз           Конь
   вагоны             а) конюх, б) лошадь, в) овес, г) телега, д) конюшня

3. Нога                 Глаза
   сапог                а) голова, б) очки, в) слезы, г) зрение, д) нос

4. Коровы            Деревья
   стадо                а) лес, б) овцы, в) охотник, г) стая, д) хищник

5. Малина            Математика
   ягода                а) книга, б) стол, в) парта, г) тетради, д) мел

6. Рожь                Яблоня
   поле                 а) садовник, б) забор, в) яблоки, г) сад, д) листья

7. Театр                Библиотека
   зритель             а) полки, б) книги, в) читатель, г) библиотекарь, д) сторож

8. Пароход           Поезд
   пристань          а) рельсы, б) вокзал, в) земля, г) пассажир, д) шпалы

9. Смородина      Кастрюля
   ягода                а) плита, б) суп, в) ложка, г) посуда, д) повар

10. Болезнь          Телевизор
     лечить             а) включить, б) ставить, в) ремонтировать, г) квартира, д) мастер

11. Дом                Лестница
     этажи             а) жители, б) ступеньки, в) каменный,

Порядок исследования.

Ученик изучает пару слов, размещенных слева, устанавливая между ними логическую связь, а затем по аналогии строит пару справа, выбирая из предложенных нужное понятие. Если ученик не может понять, как это делается, одну пару слов можно разобрать вместе с ним.

Обработка и анализ результатов.

О высоком уровне логики мышления свидетельствуют 8-10 правильных ответов,

о хорошем 6-7 ответов,

 о достаточном — 4-5,

о низком — менее чем 5.

2. Методика «Исключение лишнего»

Цель: изучение способности к обобщению.

 Оборудование: листок с двенадцатью рядами слов типа:         

1. Лампа, фонарь, солнце, свеча. 
2. Сапоги, ботинки, шнурки, валенки. 
3. Собака, лошадь, корова, лось. 
4. Стол, стул, пол, кровать. 
5. Сладкий, горький, кислый, горячий. 
6. Очки, глаза, нос, уши. 
7. Трактор, комбайн, машина, сани. 
8. Москва, Киев, Волга, Минск. 
9. Шум, свист, гром, град. 
10. Суп, кисель, кастрюля, картошка. 
11. Береза, сосна, дуб, роза. 
12. Абрикос, персик, помидор, апельсин. 

        Порядок исследования.

Ученику необходимо в каждом ряду слов найти такое, которое не подходит, лишнее, и объяснить почему.

Обработка и анализ результатов.

1. Определить количество правильных ответов (выделение лишнего слова). 
2. Установить, сколько рядов обобщено с помощью двух родовых понятий (лишняя «кастрюля» — это посуда, а остальное — еда). 
3. Выявить, сколько рядов обобщено с помощью одного родового понятия. 
4. Определить, какие допущены ошибки, особенно в плане использования для обобщения несущественных свойств (цвета, величины и т.д.). 

Ключ к оценке результатов.

Высокий уровень — 7-12 рядов обобщены с родовыми понятиями;

хороший — 5-6 рядов с двумя, а остальные с одним;

средний — 7-12 рядов с одним родовым понятием;

низкий — 1-6 рядов с одним родовым понятием.

             3. Методика «Изучение скорости мышления»

Цель: определение скорости мышления.         

Оборудование: набор слов с пропущенными буквами, секундомер.         

 Слова:

п-ра	д-р-во	п-и-а	п-сь-о
г-ра	з-м-к	р-ба	о-н-
п-ле	к-м-нь	ф-н-ш	з-о-ок
к-са	п-с-к	х-кк-й	к-ш-а
т-ло	с-ни	у-и-ель	ш-ш-а
р-ба	с-ол	к-р-ца	п-р-г
р-ка	ш-о-а	б-р-за	ш-п-а
п-ля	к-и-а	п-е-д	б-р-б-н
с-ло	с-л-це	с-ег	к-нь-и
м-ре	д-с-а	в-с-а	д-р-в-

Порядок исследования.

В приведенных словах пропущены буквы. Каждая черточка соответствует одной букве. За три минуты необходимо образовать как можно больше существительных единственного числа.         

Обработка и анализ результатов:

25-30 слов — высокая скорость мышления;

20-24 слова — хорошая скорость мышления;

15-19 слов — средняя скорость мышления;

10-14 слов — ниже средней;

до 10 слов — инертное мышление.         

       Этими критериями следует пользоваться при оценке учащихся 2-4-х классов, первоклассников можно исследовать со второго полугодия и начинать отсчет с третьего уровня:

19-16 слов — высокий уровень мышления;

10-15 слов — хороший;

5-9 слов — средний;

до 5 слов — низкий.

5. Методика «Выявление общих понятий»

Методика предназначена для выявления способности к обобщению, анализу и классификации.

Обследуемым предлагается бланк с 20-ю рядами слов. В каждом из них набор из 5-ти слов, два из которых более всего с ним связаны. Задача обследуемого — найти в каждом ряду по два слова, наиболее соответствующих обобщающему понятию, и подчеркнуть их. Время на выполнение работы — 3 минуты.

Оценка выставляется по 9-бальной шкале с помощью следующей таблицы:

Оценка в баллах

9	8	7	6	5	4	3	2	1
Кол-во правильных ответов	18	17	16	14-15	12-13	10-11	8-9	6-7	5

1. Сад (растения, садовник, собака, забор, земля).
2. Река (берег, рыба, рыболов, тина, вода).
3. Город (автомобиль, здание, толпа, улица, велосипед).
4. Сарай (сеновал, лошадь, крыша, скот, стены).
5. Куб (углы, чертеж, сторона, камень, дерево).
6. Деление (класс, делимое, карандаш, делитель, бумага).
7. Кольцо (диаметр, алмаз, проба, округлость, печать).
8. Чтение (глава, книга, печать, картина, слово).
9. Газета (правда, приложение, телеграммы, 6умага. редактор).
10. Игра (карты, игроки, штрафы, наказания, правила).
11. Воина (самолеты, пушки, сражения, ружья, солдаты).
12. Книга (рисунки, война, бумаги, любовь, текст).
13. Пение (звон, искусство, голос, аплодисменты, мелодия).
14. Землетрясение (пожар, смерть, колебания почвы.шум, наполнение).
15. Библиотека (город, книги, лекция, музыка, читатели).
16. Лес (лист, яблоня, дерево, охотник, волк).
17. Спорт (медаль, оркестр, состязание, победа, стадион).
18. Больница (помещение, сад, враг, радио, больные).
19. Любовь (розы, чувство, человек, город, природа).
20. Патриотизм (город, друзья, родина, семья, человек).

Инструкция:«В каждой строчке Вы найдете одно слово, стоящее перед скобками, и далее — пять слов в скобках. Все слова, находящиеся в скобках, имеют какое-то отношение к стоящему перед скобками. Выберите только два и подчеркните их».

Слова в задачах подобраны таким образом, что обследуемый должен продемонстрировать свою способность уловить абстрактное значение тех или иных понятий и отказаться от более легкого, бросающегося в глаза, но неверного способа решения, при котором вместо существенных выделяются частные, конкретно-ситуационные признаки.

                4. Тест Липпмана «Логические закономерности»

Ход опыта. Испытуемым предъявляют письменно ряды чисел. Им необходимо проанализировать каждый ряд и установить закономерность его построения. Испытуемый должен определить два числа, которые бы продолжили ряд. Время решения заданий фиксируется.

Числовые ряды:

2, 3, 4, 5, 6, 7

6, 9, 12, 15, 18, 21

1, 2, 4, 8, 16, 32

4, 5, 8, 9, 12, 13

19, 16, 14, 11, 9, 6

29, 28, 26, 23, 19, 14

16, 8, 4, 2, 1,  0,5

1, 4, 9, 16, 25, 36

21, 18, 16, 15, 12, 10

3, 6, 8, 16, 18, 36

Проверить правильность ответов и уровень развития логического мышления по «ключу».

«Ключи» и интерпретация результатов

Предъявленные ряды

Правильные ответы
2, 3, 4, 5, 6, 7 6, 9, 12, 15, 18, 21 1, 2, 4, 8, 16, 32 4, 5, 8, 9, 12, 13 19, 16, 14, 11, 9, 6 29, 28, 26, 23, 19, 14 16, 8, 4, 2, 1,  0,5 1, 4, 9, 16, 25, 36 21, 18, 16, 15, 12, 10 3, 6, 8, 16, 18, 36	8, 9 24, 27 64, 128 16, 17 4, 1 8, 1 0,25,  0,125  49, 64 9, 6 38, 76

Оценка результатов

 Время выполнения задания (мин, с)

Количество ошибок	Баллы	Уровень развития логического мышления
2 мин и менее	0	5	Очень высокий уровень логического мышления
2 мин 10 с — 4 мин 30 с	0	4	Хороший уровень, выше, чем у большинства людей
4 мин 35 с — 9 мин 50 с	0	3+	Хорошая норма большинства людей
4 мин 35 с — 9 мин 50 с	1	3	Средняя норма
4 мин 35 с — 9 мин 50 с	2-3	3-	Низкая норма
2 мин 10 с — 15 мин	4-5	2	Ниже среднего уровня развития логического мышления
10 мин — 15 мин	0-3	2+	Низкая скорость мышления, «тугодум»
более 16 мин	более 5	1	Дефект логического мышления у человека, прошедшего обучение в объеме начальной школы, либо высокое пепеутомление

Как логическое мышление мешает творчеству

На протяжении всей жизни нас приучали к логике.

Действительно, большая часть нашего образования направлена ​​на то, чтобы мы всегда получали правильный ответ.

При ответе на такой вопрос, как «В каком году Соединенные Штаты вступили в Первую мировую войну?» с ответом «1917», то вы были бы правы или, точнее, вы были бы логичны. Следовательно, когда за вашу образовательную карьеру задают бесчисленное количество вопросов с «правильными ответами», ваш разум приучен мыслить логическими терминами. В некотором смысле, вам творчески «промыли мозги».

Как вы понимаете, чрезмерное внимание к логическому мышлению может серьезно помешать нашему творческому мышлению. Если что-то логично, оно принимается. Один плюс один равно двум. Логично; это принято.

А что, если я скажу, что один плюс один равно семи? Это не логично; следовательно, это не принято. Когда что-то принимается, оно обретает постоянство; оно становится конкретным и часто неподвижным. Он подвержен небольшим изменениям и никаким изменениям. Таким образом, он защищен от любых творческих возможностей.

Это не принижает логическое мышление; наоборот. Работодатели часто заявляют, что высоко ценят логически мыслящих людей, которые используют данные и факты, чтобы доказать свою точку зрения или принять решение. Компании, по большей части, не хотят основывать свою экономическую жизнеспособность на эмоциональных реакциях или сентиментальных решениях. Им нужны сотрудники, способные использовать логическое мышление и навыки рассуждений для принятия обоснованных решений — решений, основанных на фактах, а не на чувствах.

Однако эта логика иногда мешает творчеству. По словам Роджера фон Оеха, логические мыслители часто сосредотачиваются на различиях между вещами, в то время как творческие мыслители ищут сходства и связи между вещами.

Например, логически мыслящий человек может сказать, что кирпич и резиновая лента являются элементами двух совершенно разных множеств. Творческий мыслитель, с другой стороны, мог бы сказать, что кирпич и резинка имеют много общего — они оба состоят из органических материалов, их можно найти в строительном магазине, они оба обладают потенциальной энергией, они оба могут быть использованы как снаряды, они оба могут использоваться, чтобы скреплять предметы, они оба бывают разных цветов, у них обоих конечный срок жизни, у них обоих есть 9края 0° и так далее.

Источник: Wokandapix/Pixabay

На протяжении всей нашей образовательной деятельности наши учителя уделяли основное внимание развитию нашего логического мышления. Чрезмерный акцент на стандартизированном тестировании, уверенность в получении правильного ответа, склонность задавать множество вопросов, основанных на фактах, склонность подавлять мышление, не поддерживающее статус-кво, и непреклонный страх неудачи — все это в совокупности приводит к создать ментальную среду, которая, безусловно, логична (и довольно часто предсказуема). В свою очередь, мы склонны считать тех, кто мыслит логически, мыслителями интеллектуальными (чем больше фактов у вас в голове и сколько способов вы можете использовать эти факты в повседневной жизни, тем выше уровень интеллекта).

С другой стороны, в нашей системе образования мы уделяем мало внимания творческому мышлению. Например, подумайте, сколько раз вас проверяли на предмет музыкальных способностей, художественных пристрастий, навыков украшения, кулинарной хватки или таланта рассказчика. Не так уж и много, я бы рискнул. Например, если вы музыкально одарены, насколько этот талант проявился, когда приемная комиссия вашего колледжа решала, принимать вас или нет? Если вы были логичны (и получили высокие баллы на вступительных экзаменах), у вас, вероятно, было больше шансов на поступление, чем если бы вы могли сочинять свои собственные сонаты или играть импровизационные барабанные риффы, как Джинджер Бейкер (Cream) или Джон Бонэм (Led Zeppelin).

Логика — ценный инструмент мышления, и нас приучили полагаться на нее для решения многих, если не всех, жизненных проблем. Однако, как отмечает фон Оэх, чрезмерное доверие к логическому мышлению может свести на нет наши творческие импульсы. Это потому, что логическое мышление — это сфокусированное мышление, а творческое мышление расходящееся и разнообразное. Креативное мышление задает вопросы «Что, если?»; логическое мышление задает вопросы «что есть». Наше образование, опыт и взаимодействие с другими людьми делают упор на логическое (взрослое) мышление, в то же время модулируя или ограничивая творческое (детское) мышление.

Реальность такова: мы начинаем жизнь раскованными детьми, а затем нас обучают/обучают, чтобы стать логичными взрослыми. Попутно мы теряем свои необузданные пристрастия и развиваем практические предрасположенности. Мы начинаем с неограниченных возможностей и заканчиваем барьерами и связями. Мы начинаем с места вне «коробки», и нас медленно толкают, пихают и направляют к месту внутри «коробки». Мы тверды там, где когда-то были свободны. Что случилось?

Будучи взрослыми, мы часто позволяем нашей логике мешать нашему творчеству.

«Если кто-то говорит, что научился думать, большинство из нас предполагает, что он имеет в виду, что научился мыслить логически». — Эдвард де Боно

RobustLR: диагностический критерий для оценки логической устойчивости методов дедуктивного мышления

Soumya Sanyal, Зейи Ляо, Xiang Ren

---

Abstract

Было показано, что трансформеры способны выполнять дедуктивные рассуждения на входных данных, содержащих правила и утверждения, написанные на естественном английском языке. Однако неясно, действительно ли эти модели следуют строгим логическим рассуждениям для получения прогноза или полагаются на ложные закономерности корреляции при принятии решений. Сильная дедуктивная модель рассуждений должна последовательно понимать семантику различных логических операторов. С этой целью мы представляем RobustLR, диагностический тест, который оценивает устойчивость языковых моделей к минимальным логическим изменениям во входных данных и различным условиям логической эквивалентности. В наших экспериментах с RoBERTa, T5 и GPT3 мы показываем, что модели, обученные на наборах данных дедуктивных рассуждений, не работают последовательно на тестовом наборе RobustLR, тем самым показывая, что модели неустойчивы к предложенным нами логическим возмущениям. Кроме того, мы наблюдаем, что моделям особенно трудно выучить операторы логического отрицания. Наши результаты демонстрируют недостатки современных языковых моделей в логическом мышлении и призывают к развитию более эффективных индуктивных предубеждений для обучения логической семантике языковых моделей. Все наборы данных и кодовая база размещены в открытом доступе.

Код антологии:

2022.emnlp-main.653

Том:

Материалы конференции 2022 г. по эмпирическим методам обработки естественного языка

Месяц:

Декабрь

Год:

2022

Адрес :

Абу-Даби, Объединенные Арабские Эмираты

Место проведения:

EMNLP

SIG:

Издатель:

Ассоциация компьютерной лингвистики

900 46 Примечание:

Страницы:

9614–9631

Язык:

URL:

https://aclanthology.org/2022.emnlp-main.653

DOI:

Bibkey:

Процитировать (ACL ):

Сумья Саньял, Зейи Ляо и Сян Рен. 2022. RobustLR: диагностический критерий для оценки логической устойчивости дедуктивных рассуждений. В материалах Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing , страницы 9614–9631, Абу-Даби, Объединенные Арабские Эмираты. Ассоциация компьютерной лингвистики.

Процитируйте (неофициально):

RobustLR: диагностический тест для оценки логической устойчивости дедуктивных рассуждений (Sanyal et al., EMNLP 2022)

Копия цитирования:

PDF:

https://aclanthology.org/2022.emnlp-main.653.pdf

PDF Процитировать Search

---

• BibTeX
• MODS XML
• Endnote
• Preformated

 @inproceedings{sanyal-etal-2022-robust л,
    title = "{R}obust{LR}: диагностический критерий для оценки логической устойчивости дедуктивных рассуждений",
    автор = "Санял, Сумья и
      Ляо, Цзейи и
      Рен, Сян",
    booktitle = "Материалы конференции 2022 г. по эмпирическим методам обработки естественного языка",
    месяц = ​​декабрь,
    год = "2022",
    address = "Абу-Даби, Объединенные Арабские Эмираты",
    издатель = "Ассоциация вычислительной лингвистики",
    url = "https://aclanthology. org/2022.emnlp-main.653",
    страницы = "9614--9631",
    abstract = «Было показано, что трансформеры могут выполнять дедуктивные рассуждения на входных данных, содержащих правила и утверждения, написанные на естественном английском языке. Однако неясно, действительно ли эти модели следуют строгим логическим рассуждениям, чтобы прийти к предсказанию, или полагаются на ложную корреляцию. шаблоны в принятии решений.Сильная модель дедуктивного мышления должна последовательно понимать семантику различных логических операторов.С этой целью мы представляем RobustLR, диагностический тест, который оценивает устойчивость языковых моделей к минимальным логическим изменениям во входных данных и различным условиям логической эквивалентности , В наших экспериментах с RoBERTa, T5 и GPT3 мы показываем, что модели, обученные на наборах данных дедуктивных рассуждений, не работают последовательно на тестовом наборе RobustLR, тем самым показывая, что модели неустойчивы к предложенным нами логическим возмущениям, Кроме того, мы наблюдаем, что моделям особенно трудно выучить операторы логического отрицания. Наши результаты демонстрируют недостатки современных языковых моделей в логическом мышлении и призывают к развитию лучших индуктивных предубеждений для обучения логической семантике языковых моделей. Все наборы данных и кодовая база стали общедоступными.",
}
 

 

<моды>
    <информация о заголовке>
        
    
    <название типа="личное">
        Сумья
        Санял
        <роль>
            автор
        
    
    <название типа="личное">
        Зейи
        Ляо
        <роль>
            автор
        
    
    <название типа="личное">
        Сян
        Рен
        <роль>
            автор
        
    
    <информация о происхождении>
        2022-12
    
    текст
    
        <информация о заголовке>
            
        
        <информация о происхождении>
            Ассоциация компьютерной лингвистики
            <место>
                Абу-Даби, Объединенные Арабские Эмираты
            
        
        публикация конференции
    
    Было показано, что трансформеры могут выполнять дедуктивные рассуждения на входных данных, содержащих правила и утверждения, написанные на естественном английском языке.  Однако неясно, действительно ли эти модели следуют строгим логическим рассуждениям для получения прогноза или полагаются на ложные закономерности корреляции при принятии решений. Сильная дедуктивная модель рассуждений должна последовательно понимать семантику различных логических операторов. С этой целью мы представляем RobustLR, диагностический тест, который оценивает устойчивость языковых моделей к минимальным логическим изменениям во входных данных и различным условиям логической эквивалентности. В наших экспериментах с RoBERTa, T5 и GPT3 мы показываем, что модели, обученные на наборах данных дедуктивных рассуждений, не работают последовательно на тестовом наборе RobustLR, тем самым показывая, что модели неустойчивы к предложенным нами логическим возмущениям. Кроме того, мы наблюдаем, что моделям особенно трудно выучить операторы логического отрицания. Наши результаты демонстрируют недостатки современных языковых моделей в логическом мышлении и призывают к развитию более эффективных индуктивных предубеждений для обучения логической семантике языковых моделей.  Все наборы данных и кодовая база стали общедоступными.
    sanyal-etal-2022-robustlr
    <местоположение>
        https://aclanthology.org/2022.emnlp-main.653
    
    <часть>
        <дата>2022-12
        <единица экстента="страница">
            <старт>9614
            9631
        
    


 

 %0 Материалы конференции
%T RobustLR: диагностический критерий для оценки логической устойчивости дедуктивных рассуждений
%A Саньял, Сумья
%А Ляо, Цзейи
%А Рен, Сян
%S Материалы конференции 2022 года по эмпирическим методам обработки естественного языка
%D 2022
%8 декабря
%I Ассоциация компьютерной лингвистики
%C Абу-Даби, Объединенные Арабские Эмираты
%F sanyal-etal-2022-робастлр
Было показано, что трансформеры %X могут выполнять дедуктивные рассуждения на входных данных, содержащих правила и утверждения, написанные на естественном английском языке. Однако неясно, действительно ли эти модели следуют строгим логическим рассуждениям для получения прогноза или полагаются на ложные закономерности корреляции при принятии решений. Сильная дедуктивная модель рассуждений должна последовательно понимать семантику различных логических операторов. С этой целью мы представляем RobustLR, диагностический тест, который оценивает устойчивость языковых моделей к минимальным логическим изменениям во входных данных и различным условиям логической эквивалентности. В наших экспериментах с RoBERTa, T5 и GPT3 мы показываем, что модели, обученные на наборах данных дедуктивных рассуждений, не работают последовательно на тестовом наборе RobustLR, тем самым показывая, что модели неустойчивы к предложенным нами логическим возмущениям. Кроме того, мы наблюдаем, что моделям особенно трудно выучить операторы логического отрицания. Наши результаты демонстрируют недостатки современных языковых моделей в логическом мышлении и призывают к развитию более эффективных индуктивных предубеждений для обучения логической семантике языковых моделей.
No related posts.