ОРГАНИЗАЦИЯ И РАЗВИТИЕ ВНИМАНИЯ УЧАЩИХСЯ НА УРОКАХ МАТЕМАТИКИ И ВО ВНЕУРОЧНОЙ ДЕЯТЕЛЬНОСТИ
Выступление на тему:
«ОРГАНИЗАЦИЯ И РАЗВИТИЕ ВНИМАНИЯ УЧАЩИХСЯ НА УРОКАХ МАТЕМАТИКИ И ВО ВНЕУРОЧНОЙ ДЕЯТЕЛЬНОСТИ»
Содержание
Пояснительная записка
1. Психолого-педагогические аспекты рассмотрения понятия «внимание».
1.1 . Определение термина внимание
1.2 . Психолого-педагогические аспекты внимания
1.3 . Виды внимания
1.3.1. Непроизвольное внимание
1.3.2. Произвольное внимание
1.3.3. Послепроизвольное внимание
1.4.Основные свойства внимания
2.
Организация и развитие
внимания
3. Комплекс упражнений на развитие внимания учащихся на уроках математики и во внеурочной деятельности
Приложения:
Приложение1. Примеры упражнений на концентрацию внимания
Приложение2. Примеры упражнений на переключение внимания
Приложение3. Упражнения на развитие внимания
Приложение4. Упражнения на развитие всех свойств внимания в среде УМК «Живая математика»
Пояснительная записка
Цели:
Создание условий
1) для повышения качества образования;
2) для достижения новых образовательных результатов, соответствующих современным запросам личности, общества и государства;
3) для формирования и развития универсальных учебных действий;
4) для формирования готовности обучающихся к саморазвитию и самообразованию на
основе мотивации к обучению и познанию.
Задачи:
Рассмотрение теоретических основ для создания системы упражнений на развитие внимания учащихся на уроках, классификация таких упражнений и задач, создание банка задач на развитие внимания.
Актуальность:
ФГОС ООО устанавливает различные требования к результатам освоения обучающимися основной образовательной программы основного общего образования. Одним из принципиально новых подходов в образовании, устанавливаемых ФГОС, является его деятельностное содержание: не передача материала, а обучение способам деятельности, ход от передачи ЗУН к формированию способностей. Требования ФГОС включают также и формирование ответственного отношения к учению, готовности и способности обучающихся к саморазвитию и самообразованию на основе мотивации к обучению и познанию.
Правильная организации внимания учащихся на уроках
необходима для реализации этих целей, и, в первую очередь, для организации
условий, инициирующих способы деятельности у учащихся.
В настоящее время, этапе введения ФГОС основного общего образования, рассмотренная тема очень актуальна и содержит огромный потенциал и перспективы развития.
Новизна:
Рассмотрен спектр заданий на развитие внимания, как такового, и таких свойств внимания, как концентрация и переключение, необходимых для успешного обучения, овладения регулятивными универсальными учебными действиями в части осуществления констатирующего и предвосхищающего контроля по результату и по способу действия, актуального контроля на уровне произвольного внимания.
Психолого-педагогические аспекты рассмотрения понятия «внимание».
«…Внимание есть именно та дверь,
через которую проходит всё,
что только входит в душу человека
из внешнего мира».
К.Д. Ушинский.
В процессе
модернизации образования особую актуальность приобретает развитие внимания
учащихся.
П.Я. Гальперин охарактеризовал внимание как идеальное, свернутое и автоматизированное действие контроля. Л.Д.Столяренко определяет внимание как направленность и сосредоточенность сознания человека на определенных объектах при одновременном отвлечении от других.
В зависимости от специфики этого развития и получаются различные виды внимания: непроизвольное, произвольное, послепроизвольное.
Непроизвольное
внимание,
называют также пассивным, вынужденным, так как оно возникает
и поддерживается независимо от стоящих перед человеком целей.
Деятельность
захватывает человека в этих случаях сама по себе, в силу своей увлекательности
или неожиданности. Человек невольно отдается воздействующим на него предметам,
явлениям, выполняемой деятельности.
Схеме 1. Факторы организующие непроизвольное внимание
Схема 2. Активизация непроизвольного внимания
В отличие от
непроизвольного произвольное внимание управляется сознательной целью.
Оно тесно связано с волей человека и выработалось в результате трудовых усилий,
поэтому его еще называют волевым, активным, преднамеренным.
Приняв
решение заняться какой-нибудь деятельностью, мы выполняем это решение,
сознательно направляя наше внимание даже на то, что нам неинтересно в данную
минуту, но чем необходимо заниматься. Основной функцией произвольного внимания
является активное регулирование протекания психических процессов.
Схема 3. Признаки произвольного внимания
Схема 4. Условия сохранения произвольного внимания
Ещё один вид
внимания, который, подобно произвольному, носит целенаправленный характер и
требует первоначальных волевых усилий, но затем человек как бы “входит” в
работу: интересными и значительными становятся содержание и процесс
деятельности, а не только её результат.
Проявив сначала произвольное внимание и заставив себя заниматься каким-либо делом без выраженного интереса к нему, человек скорее заинтересовывается этим делом настолько, что отпадает необходимость прилагать усилия для удержания внимания на нём. Внимание из произвольного становится непроизвольным. Однако, в отличие от подлинно непроизвольного внимания, послепроизвольное остается связанным с сознательными целями и поддерживается сознательными интересами. В то же время оно несходно и с произвольным вниманием, так как здесь нет или почти нет волевых усилий.
Послепроизвольное внимание характеризуется длительной сосредоточенностью, напряженной интенсивностью умственной деятельности, высокой производительностью труда.
Схема 5.
Признаки
послепроизвольного внимания
Схема 5. Условия сохранения длительного внимания
Учебная работа требует различных видов внимания. Когда в педагогической психологии речь идет о видах внимания, это значит, что ставится вопрос об умении учащихся управлять своим вниманием, о приемах организации своего внимания в зависимости от различных задач, которые ставятся перед учениками.
Несомненно,
что в учебном процессе важную роль играет непроизвольное внимание, связанное с
яркостью, занимательностью учебного материала и таким же способом его
преподнесения.
Но нельзя строить учебно-воспитательный процесс, даже в младших
классах, только на основе этого вида внимания. В школьной практике необходимо,
опираясь на непроизвольное внимание, воспитывать произвольное. Однако следует
учитывать, что постоянная поддержка внимания с помощью волевых усилий связана с
большим напряжением и очень утомительная. Это и определяет особое значение
непроизвольного внимания в процессе обучения.
Виды внимания | Условия возникновения | Основные характеристики |
Непроизвольное | Действие сильного, контрастного, значимого и вызывающего эмоциональный отклик, раздражителя | Непроизвольность, легкость возникновения и переключения |
Произвольное | Постановка, принятие задач и целей учащимися | Направленность в соответствии с задачей. |
Послепроизвольное | Вхождение в деятельность и возникающий, в связи с этим, интерес | Сохраняется целенаправленность, снимается напряжение |
Требует
волевых усилий, утомляет
Основные свойства внимания.
«Внимание к объекту вызывает естественную потребность что – то сделать с ним. Действие же ещё более сосредотачивает внимание на объекте. Таким образом, внимание, сливаясь с действием и взаимно переплетаясь, создаёт крепкую связь с объектом».
К.С. Станиславский
Внимание
означает связь сознания с определенным объектом, его сосредоточенность на нем.
Особенности этой сосредоточенности определяют свойства внимания. К ним
относятся: устойчивость, концентрация, распределение, переключение и объём
внимания. Каждое из этих свойств может быть представлено двумя противоположными
вариантами его проявления в жизни. Например, внимание может быть устойчивым и
неустойчивым, концентрированным и рассеянным, переключаемым и ригидным, с
большим и с малым объёмом.
Устойчивость — это временная характеристика внимания, длительность
привлечения внимания к одному и тому же объекту. Устойчивость может
определяться периферическими и центральными факторами. Исследования показали,
что внимание подвержено периодическим непроизвольным колебаниям. Периоды таких
колебаний (по Н. Ланге) равны 2-3 сек, доходя максимум, до 12 сек. Если
прислушиваться к тиканью часов и пытаться сосредоточиться на нем, то человек
будет то слышать, то не слышать их. Чтобы внимание к какому-либо предмету
поддерживалось, его сознание должно быть динамическим процессом.
Предмет
внимания должен развиваться, обнаруживать перед нами свое новое содержание.
Устойчивость внимания зависит от целого ряда условий: особенности материала,
степень его трудности, знакомства с ним, отношения к нему со стороны субъекта,
а также от индивидуальных особенностей личности.
Концентрацией внимания называется его свойство, благодаря которому человек может сосредоточить его на чём-либо одном, отвлекаясь от всего остального, что он в данный момент времени осознаёт или воспринимает.
Под распределением внимания понимают субъективно переживаемую способность человека удерживать в центре внимания определенное число разнородных объектов одновременно.
Под переключаемостью понимается его
сознательное и осмысленное перемещение внимания с одного объекта на другой. В
целом переключаемость внимания означает способность быстро ориентироваться в
сложной, изменяющейся ситуации. Легкость переключения внимания у разных людей
различна и зависит от целого ряда условий.
Это прежде всего соотношение между
предшествующей и последующей деятельностью и отношение субъекта к каждой из
них. Чем интереснее деятельность, тем легче на нее переключиться, и наоборот.
Переключаемость внимания принадлежит к числу хорошо тренируемых качеств.
Ригидность как противоположное свойство переключаемости проявляется в том, что
внимание, напротив, с трудом переходит с одного объекта на другой. На это
расходуется много времени, причём отвлечение внимания от одного объекта не
является полным, так же как и концентрация внимания на новом объекте.
Все указанные свойства внимания (устойчивость, концентрация, переключаемость, распределение) представляют собой его качественные особенности. Но внимание человека обладает и количественной характеристикой – объёмом.
Под объёмом внимания понимается
среднее число объектов, которое человек в состоянии удерживать в сфере своего
внимания в один и тот же момент времени. Подсчитано, что средний объём внимания
взрослого человека составляет от 3 до 7 объектов (звуков, цифр, простых
изображений).
Внимание – важный компонент деятельности человека, требующий организованности и точности. Вместе с тем внимание считают одним из главных показателей общей оценки уровня развития личности индивида.
Внимание не является самостоятельным познавательным процессом, так как оно само по себе ничего не отражает и как отдельно взятое психическое явление не существует. Вместе с тем внимание является одним из важнейших компонентов познавательной деятельности человека, так как оно, возникая на основе познавательных процессов, организует и регулирует их функционирование.
Организация
внимания учащихся должна осуществляться на всех структурных этапах урока. Так,
в первые минуты урока оживляют внимание подтянутый вид преподавателя, его
бодрый голос, улыбка. В этот организационный период учитель помогает учащимся
сосредоточиться, подготовиться к занятиям. Происходит активизация
непроизвольного внимания. Самостоятельная постановка учащимися цели и задачи
урока имеет большое значение для активизации произвольного внимания и
формирование первичного интереса к изучаемому материалу.
Для повышения внимания
учащихся на этапах снижения работоспособности (первый спад работоспособности
происходит на 23 мануте урока, а второй на 34 минуте) эффективны тематические
физкультминутки, физкультминутки на внимание, ускорение и обязательно на
сбалансированность работы правого и левого полушария головного мозга
(перёкрестные движения), зрительную активизацию (на движение глаз). В такие
моменты так же эффективно использовать цветотерапию.
Работоспособность
max
0 4 23 34 45 Время урока (мин)
ФГОС ООО устанавливает различные требования к
результатам освоения обучающимися основной образовательной программы основного
общего образования.
Одним из принципиально новых подходов в образовании,
устанавливаемых ФГОС, является его деятельностное содержание: не передача
материала, а обучение способам деятельности, ход от передачи ЗУН к формированию
способностей. Требования ФГОС включают также и формирование
ответственного отношения к учению, готовности и способности обучающихся к
саморазвитию и самообразованию на основе мотивации к обучению и познанию.
Правильная организации внимания учащихся на уроках необходима для реализации этих целей, и, в первую очередь, для организации условий, инициирующих способы деятельности у учащихся. Хорошо развитые свойства внимания и его организованность являются факторами, непосредственно определяющими успешность обучения.
Приложение 1
Примеры упражнений на концентрацию внимания:
1.
Перепишите числа
в порядке возрастания:
2. Решите примеры устно и запишите их ответы в порядке убывания:
3. К другой группе можно отнести упражнения, в которых требуется: записать ответы в определенном порядке, выбрать лишь ответы, отвечающие, заданному условию.
3.1. Запишите в ответе номера верных равенств:
3.2. Запишите в ответе номера неверных равенств.
Приложение 2
Развитию переключения внимания способствуют упражнения, содержащие два-три задания, которые необходимо выполнить попеременно.
Примеры упражнений на переключение внимания:
1.
Спиши числа. Обведи правильные дроби в кружок, а неправильные дроби — в квадрат.
2.Спиши числа. Числа, кратные 3, подчеркни:
134; 111; 113; 23; 331; 73; 102.
3. Спиши числа. Увеличь каждое отрицательное число на 9, а каждое положительное число — уменьши на 6:
32; 12: -7; -9; 54; -3; 28; 66; 41.
4. Спиши числа. Каждое однозначное число увеличь в 3 раза, а каждое четное число уменьши в 4 раза.
Запиши полученные числа под данными:
24, 17, 9, 21, 12, 8, 5.
5. 2.1 Спиши числа. Числа, которые больше -50, подчеркни, а числа, меньше -50, зачеркни:
1, -49, 0, -51, 100, 3, -100.
6. Спиши числа, которые оканчиваются на 2 и делятся на3.
21, 12, 72, 42, 63, 82, 112.
7. Из чисел от 0 до 40 запиши только те, которые кратны четырём.
Подчеркни число, которое при умножении на 5, является делителем 40.
8. Спиши числа. Найди сумму чисел, в записи которых используются одни и те же цифры:
217, 101, 214, 32, 421, 503, 142, 351.
9. Спеши неравенства, подчеркни те, решением которых является число 2.
х > 2
у < 3
a • 4 < 5
24 : c — 3 > 7
10.
Расшифруй
название самого большого острова на Земле, расположив числа в порядке
возрастания и сопоставив им соответствующие буквы. У берегов какого материка он
находится?
0 | 4 | 3,9 | -3,9 | -4 | 1 | 0,5 | 5 | -1 | -5 |
Л | И | Д | Е | Р | Н | А | Я | Н | Г |
«…Надо обязательно формировать у детей умение зорко наблюдать, правильно сводить наблюдения в одну мысль
и верно выражать эту мысль словами».
К.Д. Ушинский.
Приложение 3
Упражнения на развитие внимания
1. Даны числа:
23, 74, 41, 14;
40, 17, 60, 50.
Какое число лишнее, в какой строчке?
(В первой строчке лишнее число 74, у остальных чисел сумма цифр равна 5; во второй строчке лишнее 17, в записи остальных чисел есть 0).
2. Что общего в записи чисел каждой строчки:
12, 24, 20, 22;
30, 37, 13, 83.
(В записи чисел первой строчки использована цифра 2, а второй — цифра З)
3. По какому правилу записан каждый ряд чисел? Продолжи его:
10, 30, 50,…
14, 34, 54,…
5. К следующему типу относятся задания, в которых надо найти ошибку и исправить.
5+29=34 21+17=38 63- 26=37
56-21=35 14+25=38 96-56=40
6.
На доске выставлены четырёхугольники разной величины и цвета и один
треугольник.
Задание: рассмотри выставленные фигуры и покажи, какая фигура лишняя. Почему она лишняя?
7. У каждого ученика на парте цветные фигуры (параллелограмм, ромб, прямоугольник и трапеция)
Задание: какая фигура лишняя? Почему?
8. У каждого ученика на парте карточки с отрывками утверждений. Задание. Найти набор карточек, соответствующих:
1 вариант: признаки параллелограмма, квадрата, трапеции;
2 вариант: признаки ромба, прямоугольника, равнобедренной трапеции.
9. Укажите номера верных утверждений:
1) Если две перпендикулярные прямые пересечены третьей прямой, то накрест лежащие углы равны.
2) Если в параллелограмме диагонали равны и перпендикулярны, то этот параллелограмм – квадрат.
3) Треугольник со сторонами 1, 2, 3 существует.
4) В любой ромб можно вписать окружность.
В.
В. Петухов. Человек как субъект познания (часть 3): Psychology OnLine.Net В.В. Петухов. Человек как субъект познания (часть 3) Добавлено Psychology OnLine.Net
13.04.2006 (Правка 8.11.2018)
«……..»
Слово в психологии любовь. Память, вот начинаем с памяти, так. Он память рассматривает прежде всего. Память изложена очень хорошо. Итак, определяем память. Вы знаете, вот здесь, мне кажется, имеет смысл идти по ключевым словам. Память — это процесс, процесс запечатления, сохранения и воспроизведения прошлого опыта. Память — это процесс запечатления, сохранения воспроизведения прошлого опыта. Три ключевых слова: запечатлел, сохранил, воспроизвел. Маленькое примечание. Вот, может быть, кто-то напишет реферат, например, «Процессы… Так, «Виды и процессы памяти». Вполне удобная, хорошая тема для реферата. И как писать такой реферат? Я буду говорить и о памяти, и одновременно вот о наших делах чисто таких служебных. Надо взять по крайней мере два источника. Вот оказалось в библиотеке два любых учебника по психологии.
Совместить определения и смотреть, какие виды, какие там процессы изучаются и давать примеры исследования. Примерный объем реферата — 10-12 машинописных страниц. Едва ли нужно больше. Это некая вот… Не надо воды. Просто вот рабочее высказывание на интересующую вас тему. И тогда, если вы этим заинтересуетесь, вы, например, что можете узнать? Вы вот эти три группы. То есть нет. Так, простите. Эти три слова у вас превратятся в группы процессов памяти. Запечатление, извините меня, запечатлел — это память восприятия. Это когда на сетчатке глаза на доли секунды остается след. Знаете, как на экране телевизора остается след, когда его гасишь в полной темноте особенно, да. Послеобраз. В когнитивной психологии такой послеобраз именуют сенсорный регистр. Простите, это только один из видов памяти, крайне трудно исследуемый. А начинали когда-то исследовать память… Я не буду здесь ничего приписывать. Просто буду пояснять. Например, заучивание — это тоже процесс, на котором изучали память. Заучивание.
Первый исследователь памяти Герман Эльфенгауз… Вы совершенно правы. Психология поистине немецкое изобретение. У нас будущий психолог, это абсолютно точно. Эльфенгауз. Так он хотел исследовать чистую память. Психологи-классики любили исследовать все чистое: чистое ощущение, чистое мышление, чистую память. И что он сделал? Он изобрел материал, материал сегодня называют СГС — согласная — гласная — согласная. Трехбуквенный слог, согласная — гласная — согласная, не имеющий смысла. «Кат» можно сказать, а «кот» нельзя. И вот такие бессмысленные слоги он по метроном запоминал, заучивал. Заучивание списка. Или, например, двигательная память. Почему обязательно мы говорим лишь о памяти речевой. Бывает память образная, бывает память эмоциональная, бывает, наконец, самая элементарная память — двигательная. Формирование навыка — это тоже форма памяти. Научение — это ведь по сути дела изучение памяти. Затем, посмотрите, перешли к сохранению. Рядом с сохранением обязательно возникнет словечко «забывание».
Дельная проблема, прекрасный реферат. Исследование забывания в психологии. Осилишь. Фрейд скажет: «Забыл, потому что не захотел помнить.» Левин скажет: «Не забыл, потому что не завершил действие.» Был красивый эксперимент ученицы Курта Левина Люмы Вульфовны Зейгарник, когда она … Кстати, Люма Вульфовна чудом оказалась не в Америке. Из фашисткой Германии она приехала в Советский Союз. И стала здесь у нас основателем парапсихологии. И ее дипломная работа принесла ей мировую славу. А какая дипломная работа была? В течение получаса испытуемый решает простейшие задачки. Это даже задачками не назовешь. Не знаю там… что-нибудь нарисовать, что-нибудь слепить, спички переложить с места на место. Там из одной фигуры другую сделать. Таких заданий за полчаса порядка двадцати. Мелкие задания. И какие-то задания она успешно. Трудно сказать. Она их в момент, когда …. Вот не успешно, а когда, скажем, испытуемый …. Вот в такой, в самый интересный момент. Испытуемый что-то лепил и понял, что у него уже получается именно собачка, какую ему надо слепить, а, скажем, не кошечка.
И в этот момент его прервали. «Ну, все понятно уже, идите дальше.» И так, в результате, оказались какие-то действия прерванными, а какие-то нет. Какие лучше запомнились? Конечно, прерванные. Причем запомнились непроизвольно. А другие забылись. Вот вам еще одно… одна теория забывания. Вообще есть смелая гипотеза. Но это уже для любителей экзотики. Есть гипотеза о том, что человек помнит все. Но он не может что? Но он не может извлечь. И мы переходим к воспроизведению.
Вот воспроизведение будет самая большая группа процессов. Как? Вот вы хотите проверить: человек помнит или нет. Вы даете список слов. Чтобы воспроизвести список слов по порядку, ну, скажем, 20 слов, их надо долго заучивать. А если, скажем, вы дали 20 слов один раз, то какой метод воспроизведения для вас возможен? Не по порядку, явно. По порядку ничего не получится. Сразу выпалят, что в конце, что в начале и чуть-чуть из серединки. Фактор края. Свободное припоминание вы применили. Можно применять узнавание. Положим, ваш испытуемый ни одного слова не помнит.
Вы ему дали предъявляемые слова среди других. Эти были раньше или нет? Какие-то он узнает. И самый тонкий метод воспроизведения. Ваш испытуемый вообще ничего не узнаёт. Повторное заучивание. Если он повторно заучит тот же ряд, потребуется меньше времени, чем в первый раз. Вот видите, как много форм у процессов памяти.
Внимание. Процесс, который нас интересует, — это внимание. Память, внимание, воображение. Внимание — это процесс отбора. Сегодня этот процесс называют когнитивные психологи «селекция». Процесс отбора. В скобочках: селекции материала. И сосредоточения на нем. Процесс отбора. В скобках: селекции материала. И сосредоточения на нем. Вы знаете, о внимании мы все-таки говорили достаточно. У Вундта внимание — это центр сознания. У Джемса внимание — это направленность потока сознания. И вы знаете, пожалуй, и к памяти, и к вниманию можно применить вот такие различения. Обратите внимание. Пусть давайте говорить только о внимании. Внимание бывает непроизвольное и непосредственное.
Это первый вариант. Непроизвольное и непосредственное. То есть, что значит «непроизвольное»? Значит нет цели. Нет цели запомнить. Такое внимание будет именоваться пассивным. Выготский его бы назвал натуральной психической функцией. Натуральной психической функцией, потому что, выстрели сейчас пушка какая-нибудь, сегодня праздник. Мало ли, сами устроили бы. Ба-бах! И все бы мы обязательно обернулись. Это внимание управляется объектом. Я помню, мы про Тарковского говорили, почему он воду все время использовал, да. Вот это сюда. Вторая форма — это произвольное и опосредствованное внимание. Произвольное и опосредствованное внимание. То есть произвольное — значит задача есть, усилие есть. А опосредствованное — это от Выготского. Внимание управляется с помощью средств. Помните, как прекрасно сказал Выготский. Француз и его предшественники… Сейчас хорошо идут дела? Успеваете записывать? Нормально? Француз и его предшественники говорили, что нужно усилие — это самое главное. Произвольность — это усилие.
А Выготский, вы знаете, как вот сегодняшним языком говоря,…. Иногда цель нам поставят, а средств не дадут. Усиливайся, давай. А средств нет. А Выготский говорит: «Освойте средства, и будет произвольность.» Помните про Юлию Борисову и ее сыночка рассказывал. Вот она. Главное средство для управления вниманием — это указательный жест. Указательный жест. Да? Психологи всегда любили шутить. В конце 20-х годов в Институте психологии висела карикатура. Из пальца Выготский высосал целую теорию внимания. Из указательного жеста он построил целую теорию внимания как высшей психической функции.
И, наконец, третья форма внимания. Это третий и самый высший уровень развития. Послепроизвольное внимание первым предложил Николай Федорович Добрынин, наш отечественный психолог. Интересно, что термин принят в мире. И не все знают, что предложен он у нас. Что значит послепроизвольное внимание? По смыслу так. Вот заставлял себя книгу читать. Положим, в день по странице или по пять читал с помощью разного рода средств.
А потом зачиталась сама. Например, возник интерес, или средства стали освоенными. По-разному может произойти. Ну, что. Усилия уже не требуются. Средства освоены, и усилия уже не требуются. Добрынин говорит: «Это связано, конечно, с активностью личности. Это связано с активностью личности. Я хочу, чтобы мы узнавали и современные термины. Сегодня это послепроизвольное внимание называют знаете как? Длинная фамилия. Ой! Длинную фамилию будете записывать? Тогда узнайте, что вообще-то Пернер, он ныне американец, по фамилии. Вот сами сказали «да». Михай Чиксентмихейли. Чиксентмихейли. Вот я стоял и думал, что это время, пока вам говорю. Писать. Вот сказали писать, значит будем писать. Чиксентмихейли называет такие состояния аутотелическими. Ауто — внутренний, телос — цель. Ауто — внутренний, телос — цель. Самоцельный. Вы знаете, что он имеет ввиду. Вот когда гонщик на автотрассе машину гонит, или хирург во время эпидемии без конца работает, или полярник идет на Северный полюс, там он живет ради процесса.
Он испытывает чувственное наслаждение. Простите, для меня примером этого. Я даже об этом в книжке написал, маленькой. Спросите в какой, скажу. Для меня примером такой аутотелической деятельности с полными свойствами — это то, как работает Иван Денисович Шухов на каторге. Когда там в рельс звонят, а он не может… он говорит… работу не может бросить, не закончив. Он дорабатывает. Вот это вот состояние там описано блестяще у Солженицына. Блестяще. Там есть все признаки того, что сегодня является, что называется, пионерской областью в психологии. Послепроизвольные состояния — это вершина творчества.
И, наконец, последний процесс — воображение. Вы знаете, он наименее изучен в психологии. Если будете читать учебники, знайте, что все авторы этих учебников переписали, только очень плохо, перевод работы француза Теодуля Рико «Творческое воображение». По-русски эта книга была издана в 1901 году. Да. Не переиздавалась. Рико, кстати, изучал и память, и внимание. Но вот про воображение, он как бы единственный авторитет-классик.
Я бы …. Вы знаете, я вынужден сделать маленькое признание. Я не знаю, напишу ли я вообще когда-нибудь докторскую диссертацию, но в 89 году меня отпустили ее писать. И тема ее называется «Психология творческого воображения». Поэтому мне опасно говорить на эту тему. Я могу не завершить вообще данный курс. Поэтому я дам только одно определение и поясню его. Процесс преобразования реальности…. Воображение — это процесс преобразования реальности, или представления о ней. Процесс преобразования реальности, или представления о ней. Это в общем виде. А теперь посмотрите. Нет. Маленькое замечание. Важное замечание. В слове «воображение» корень «образ». А мы ранее говорили: единица восприятия — это тоже образ. И это разные образы. Русское слово одно, английских — два. Я понятно сейчас говорю? Образ восприятия — это перцепт. Восприятие — перцепция. Образ воображения. Так приходится сказать. Это здесь не тавтология. Образ воображения — это имидж. По-английски так и пишется «image». Это то самое модное ныне, сегодня словечко «имидж» — это обобщенный образ.
Образ-тип. Образ функций понятия. Концепт — это понятие. Концепция — это мышление. Концепт — это понятие, это схема, это собственно понятие. А теперь я хочу отличить, потому что вы задали хороший вопрос. Я хочу отличить мышление от воображения. Потому что вы сказали: «Концепт», а я сказал: «Это понятие.» А я только что говорил… А образ — это тоже может быть функцией понятия. Ну, не знаю. Химик Кекуле, который открыл бензольное кольцо. Открыл его, это часто очень бывает в творчестве, увидев в грезе. Он у камина сидел и дремал, смотря на пламя. У него змейки пламени. То есть остатки пламени были на сетчатке глаза. Да? Линии мелькали, превратились в змеек. И он увидел, как эти змейки кусают себя за хвост. Он вскочил и зарисовал структуру молекулы бензола. Что это такое? Это концепт? Да нет, это имидж. И тогда мы скажем: единица мышления — это все-таки знаки, знаковые конструкции. Концепт — это знаковая конструкция. А в воображении мы оперируем символами. Почему Тарковский гневался, когда ему говорили: «Что означает у Вас вода?» Он говорил другие слова.
Я скажу за него, как психолог. Он говорит: «Вода — это не знак. Вода — это просто вода.» И после этого он начинал говорить: «И вообще вода — это самая существенная загадка на свете.» И начинал признаваться: «У меня нет, как у детей, мании лежать в луже и болтать ногами.» Где он видел таких детей, которые лежат в луже и болтают ногами? Он явно говорит о себе. Теперь мы смотрим. За знаком стоит знание, за символом стоит сознание. Мы же говорили сегодня о сознании. Правда? Сознание — нечто более фундаментальное. Тогда мы скажем, что вот этот образ-символ дает понимание реальности. Между прочим про творческое воображение… Простите, про тему диссертации, которая меня … Вот уже за руки держат и говорят: «Всё, пиши, пиши, пиши, пиши, иначе ты никогда не будешь профессором.» А мне теперь уже хочется доказать, что можно быть, не будучи доктором. Вот такое у меня спортивное соревнование. Я … Интересно, кто выйдет победителем. Это еще пока не ясно. Не знаю, не знаю. Скорее всего, да. И я потом скажу, в каком смысле.
Но мы отвлеклись. Творческое воображение — это. Мы пишем коротко. Это процесс построения. Я вам даю здесь авторское определение. Извините. Процесс построения способов представления реальности. Можно даже написать: способов представления. В скобочках: понимания. Реальности. Процесс представления. В скобках: понимания. Реальности. То есть процесс построения символов. Вот и все. Когда говорят творчество — это построение нового, не верьте. Творчество — это построение понимания. Тот, кто творит новое… Вот какой-нибудь безумец скажет: «У меня вот уже есть машина. Я хочу купить себе новую машину.» Он фантазирует. На самом деле воображает тот, кто лишен понимания. Кажется, многие, но не из нас, к счастью… Мы делом занимаемся в сегодняшний день. А многие из тех, кто занимается сегодня бездельем с каким-нибудь флажком… У него есть проблема. Проблема понимания реальности. Этот флажок для него — это символ, который на сегодняшний день для него есть способ удержаться за жизнь.
Тогда последнее, что мне хотелось бы сказать.
Посмотрите. Все эти процессы взаимосвязаны. Для того чтобы запечатлеть материал. Извините, весь его вы никогда не запечатлеете. Вы никогда не запомните. Его надо отобрать. Раз отобрал, значит сохранил. А для того чтобы затем воспроизвести материал, надо какое-то время быть на нем сосредоточенным. С ним надо работать. Сосредоточение называют удержанием материала. Кстати говоря, вы хотя и киваете головами сегодня, я вам искренне благодарен. Но я советую сегодняшние лекции прокрутите для себя в полном объеме еще и еще раз. Там вы увидите новые и новые смыслы. Мы сегодня движемся в слишком резком режиме. Конспекты хорошие, кто умеет составлять, этого достаточно вполне, конспекта. Но есть иногда и другое. Вот посмотрите. Раз был сосредоточен, значит воспроизвел. Память связана с вниманием. Ну а теперь посмотрите. И отбор материала, и удержание его в сознании — это, конечно, преобразование материала. Отбор, понятно, — преобразование. А когда что-то держишь в сознании. Не знаю, там практика медитации вот.
Одно и то же удерживается в сознании. Там постоянно выделяется что-то новое. Я понятно сейчас говорю? Где сознание?… Сосредоточение. Сохранение. Запечатление. Вот шесть ключевых слов на три процесса: память -запечатление, сохранение, воспроизведение; внимание — отбор, сосредоточение и воображение — это преобразование материала. Вот такова взаимосвязь процессов. Наш маленький курс завершен. Спасибо за внимание.
Давайте немножко поболтаем вот о чем. Значит вы получите программки.
Здесь имеется ввиду Фрейд. И как мы излагали Фрейда, мы помним. Все, что там говорилось, нам необходимо для понимания. И вообще, это именно приложение к данному курсу. Не больше, но и не меньше. И мы иногда будем прибегать для пояснения фрейдовских идей к гештальттерапии. Потому что я считаю, что Перлз, основатель гештальттерапии. Да? Более других проверил Фрейда. Он был его активным критиком. Вот когда что-то критикуешь, а это не разрушается, то значит это надежное учение. И теперь мне надо пояснить вот эти словечки.
Значит, защитные механизмы и мнимая личность. Но прежде всего давайте с мнимой личности начнем. Личность решает проблему. Когда я произношу… У Фрейда нет такого понятия «мнимая личность». Фрейд придавал слову «личность» широкое понимание. Это, вообще говоря, просто человек для него. А я все-таки готов сказать «мнимая личность» вот почему. Потому что здесь имеется ввиду пациент Фрейда, который не решает проблемы, либо не хочет, либо не может. Это уже другие дела. Но важно то, что он эти проблемы не решает. И тогда смотрите почему мнимое. Он вроде бы идет на какие-то поступки…. (Простите, вам, наверное, неудобно сидеть? Удобно? И писать есть где?) Вот… И тогда мы говорим, что имеем ввиду вот прежде всего пациента аналитика. Я чуть-чуть поясню. Дело в том, что весь этот курс ваш и другие курсы, читаемые мной, во многом обязаны существованию вот знакомства моего, пусть и шапочного, с Мамардашвили. И когда его не стало, со мной произошел один смешной случай, о котором вы можете меня потом спросить, если захотите.
А выводом из этого смешного случая было то, что я стал писать статью в память Мамардашвили. Я по наивности думал, что это будет одна статья. Я ее назвал «Природа и культура». Громко назвал. Я сейчас ее перечитывал. И удивительно, что я вообще мог что-то подобное написать. Это совершенно невероятно. Сейчас таких статей шесть. В Соросе издана книжечка некоммерческим тиражом, где пять с половиной статей уже оформлены в виде книжки, а седьмая дописывается. Я не даю 100%, что она будет дописана, но я постоянно ношу с собой (значит) подготовительные варианты. Их уже немало. Так вот я это к чему. Я эту статью, а, вернее, теперь уже книжечку, никогда бы не написал, если бы не редактор «Вестника МГУ» Татьяна Александровна Лежнова, которая является просто моей хорошей знакомой. Она училась на два года старше. И с первого выпуска мы вместе играли в художественной самодеятельности. Я ей позвонил и спросил: «Вот статью про Мамардашвили… не про, а вот в память… Это вообще возможно на уровне «Вестника МГУ» в серии «Психология»?» Она говорит: «Пиши.
» Я говорю: «Статья будет необычной. И по форме, и по содержанию.» «Пиши.» Посмотрела. Мы с ней долго спорили. И теперь она уже не правит мои статьи. Но одну правку она сделала такую, которой удивился уже я. Дело в том, что там слово «личность» писалось… То она называлась парциальная личность, то она бралась в кавычки. Вот этот вот пациент Фрейда. Его не иначе, как, ну… Он вроде бы и личность, но в кавычках. Некое подобие личности. И она мне говорит: «Знаешь что? Что ты все «мнимая личность». Длинно. Места мало. Все меньше и меньше места дают для статьи. Пиши, мничность.» Я говорю: «А можно?» Она говорит: «Ты знаешь что. Уже можно. Уже тут такого понаписано, что это не помешает.» И тогда я больше не буду употреблять слово «мничность». Но представьте себе смеховые эффекты типа «мничностный смысл», там… Вот что-нибудь такое… Да…. Вот поиграйте этими словами. Получится забавно.
Я сказал о вашем герое. Это пациент-аналитик. Теперь о слове «защита», а точнее «защитный механизм».
Вы сказали: «Подлинная защита для личности, настоящей — это, конечно, культура.» Защищает личность культура. И Фрейд говорил: «Есть единственная верная защита.» Он использовал термин «сублимация». Надо мне писать на доске или нет? Сублимация. «Сублимация» по-русски — «вытеснение». Но «вытеснение» — перевод плохой. Почему? Потому что по-русски «вытеснение» может показаться по смыслу словом «вытеснил». Значит «подавил». Это ни в коем случае не так. Сублимация — это, знаете, вот по образу …да… вот… Пусть будет такой символ. Природная энергия бушует, она должна выйти наверх. Бушующая вода. Такой фонтан! Тогда надо прорыть каналы. Вот культура — это те каналы, по которым потечет спокойно эта вода. Это как бы сублимация природы в культуру. Вот подлинная защита по Фрейду. И поэтому он не лечил художников. О чем мы уже говорили. И тогда понятно, что здесь мы имеем ввиду не защиту, защитный механизм. Простите, слово «механизм» мы уже поясняли. В данном случае механизм — это символ автомата, я имею ввиду автоматического устройства, символ несвободы.
То есть невротик ( может и, так его, короткости ради, называть), он защищает себя сам неким механизмом. И вот эти механизмы… Я не хотел бы их перечислить. Теперь скажу так. Механизмов будет семь. Почитать о том, о чем я говорю, можно. Я просто честно признаюсь, что я сначала просто пересказывал совершенно определенный текст. Есть книжка. Очень хорошая книга для практических психологов, очень плохо переведенная. Потому что она переведена пиратски. Сейчас она есть в виде сборничков четырех и даже пяти, там что-то пятый процент — буддизм, что я уже не читал. Вот. А четыре основных — там про психологов. А сейчас видел, что это издано в виде книжки, которую пока и сам не купил. Если вдруг вы увидите, купите в долг там, если у вас есть время, на лишние деньги на мою долю. Она стоит, наверное, тысяч пятьдесят. Пока. На черном рынке она будет стоить гораздо дороже, потому что даже здесь возможно, что все-таки черный рынок в нашей стране пока есть. А не просто рынок. Сейчас…. Фейдимен и Фрейгер, Фейдимен и Фрейгер.
Фейдимен (плохо написал, да?). Федор, Елена, «и» краткое, Дмитрий, Игорь, Мария, Елена, Надежда. Фейдимен. Федор, Роман, Елена, «и» краткое, Елена, нет, простите, Галина, Елена, Роман. Фрейгер. Да? Там занимает всего несколько страничек что. Перечисление защитных механизмов по Фрейду. И я даже не буду менять последовательность. Как будет там, так и здесь. Но только я вам расскажу об этом… Книжка, кстати, так и устроена, что там защитные механизмы даны по каждому автору. (Вопрос: Как называется книга?) О, простите. Я не сказал главного. «Личность и личностный рост», «Личность и личностный рост». Обычно она выпускается в виде выпусков. Четыре выпуска, вернее, всего пять. И вот в первом, например, выпуске — там Фрейд и Юнг. Краткая биография Фрейда, интеллектуальные предшественники, да, короткие представления теоретические, защиты… «Препятствия росту» они называются всегда. И под конец обязательно психологические упражнения, терапевтические упражнения. Очень хорошая книжка. Так вот, я сослался на источник.
И теперь скажу, что там эти механизмы перечисляются через запятую. А я вам расскажу так, как если бы вы, например, психологи-практики, имели дело с соответствующим пациентом. Вот он бы перед вами оказался. И тогда получается так, что у нас из одного механизма будет получаться другой. И это будет неким процессом лечения. Я даже скажу, что наступит такой момент, когда у вас человек уже излечится и перестанет быть мнимой личностью. И его мы… Так сказать, отстали… А, если о мнимой личности говорить, то и она куда-то, так сказать, добредет в конце концов за эти семь механизмов. Понятен смысл рассказа? И тогда начинаем его. Первый механизм называется подавление. Я сегодня не успел одной вещи. Раз. Раз. Раз. И еще раз. В самом деле, конечно, для нашей страны это черно-красный праздник. Праздник траура о погибели миллионов людей. Были они белыми или красными. Нам все равно. Потому что это люди. И вот знаете, когда говоришь о страшном, надо смеяться. Страх побеждается только смехом. И вот с таким предисловием нам не страшно, но и не смешно.
Вот, то страшно, то смешно. Бывает и тому, кто работает с пациентом, бывает и самому психоаналитику. Так вот, подавление. Определяем его так. Значит, в любом определении (пока подождем писать определение). В любом определении мы будем употреблять такое словосочетание: источник угроз, или источник симптома. Это, помните, мы когда-то говорили: комплекс состоит из явной части и из скрытой. Явная — симптом, а скрытая — причина. Так вот это вот и есть причина, источник угрозы. Обобщенное название — источник угрозы, источник симптома и т. д. Ее имеем ввиду. Итак. Подавление — это попытка полного вытеснения источника угрозы, попытка полного вытеснения источника угрозы из сферы сознания. (Простите, я не сделал еще маленького замечания: приложение было для желающих. Мы все хотим? Деликатный перерыв нам не надо сделать? Если кто-нибудь… Не надо? Ну, тогда смотрите. Нет, нельзя. Решение надо было принимать раньше.) И вот тогда…. (Да ничего не будет страшного. Вы что, с ума сошли, что ли? Это я пугаю так.
Я же настроение создаю. Вы что… Конечно…) Подавление — полное, якобы полное, устранение источника угрозы из сферы сознания. Фрейд говорит, что, во-первых, подавление — это наиболее патогенный механизм, причем самый опасный. Во-вторых, что это подавление никогда не бывает полным. Источник угрозы все равно существует. Сейчас посмотрим где. Сначала скажем о том, что послужило причиной подавления, наиболее частой. Пожалуй, это единственный механизм, где бессознательный комплекс себе создал человек не только сам. А с помощью своих родителей. Причина подавления — это неразъясненный родительский запрет. Это вот сверхмощное Сверх-Я, если хотите. Тут тавтологий у нас будет немало. Мощное Сверх-Я. Выгорело из сознания. Людей так называемых подавляющих мы иногда видим, хотя и нечасто. Это знаете, такие люди. которые тем каких-то не только сами не касаются, но даже ухитряются не слышать, когда эти темы затрагиваются при них. Вот, ну не слышит что-то человек и все. Абсолютно индифферентен. Не показно индифферентен, не надо.
Это будет другой механизм. А вообще не слышит. Представьте. Кто-то видел, кто-то нет, и если не видели, то прийдется представить. Прийдется представить в таком виде. Смотрите. Убрали из сознания. А психоанализ, по Фрейду, — это лечение словом. Значит, запретили говорить. Как бы вот, себе запретил говорить на эту тему. Немножко метафоры. Фрейд любил метафоры. И мы не избежим метафор. Вот убрали из речи. Куда источник попал? Да не попал, а он остался там, где был. В теле! Поэтому так называемая психосоматика — это результат, по Фрейду, это результат подавления. Подавление бьет по телу. Знаете, так сказать, по чему? Не почему, а по чему именно, да. По, так сказать, обычным организмическим функциям. Вот обычным процессам: дышим, сердце бьется, желудок работает и т.д. Астма, сердечно-сосудистые заболевания, расстройства органов пищеварения, заведомо понятная интимная сфера — это несомненно. Импотенция и фригидность — это результаты подавления. Здесь, пожалуй, Фрейд прав. В других случаях с ним можно спорить.
Мало ли. Одно маленькое предупреждение. Это ведь психоаналитик обязан считать, что любой астматик подавляет. Иначе бы он не был психоаналитиком. Но на самом деле лечение может быть совершенно разным. Ведь наши мотивы в принципе неосознаваемы. И в общем-то человек, ну, вообще-то говоря, познает себя в течение всей жизни. И есть люди, которые совершенно этим не занимаются. Им достаточно там попрыскать чем-то рот, чтобы хорошо дышать. И вовсе не обязательно копаться в их личности. Но в принципе, говорит Фрейд, это так. Тогда используем метафору Перлза. Я уже сказал, что нам часто помогать гештальттерапия. У Перлза личность — это и есть организм. Перлз считает, что можно вот… Помните говорили, как человек ест, как человек пьет. Говорили или нет? Вот даже по этому, если глотает кусками, значит он так и мир….не чувствует вкуса мира. Или там он, скажем, не пьет, а……………Вот, у Перлза тогда такое…. такой образ, что результат подавления……..
Как создать семантический поиск на естественном языке для произвольных объектов с помощью глубокого обучения | Hamel Husain
Опубликовано в·
13 мин.
Читать·
29 мая 2018. Средний пример того, как построить систему, которая может искать объекты семантически. Авторы Hamel Husain & Ho-Hsiang Wu
Фотография Хубота.Мощь современных поисковых систем неоспорима: вы можете получить информацию из Интернета в любой момент. К сожалению, эта сверхспособность не вездесуща. Есть много ситуаций, когда поиск сводится к строгому поиску по ключевым словам или когда объекты не являются текстом, поиск может быть недоступен. Кроме того, строгий поиск по ключевым словам не позволяет пользователю выполнять семантический поиск, а это означает, что информация не так легко обнаруживается.
Сегодня мы делимся воспроизводимым, минимально жизнеспособным продуктом, который иллюстрирует, как вы можете включить семантический поиск для произвольных объектов! Конкретно, мы покажем вам, как создать систему, которая выполняет семантический поиск в коде Python, но этот подход можно обобщить и на другие объекты (такие как изображения или звуковые клипы).
Почему семантический поиск так интересен? Рассмотрим приведенный ниже пример:
Представленный поисковый запрос: « Ping REST API и возврат результатов». Однако поиск дает разумные результаты, даже если найденный код и комментарии не содержат слова 9.0021 Пинг, REST или API.
Это иллюстрирует силу семантического поиска : мы можем искать контент по его значению в дополнение к ключевым словам , и максимизировать шансы пользователя найти информацию, которую он ищет. Последствия семантического поиска очень глубоки — например, такая процедура позволит разработчикам искать код в репозиториях, даже если они не знакомы с синтаксисом или не могут предвидеть правильные ключевые слова. Что еще более важно, вы можете обобщить этот подход на такие объекты, как изображения, аудио и другие вещи, о которых мы еще не думали.
Если это недостаточно увлекательно, вот живая демонстрация того, что вы сможете построить к концу этого урока :
уровень интуиции того, как мы будем выполнять семантический поиск.
Основная идея состоит в том, чтобы представить как текст, так и объект, который мы хотим найти (код), в общем векторном пространстве, как показано ниже: связанный.
Цель состоит в том, чтобы отобразить код в векторное пространство естественного языка таким образом, чтобы пары (текст, код), описывающие одно и то же понятие, были близкими соседями, тогда как несвязанные пары (текст, код) находились дальше друг от друга, что измерялось косинусным сходством.
Есть много способов достичь этой цели, однако мы продемонстрируем подход, заключающийся в использовании предварительно обученной модели, которая извлекает функции из кода, и тонкой настройке этой модели для проецирования скрытых функций кода в векторное пространство естественного языка. Одно предупреждение: мы используем термин вектор и встраивание взаимозаменяемо на протяжении всего этого урока.
Методы, представленные в этом сообщении в блоге, устарели и были значительно усовершенствованы в последующем проекте под названием CodeSearchNet с соответствующим документом.
Я рекомендую взглянуть на вышеупомянутый проект для более современного подхода к этой теме, так как в ретроспективе этот пост в блоге выглядит несколько уродливым хаком.
Мы рекомендуем ознакомиться со следующими элементами перед чтением этого руководства:
- Последовательные модели: Будет полезно ознакомиться с информацией, представленной в предыдущем руководстве.
- Прочтите этот документ на высоком уровне и поймите интуицию представленного подхода. Мы опираемся на аналогичные концепции для того, что представляем здесь.
Этот учебник будет разбит на 5 конкретных шагов. Эти шаги проиллюстрированы ниже и будут полезным справочным пособием по мере прохождения учебного курса. После завершения обучения будет полезно вернуться к этой диаграмме, чтобы понять, как все шаги сочетаются друг с другом.
Интеллект-карта этого урока. Версия в высоком разрешении доступна здесь. Здесь каждый шаг 1–5 соответствует блокноту Jupyter.
Мы рассмотрим каждый шаг более подробно ниже.
Блокнот, часть 1
Сотрудники Google собирают и хранят данные из репозиториев GitHub с открытым исходным кодом в BigQuery. Это отличный открытый набор данных для всех видов интересных проектов по науке о данных, включая этот! Когда вы подписываетесь на учетную запись Google Cloud, они дают вам 300 долларов, чего более чем достаточно для запроса данных для этого упражнения. Получение этих данных очень удобно, так как вы можете использовать SQL-запросы для выбора типа файлов, которые вы ищете, а также другие метаданные о репозиториях, такие как коммиты, звездочки и т. д.
Шаги для получения этих данных описаны в этой записной книжке. К счастью, некоторые замечательные люди из команды Kubeflow в Google прошли эти этапы и любезно разместили данные для этого упражнения, которое также описано в этой записной книжке.
После сбора этих данных нам нужно разобрать эти файлы на пары (код, строка документации).
В этом руководстве одна единица кода будет либо функцией верхнего уровня, либо методом. Мы хотим собрать эти пары в качестве обучающих данных для модели, которая будет обобщать код (подробнее об этом позже). Мы также хотим удалить из кода все комментарии и оставить только код. Это может показаться сложной задачей, однако существует замечательная библиотека под названием 9.0021 и в стандартной библиотеке Python, которые можно использовать для извлечения функций, методов и строк документации. Мы можем удалить комментарии из кода, преобразовав код в AST, а затем обратно из этого представления в код, используя пакет Astor. Понимание AST или того, как работают эти инструменты, не требуется для этого руководства, но это очень интересные темы!
Чтобы подготовить эти данные для моделирования, мы разделяем данные на обучающие, проверочные и тестовые наборы. Мы также поддерживаем файлы (которые мы называем «происхождение»), чтобы отслеживать исходный источник каждой пары (код, строка документации).
Наконец, мы применяем те же преобразования к коду, который не содержит строки документации, и сохраняем его отдельно, так как нам также понадобится возможность поиска в этом коде!
Записная книжка части 2
Концептуально построение модели последовательностей для суммирования кода идентично своднику задач GitHub, который мы представили ранее — вместо тел задач мы используем код Python, а вместо заголовков задач мы используем строки документации.
Однако, в отличие от текста выпуска GitHub, код не является естественным языком. Чтобы полностью использовать информацию в коде, мы могли бы ввести оптимизации для конкретных доменов, такие как LSTM на основе дерева и токенизацию с учетом синтаксиса. В этом уроке мы собираемся не усложнять и рассматривать код как естественный язык (и при этом получать приемлемые результаты).
Построение обобщателя функций само по себе очень крутой проект, но мы не собираемся уделять этому слишком много времени (но мы рекомендуем вам это сделать!).
Вся сквозная процедура обучения для этой модели описана в этой записной книжке. Мы не обсуждаем предварительную обработку или архитектуру для этой модели, поскольку она идентична обобщателю проблемы.
Наша мотивация для обучения этой модели состоит не в том, чтобы использовать ее для задачи обобщения кода, а скорее в качестве экстрактора функций общего назначения для кода. С технической точки зрения, этот шаг необязателен, так как мы выполняем его только для инициализации весов модели для связанной нижестоящей задачи. На более позднем этапе мы извлечем кодировщик из этой модели и точно настроим его для другой задачи. Ниже приведен скриншот некоторых примеров выходных данных этой модели:
Пример результатов функции суммирования на тестовом наборе. Блокнот смотрите здесь. Мы видим, что, хотя результаты не идеальны, есть убедительные доказательства того, что модель научилась извлекать некоторый семантический смысл из кода, что является нашей главной целью в этой задаче. Мы можем количественно оценить эти модели, используя метрику BLEU, которая также обсуждается в этой записной книжке.
Следует отметить, что обучение модели seq2seq обобщению кода — не единственный метод, который можно использовать для создания экстрактора функций для кода. Например, вы также можете обучить GAN и использовать дискриминатор в качестве средства извлечения признаков. Однако эти другие подходы выходят за рамки данного руководства.
Блокнот, часть 3
Теперь, когда мы создали механизм для представления кода в виде вектора, нам нужен аналогичный механизм для кодирования фраз на естественном языке, подобных тем, которые можно найти в строках документации и поисковых запросах.
Существует множество предварительно обученных моделей общего назначения, которые будут генерировать высококачественные вложения фраз (также называемые вложениями предложений). В этой статье представлен отличный обзор ландшафта. Например, универсальный кодировщик предложений Google очень хорошо работает во многих случаях и доступен на Tensorflow Hub.
Несмотря на удобство этих предварительно обученных моделей, может быть полезно обучить модель, которая фиксирует предметно-ориентированный словарь и семантику строк документации. Есть много методов, которые можно использовать для создания вложений предложений. Они варьируются от простых подходов, таких как усреднение векторов слов, до более сложных методов, таких как те, которые используются при создании универсального кодировщика предложений.
В этом руководстве мы будем использовать модель нейронного языка с помощью AWD LSTM для создания вложений предложений. Я знаю, это может показаться пугающим, но замечательная библиотека fast.ai предоставляет абстракции, которые позволяют вам использовать эту технологию, не беспокоясь о слишком многих деталях. Ниже приведен фрагмент кода, который мы используем для построения этой модели. Дополнительные сведения о том, как работает этот код, см. в этой записной книжке.
Часть функции train_lang_model, вызываемой в этом блокноте. Использует fast.ai. При построении языковой модели важно тщательно продумать корпус, который вы используете для обучения. В идеале вы хотите использовать корпус, относящийся к той же предметной области, что и ваша нижестоящая проблема, чтобы вы могли адекватно охватить соответствующую семантику и словарный запас.
Например, отличным корпусом для решения этой проблемы будут данные о переполнении стека, так как это форум, на котором очень подробно обсуждается код. Однако, чтобы упростить этот учебник, мы повторно используем набор строк документации в качестве нашего корпуса. Это неоптимально, поскольку обсуждения переполнения стека часто содержат более богатую семантическую информацию, чем то, что содержится в однострочной строке документации. Мы оставляем читателю в качестве упражнения возможность изучить влияние на конечный результат с помощью альтернативного корпуса.
После обучения языковой модели наша следующая задача — использовать эту модель для создания вложения для каждого предложения. Обычный способ сделать это — обобщить скрытые состояния языковой модели, такой как подход объединения в пул, описанный в этой статье. Однако для простоты мы просто усредним все скрытые состояния. Мы можем извлечь среднее значение по скрытым состояниям из языковой модели fast.ai с помощью этой строки кода:
Как извлечь вложение предложения из языковой модели fast.
ai. Здесь используется эта схема.Хороший способ оценить вложения предложений — измерить эффективность этих вложений в последующих задачах, таких как анализ тональности, текстовое сходство и т. д. Часто можно использовать тесты общего назначения, такие как приведенные здесь примеры, для измерения качества вложений. Однако эти обобщенные тесты могут не подходить для этой проблемы, поскольку наши данные очень специфичны для предметной области. К сожалению, мы еще не разработали набор последующих задач для этой области, исходный код которого мы можем открыть. В отсутствие таких последующих задач мы можем, по крайней мере, проверить работоспособность этих вложений, содержащих семантическую информацию, исследуя сходство между фразами, которые, как мы знаем, должны быть похожими. На приведенном ниже снимке экрана показаны некоторые примеры, где мы ищем сходство векторизованных строк документации с фразами, предоставленными пользователем (взято из этой записной книжки):
Ручная проверка сходства текста в качестве проверки работоспособности.
Больше примеров в этой тетради.Следует отметить, что это только проверка работоспособности — более строгий подход заключается в измерении влияния этих вложений на различные последующие задачи и использовании этого для формирования более объективного мнения о качестве ваших вложений. Более подробное обсуждение этой темы можно найти в этой записной книжке.
Записная книжка части 4
На этом этапе может быть полезно вернуться к диаграмме, представленной в начале этого руководства, чтобы проверить, где вы находитесь. На этой диаграмме вы найдете это представление части 4:
Визуальное представление задач, которые мы будем выполнять в Части 4.Большинство элементов этого шага взяты из предыдущих шагов этого руководства. На этом этапе мы настроим модель seq2seq из части 2, чтобы предсказать встраивание строк документации вместо строк документации. Ниже приведен код, который мы используем для извлечения кодировщика из модели seq2seq и добавления плотных слоев для тонкой настройки:
Создайте модель, отображающую код в векторное пространство естественного языка.
Для получения дополнительной информации см. этот блокнот.После обучения замороженной версии этой модели мы размораживаем все слои и обучаем модель на несколько эпох. Это помогает лучше настроить модель для этой задачи. Вы можете увидеть полную процедуру обучения в этом блокноте.
Наконец, мы хотим векторизовать код, чтобы мы могли построить поисковый индекс. В целях оценки мы также будем векторизовать код, который не содержит строки документации, чтобы увидеть, насколько хорошо эта процедура обобщает данные, которые мы еще не видели. Ниже приведен фрагмент кода (взятый из этой записной книжки), который выполняет эту задачу. Обратите внимание, что мы используем библиотеку ktext для применения к этим данным тех же шагов предварительной обработки, которые мы изучили на обучающем наборе.
Сопоставьте код с векторным пространством естественного языка с помощью модели code2emb. Для получения дополнительной информации см. этот блокнот.После сбора векторизованного кода мы готовы перейти к последнему и заключительному шагу!
Блокнот части 5
На этом шаге мы создадим поисковый индекс, используя артефакты, созданные на предыдущих шагах, как показано ниже: В части 4 мы векторизовали весь код, не содержащий строк документации.
Следующим шагом является помещение этих векторов в поисковый индекс, где можно быстро найти ближайших соседей. Хорошая библиотека Python для быстрого поиска ближайших соседей — nmslib. Чтобы пользоваться быстрым поиском с помощью nmslib, вы должны предварительно вычислить поисковый индекс следующим образом:
Теперь, когда вы создали поисковый индекс векторов кода, вам нужен способ превратить строку (запрос) в вектор. Для этого вы будете использовать языковую модель из части 3. Чтобы упростить этот процесс, мы предоставили в lang_model_utils.py вспомогательный класс под названием Query2Emb, который демонстрируется в этой записной книжке.
Наконец, как только мы сможем превратить строки в векторы запросов, мы сможем получить ближайших соседей для этого вектора следующим образом:
idxs, dists = self.search_index.knnQuery(query_vector, k=k)
Индекс поиска вернет два элемента (1) список индексов, представляющих собой целые позиции ближайших соседей в наборе данных (2) расстояния между ними соседи из вашего вектора запроса (в этом случае мы определили наш индекс для использования косинусного расстояния).
Получив эту информацию, можно легко построить семантический поиск. Пример того, как это можно сделать, представлен в приведенном ниже коде:
Наконец, в этой записной книжке показано, как использовать приведенный выше объект search_engine для создания интерактивной демонстрации, которая выглядит следующим образом:
Поздравляем! Вы только что научились создавать семантический поиск. Я надеюсь, что это стоило поездки.
Несмотря на то, что в этом руководстве описывается, как создать семантический поиск кода, вы можете использовать аналогичные методы для поиска видео, аудио и других объектов. Вместо использования модели, которая извлекает функции из кода (часть 2), вам нужно обучить или найти предварительно обученную модель, которая извлекает функции из выбранного вами объекта. Единственным предварительным условием является наличие достаточно большого набора данных с аннотациями на естественном языке (например, расшифровками аудио или подписями к фотографиям).
Мы считаем, что вы можете использовать идеи, которые вы узнали в этом руководстве, для создания собственного поиска, и хотели бы услышать от вас, чтобы увидеть, что вы создаете (см. раздел , как связаться с ниже).
- {Обновление от 01.01.20202}: методы, обсуждаемые в этом сообщении в блоге, устарели, особенно в отношении архитектуры модели и техники. Обновленную версию этого же проекта см. в проекте CodeSearchNet и в соответствующем документе.
- Методы, обсуждаемые в этом сообщении в блоге, упрощены и касаются только поверхности того, что возможно. То, что мы представили, представляет собой очень простой семантический поиск, однако для того, чтобы такой поиск был эффективным, вам, возможно, придется дополнить этот поиск поиском по ключевым словам и дополнительными фильтрами или правилами (например, возможностью поиска в определенном репо, пользовательском , или организация и другие механизмы информирования об актуальности).
- Существует возможность использовать специфические для предметной области архитектуры, использующие преимущества структуры кода, такие как древовидные lstms.
Кроме того, есть и другие стандартные приемы, такие как использование внимания и случайное принуждение учителей, которые мы опустили для простоты. - Одна часть, которую мы упустили из виду, — это оценка поиска. Это сложная тема, которая заслуживает отдельного поста в блоге. Чтобы эффективно решить эту проблему, вам нужен объективный способ измерения качества результатов поиска. Это будет темой будущего поста в блоге.
Кроме того, есть и другие стандартные приемы, такие как использование внимания и случайное принуждение учителей, которые мы опустили для простоты.Надеемся, вам понравился этот пост. Пожалуйста, не стесняйтесь связаться с нами:
- Hamel Husain: Twitter, LinkedIn или GitHub.
- Ho-Hsiang Wu: LinkedIn, GitHub
- Репозиторий этой статьи на GitHub.
- Чтобы упростить задачу для тех, кто пытается воспроизвести этот пример, мы упаковали все зависимости в контейнер Nvidia-Docker. Для тех, кто не знаком с Docker, этот пост может оказаться полезным. Вот ссылка на образ докера для этого руководства на Dockerhub.
- Я рекомендую всем, кто хочет приобрести навыки глубокого обучения, пройти Fast. AI от Джереми Ховарда. Там я научился многим навыкам, которые мне понадобились для этого поста в блоге. Кроме того, в этом руководстве используется библиотека fastai.
- Следите за этой книгой, она все еще находится в стадии раннего выпуска, но содержит полезные подробности по этому вопросу.
- В этом выступлении Авниша Салуджи рассказывается, как Airbnb исследует использование общих векторных пространств для семантического поиска объявлений, а также других информационных продуктов.
AI от Джереми Ховарда. Там я научился многим навыкам, которые мне понадобились для этого поста в блоге. Кроме того, в этом руководстве используется библиотека fastai.Макет пользовательского интерфейса поиска был разработан Джастином Палмером (здесь вы можете увидеть некоторые другие его работы). Также спасибо следующим людям за их обзор и вклад: Ike Okonkwo, David Shinn, Kam Leung.
Любые идеи или мнения, представленные в этой статье, являются нашими собственными. Любые представленные идеи или методы не обязательно предвещают будущие продукты GitHub. Цель этого блога только в образовательных целях.
Примеры «произвольного» в предложении
произвольного
Реклама
Реклама
Реклама
- 90 076
Реклама
Реклама
90 215- 90 076 90 215
- 90 076 90 215
- 90 076 90 215
- 90 076 90 215
- 90 076 90 215
Приведенные выше примеры использования слов были собраны из различных источников, чтобы отразить текущее и историческое использование.