Тест Тьюринга / Хабр
Итак сегодня мы поговорим о самом известном тесте для оценки говорящего бота — это тест Тьюринга.Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить.
Стандартное звучание закона: «Если компьютер может работать так, что человек не в состоянии определить, с кем он общается — с другим человеком или с машиной, — считается, что он прошел тест Тьюринга»
Разумные, подобные человеку машины на протяжении многих десятилетий были одной из основных тем научно-фантастических произведений. С момента зарождения современной вычислительной техники умы людей занимал вопрос: можно ли построить машину, которая могла бы в чем-то заменить человека. Попыткой создать твердую эмпирическую почву для решения этого вопроса и стал тест, разработанный Аланом Тьюрингом.
Первый вариант теста, опубликованный в 1950 году, был несколько запутанным. Современная версия теста Тьюринга представляет собой следующее задание. Группа экспертов общается с неизвестным существом. Они не видят своего собеседника и могут общаться с ним только через какую-то изолирующую систему — например, клавиатуру. Им разрешается задавать собеседнику любые вопросы, вести разговор на любые темы. Если в конце эксперимента они не смогут сказать, общались ли они с человеком или с машиной, и если на самом деле они разговаривали с машиной, можно считать, что эта машина прошла тест Тьюринга.
Существуют, по крайней мере, три основных варианта теста Тьюринга, два из которых были предложны в статье «Вычислительные машины и разум», а третий вариант, по терминологии Саула Трейджера (Saul Traiger), является стандартной интерпретацией.
Наряду с тем, что существует определенная дискуссия, соответствует ли современная интерпретация тому, что описывал Тьюринг, либо она является результатом неверного толкования его работ, все три версии не считаются равносильными, их сильные и слабые стороны различаются.
Имитационная игра
Тьюринг, как мы уже знаем, описал простую игру для вечеринок, которая включает в себя минимум трех игроков. Игрок А — мужчина, игрок В — женщина и игрок С, который играет в качестве ведущего беседу, любого пола. По правилам игры С не видит ни А, ни В и может общаться с ними только посредством письменных сообщений. Задавая вопросы игрокам А и В, С пытается определить, кто из них — мужчина, а кто — женщина. Задачей игрока А является запутать игрока С, чтобы он сделал неправильный вывод. В то же время задачей игрока В является помочь игроку С вынести верное суждение.
В той версии, которую С. Г. Стеррет (S. G. Sterret) называет «Первоначальный тест на основе имитационной игры» (Original Imitation Game Test), Тьюринг предлагает, чтобы роль игрока А исполнял компьютер. Таким образом, задачей компьютера является притвориться женщиной, чтобы сбить с толку игрока С. Успешность выполнения подобной задачи оценивается на основе сравнения исходов игры, когда игрок А — компьютер, и исходов, когда игрок А — мужчина.
Второй вариант предложен Тьюрингом в той же статье. Как и в «Первоначальном тесте», роль игрока А исполняет компьютер. Различие заключается в том, что роль игрока В может исполнять как мужчина, так и женщина.
«Давайте рассмотрим конкретный компьютер. Верно ли то, что модифицируя этот компьютер с целью иметь достаточно места для хранения данных, увеличивая скорость его работы и задавая ему подходящую программу, можно сконструировать такой компьютер, чтобы он удовлетворительно выполнял роль игрока А в имитационной игре, в то время как роль игрока В выполняет мужчина?», — Тьюринг, 1950, стр. 442.
В этом варианте оба игрока А и В пытаются склонить ведущего к неверному решению.
Главной мыслью данной версии является то, что целью теста Тьюринга является ответ не на вопрос, может ли машина одурачить ведущего, а на вопрос, может ли машина имитировать человека или нет.
Несмотря на то, что идут споры о том, подразумевался ли этот вариант Тьюрингом или нет, Стеррет считает, что этот вариант Тьюрингом подразумевался и, таким образом, совмещает второй вариант с третьим. В это же время группа оппонентов, включая Трейджера, так не считает. Но это все равно привело к тому, что можно назвать «стандартной интерпретацией». В этом варианте игрок А — компьютер, игрок В — человек любого пола. Задачей ведущего является теперь не определить кто из них мужчина и женщина, а кто из них компьютер, а кто — человек.
Тьюринг в 2012
Для организации мероприятий по празднованию в 2012 году столетия со дня рождения Тьюринга создан специальный комитет, задачей которого является донести мысль Тьюринга о разумной машине, отраженную в таких голливудских фильмах, как «Бегущий по лезвию», до широкой публики, включая детей. В работе комитета участвуют: Кевин Ворвик, председатель, Хьюма Ша, координатор, Ян Бланд (Ian Bland), Крис Чапмэн (Chris Chapman), Марк Аллен (Marc Allen), Рори Данлоуп (Rory Dunlop), победители конкурса на получение премии Лёбнера Робби Гарне и Фред Робертс (Fred Roberts).
Минимальный тест Тьюринга: докажи одним словом, что ты — человек
- Дэвид Робсон
- BBC Future
Подпишитесь на нашу рассылку ”Контекст”: она поможет вам разобраться в событиях.
Автор фото, Getty Images
По мере того как компьютеры становятся все умнее, способы провести грань между нами и разумными машинами становятся все изощреннее. Но есть как минимум одно волшебное слово…
Представьте себе, что вы и робот, оснащенный искусственным интеллектом, предстали перед неким судьей, который вас обоих не видит, а только слышит.
Этот судья должен вынести решение, кто из вас человек — и значит останется жить, а второй — умрет.
И вы, и разумный робот — вы оба хотите остаться в живых.
Судья умен и справедлив. И он говорит: «Вы должны мне сказать всего одно слово. На основании этого слова я решу, кто из вас человек».
Какое слово вы бы выбрали?
Что-нибудь из возвышенных духовных концепций — например, «душа»? Или нечто отражающее ваши вкусы («музыка»)? Или чисто телесную функциональную особенность («пукнуть»)?
Этот незамысловатый эксперимент может показаться надуманной забавой, но некоторые ученые, занимающиеся проблемами познания, считают, что он может выявить наши основные представления об искусственном интеллекте и в то же самое время позволит открыть некоторые удивительные вещи о том, как работает наш разум.
- Три угрозы человечеству, которые несет искусственный интеллект
- Не бойтесь искусственного разума, он нас спасет
- Искусственный интеллект — угроза или помощник для человечества?
- Каким не должно быть общество будущего — девять советов
В конце концов, автоматизированные боты в чатах и прочая генерирующая речь аппаратура все больше и больше задействуют искусственный разум, чтобы поддерживать разговор с нами, людьми, или писать тексты, с которыми мы сталкиваемся ежедневно в интернете.
Можем ли мы наверняка сказать, что сотрудник клиентской службы, с которым мы обмениваемся сообщениями онлайн, — реальная личность? Или это всего лишь болтливый алгоритм?
Сможем ли мы отличить историю, придуманную машиной, от написанной настоящим писателем, потратившим на нее творческие силы и вдохновение?
Коммуникативный искусственный интеллект — уже давно не теория, и нам надо быть готовыми к общению с ним.
Автор фото, Getty Images
Подпись к фото,Сейчас легко отличить роботов от людей, но по мере того как компьютеры будут становиться все умнее, нам придется научиться четко распознавать, кто есть кто — человек ли по ту сторону экрана или машина
Джон Маккой, один из исследователей Массачусетского технологического института, говорит, что однажды его вдохновил на эксперимент простой разговор с коллегами.
Они обсуждали так называемый тест Тьюринга, впервые разработанный британским ученым Аланом Тьюрингом в 1950 г.
и направленный на то, чтобы определить, насколько поведение компьютера отлично (или неотличимо) от человеческого.
(Участники этого теста не видят друг друга, и если судья не может точно сказать, кто из собеседников человек, то считается, что машина прошла тест. Беседа ведется в режиме «только текст», например, с помощью клавиатуры и экрана компьютера-посредника. — Ред.)
- Искусственный интеллект взял еще один рубеж. Теперь он может спорить с человеком
- Девять алгоритмов, которые уже принимают за вас решения
«Нам показалось интересным установить, что может стать минимальной версией теста Тьюринга», — объясняет Маккой.
И в конце концов они свели весь тест к единственному слову.
«И тогда возник вопрос: какие слова выбрали бы люди?» Вопрос этот в итоге вдохновил ученых на целое исследование, результаты которого опубликованы в этом году в «Журнале экспериментальной социальной психологии» (Journal of Experimental Social Psychology).
В первом из экспериментов Маккой с коллегой Томером Аллманом задали более чем тысяче участников упомянутый выше вопрос и затем проанализировали полученные таким образом слова, попытавшись найти какие-то общие тенденции.
Вот какими были 10 наиболее часто названных слов (по степени их популярности):
- Любовь (134 человека)
- Сострадание (33)
- Человеческий (30)
- Пожалуйста (25)
- Милосердие (18)
- Сопереживание (17)
- Эмоция (14)
- Робот (13)
- Человечество (11)
- Живой (9)
Автор фото, Getty Images
Подпись к фото,Юмор, сарказм и слова, относящиеся к функциям организма, были расценены как нечто, позволяющее опознать человека
Пропустить Подкаст и продолжить чтение.
ПодкастЧто это было?Мы быстро, просто и понятно объясняем, что случилось, почему это важно и что будет дальше.
эпизоды
Конец истории Подкаст
«Поразительно, насколько много у людей совпало, — говорит Маккой, который сейчас работает в Пенсильванском университете. — Они могли выбрать любое слово из стандартного английского языка и все-таки выбрали то же, что и многие другие».
Возьмите хотя бы слово «любовь» — его выбрали около 10%. Всего же четверть всех участников выбрала хотя бы одно из первых четырех слов приведенного списка.
Самыми популярными категориями были слова, относящиеся к телесным функциям (например, «какашка»), к вере и прощению («надежда», «милосердие»), к эмоциям («сопереживание») и к пище («бананы»).
Затем Маккой и Аллман провели второй эксперимент, чтобы выяснить, как другие люди реагируют на слова, полученные при помощи первого эксперимента.
Действительно ли самые популярные ответы наиболее успешно передают «человечность», как считали участники первого этапа исследования? И если это так, то какие слова делают это наилучшим образом?
Автор фото, Getty Images
Подпись к фото,Любовь — это концепция, которую компьютеру крайне трудно понять
Итак, исследователи объединили полученные ими слова в пары (например, «человеческий» и «любовь») и предложили второй группе участников определить, какое из этих двух наиболее вероятно выбрано человеком, а какое — компьютером.
Как мы уже увидели в первом эксперименте, «любовь» была одним из самых популярных слов.
Однако участники второго этапа сочли самым эффективным слово «какашка».
Конечно, может показаться удивительным, что экскременты стали секретным паролем человечества, но такие результаты свидетельствуют: осознанно нарушая табу и провоцируя, а не просто описывая некую эмоцию, вы наиболее прямо сообщаете, что вы — человек.
И тут можно зайти далеко, не останавливаясь на невинной какашке.
Некоторые другие «чисто человеческие» слова также вызывали эмоциональную реакцию — значительно более сильную, чем предполагает их толкование словарем. Например, «пожалуйста» или «влажный».
Еще были слова, которые просто приятно произносить. Попробуйте сказать «ономатопея» несколько раз подряд. Здорово, правда?
- Больше, чем робот: секс-кукла, с которой можно и поговорить
- Ведущий с искусственным интеллектом: а вы отличите настоящего?
Говоря в общем, такой выбор «человеческих» слов справедливо отражает нынешнее состояние искусственного интеллекта.
Хотя боты могут составлять простые описательные предложения и даже вполне связные короткие тексты, им по-прежнему недоступны юмор и сарказм.
Ведь юмор требует глубокого понимания контекста, культурных ассоциаций, заложенных практически в каждое слово.
Автор фото, Getty Images
Подпись к фото,Некоторые слова (такие, как «влажный») рождают глубокую эмоциональную реакцию, никак не отраженную определением в словаре
Но пойдем дальше этих причудливых рассуждений. Как представляется Маккою, этот эксперимент может стать полезным инструментом для понимания того, что люди могут думать о других группах людей.
Например, какое слово вы бы выбрали, чтобы показать, что вы — женщина? Или что вы — француз? Или социалист?
В каждом из случаев ваш выбор отразит те качества, которые, как мы считаем, свойственны той или иной группе людей и которые члены этой группы примут в качестве своих. А для тех, кто не принадлежит к данной группе, эти качества покажутся чуждыми, непонятными или недостойными упоминания.
- Боты изобрели свой язык: почему Facebook испугался искусственного интеллекта?
- За пределом понимания: можно ли доверять искусственному интеллекту?
- Хокинг: искусственный интеллект — угроза человечеству
Между тем, Маккой обнаружил, что его «Минимальный тест Тьюринга» полезен для провоцирования дальнейшего обсуждения сущности искусственного интеллекта.
«Было забавно задавать такой вопрос видным психологам: они крепко-крепко задумывались над тем, какое слово выбрать, а позже, спустя несколько часов, в возбуждении прибегали ко мне, чтобы изменить свой ответ», — рассказывает Маккой.
«Этот очень простой вопрос заставляет вас глубоко задуматься об отличии человеческого разума от компьютерного и о том, как эти два разума взаимодействуют».
Его собственный любимый ответ обманчиво прост. «Одно из тех слов, которые мне понравились больше всего, — это «м-м-м…» — по-моему, очень умный выбор», — говорит Маккой.
В общем, полезно запомнить: если в нашем мире, все больше зависящем от компьютеров, вы однажды окажетесь в ситуации, когда необходимо будет доказать, что вы человек, — шутите. Или выбирайте слова, которые не принято произносить в приличном обществе.
—
Прочитать оригинал этой статьи на английском языке можно на сайте BBC Future.
Помимо теста Тьюринга: выяснение сходств и различий между машинным и биологическим интеллектом
Цель
Тест Тьюринга(1) стал популярной концепцией для изучения того, может ли искусственный интеллект соперничать с человеческим.
Спустя семьдесят лет после публикации статьи Тьюринга множество открытий, касающихся интеллекта животных (включая человека), требуют более тонкого понимания этой концепции. Наша задача состоит в том, чтобы разработать единое объяснительное описание сходств и различий между интеллектом животных и машин.
(1) Тьюринг, А.М. (1950). Вычислительная техника и интеллект. Mind, 59, 433-460
Opportunity
Достижения в области компьютерных технологий позволили машинам преуспеть в задачах, которые ранее считались достижимыми только для людей. По мере того, как человеческий и машинный интеллект становятся все более и более похожими, возникают вопросы о том, могут ли они стать идентичными. Может ли машинный интеллект сравниться с людьми по когнитивным способностям и, что более важно, могут ли машины быть наделены сознанием и эмоциями? Если да, то будут ли они нести моральные права и обязанности? Ответы на эти вопросы определят, как мы относимся к машинам и как мы готовимся к будущему.
Благодаря быстрому расцвету ИИ и недавним успехам в когнитивных науках и философии разума появилась новая возможность реализовать новые формы машинного интеллекта и поместить их в общую структуру, охватывающую широкий спектр интеллектов.
Популярные усилия были сосредоточены на изучении сходства людей и компьютеров, что составляет лишь половину картины. Мы предлагаем сбалансированное исследование, включая то, как люди (и наши биологические родственники) отличаются на от машин. Это может повлиять на то, относимся ли мы к машинам по-разному, в какой степени мы решаем интегрировать их в нашу жизнь и какие ожидания мы от них возлагаем. Такое исследование могло бы сбалансировать быстро развивающееся видение взаимодействия человека и ИИ и сформировать государственную политику, поскольку искусственный интеллект становится все более распространенным элементом человеческой жизни. Это согласуется с намерением сэра Джона Темплтона исследовать человеческую природу, открывать фундаментальные структуры и инвестировать на раннем этапе в области, которые могут оказать большое влияние.
Мы открыты для проектов, которые являются интеллектуально рискованными, но по-прежнему твердо привержены отличной, хорошо продуманной и тщательно реализованной науке. Мы также особенно стремимся поддерживать каталитическую работу с потенциалом поддержки устойчивых, долгосрочных и новых направлений исследований.
Заявление о вызове
Использование инструментов философии и науки для создания понимания машинного интеллекта, которое будет эмпирически обоснованным, концептуально обоснованным, применимым ко всем видам машинного интеллекта, а также связанным с человеческим интеллектом.
(Далее следует рассматривать как описательный, а не исчерпывающий обзор поставленных задач.)
Создать концептуальную основу, которая может связать машинный интеллект с человеческим интеллектом в терминах, выходящих за рамки результатов и поведения.
- Разработайте всестороннюю и строгую теоретическую структуру для точного соотнесения человеческого и машинного интеллекта с учетом конкретных ключевых характеристик их соответствующего базового оборудования.
- Создайте отчет о том, как человеческий и машинный интеллект соответственно связаны или отделены от сознания, эмоций и этических проблем.
Провести эмпирические и теоретические исследования, чтобы установить, в чем сходство интеллекта животных (включая человека) и машин, и выявить фундаментальные различия, связанные с интеллектуальными способностями.
Разработка ориентиров для взаимодействия с разнообразным машинным интеллектом.
- Узнайте, какие роли подходят для разных типов интеллекта.
- Изучите, как машинный интеллект соотносится с правами и обязанностями, например, будет ли неэтично по отношению к машине повредить ее или выключить.
Создайте новые объяснительные повествования о машинном интеллекте, чтобы внести весомый и позитивный вклад в разработку новых машин, государственную политику и общественный дискурс.
- Создавайте научные СМИ с помощью переводных и обзорных публикаций.
- Создавайте популярные сюжеты через креативные СМИ.
Необходимы потенциальные прорывы
- Уточнение языка, используемого в настоящее время для описания машинного интеллекта, и достижение консенсуса между учеными и философами.
- Надежная концептуальная основа для интерпретации эмпирических данных наблюдений за машинами и биологическими организмами таким образом, чтобы они могли соотноситься друг с другом.
- Успешное взаимодействие с более широкой научной аудиторией без уклонения в дебаты о редукционизме и проблеме разум-тело.
Области, которые мы не финансируем
- Проекты, в которых основное внимание уделяется тому, выполняют ли люди и машины одни и те же функции.
- Проекты, предполагающие, что человеческий разум и сознание являются бестелесными явлениями или состоят из нематериальной субстанции.
- Проекты, для которых сотрудники Всемирного благотворительного фонда Темплтона могут предвидеть немедленную коммерческую ценность или которые входят в компетенцию других крупных финансирующих агентств (однако мы приветствуем возможности совместного финансирования для проектов с конкретными элементами, сосредоточенными на морали, этике, расширении прав и возможностей человека и другие области, соответствующие намерениям доноров, которые в противном случае не получили бы поддержки).
- Проекты, преимущественно направленные на разработку новых вычислительных технологий.
Препятствия
Большинству эмпирических исследований, направленных на то, чтобы составить карту всего пространства биологического и машинного интеллекта, мешает тенденция сосредотачиваться на общей способности выполнять определенные функции. Таким образом, тест Тьюринга рассматривался как sine qua non машинного интеллекта, требующий от машины действовать в ограниченном человеческом социальном взаимодействии, как если бы она была человеком. Эта точка зрения имеет тенденцию направлять размышления о многообразии машинного интеллекта в конкретные и ограниченные функциональные категории.
Точно так же многовековое предположение о том, что человеческое сознание имеет другой, нематериальный вид, чем физически производимые действия и способности тела, препятствует любой попытке понять общий разум как результат физических процессов. Хотя некоторые все еще могут утверждать, что высшие функции разума проистекают из какой-то нематериальной сущности, такая априорная позиция несовместима с эмпирическим исследованием взаимосвязи между биологическим и машинным интеллектом.
В результате всеобщего интереса к тесту Тьюринга и повествованию об андроидах и человекоподобных роботах большая часть исследователей сосредоточилась только на сходстве человеческого и машинного интеллекта. Эта же тенденция привела многих к предположению, что дублирование или воссоздание человеческих умственных способностей обязательно приведет к воспроизведению человеческого опыта. Такое предположение требует тщательной проверки и тщательной проверки. Столь же интересно наметить и те способы, в которых наши интеллекты различаются, возможно, фундаментально и непримиримо.
Некоторые философские и психологические школы категорически против самой идеи, что машины могут приобретать чувства и аффекты, которые характеризуют наши основные представления о том, что делает мыслящее существо. Другие просто предполагают, что такие способности могут и возникнут. Наша задача будет заключаться в том, чтобы привести в диалог множество таких точек зрения, чтобы создать всеобъемлющий и полезный обзор возможностей и дорожную карту для исследований.
Эффективное исследование требует разработки надежных и фальсифицируемых гипотез. Но некоторые из самых интересных вопросов нечеловеческого интеллекта также труднее всего включить в программы исследований.
Не существует общего консенсуса по основным параметрам, в рамках которых можно составить карту общего пространства интеллекта. В философском сообществе также остаются существенные разногласия, например, по поводу использования связанных понятий, таких как познание, сознание и самость. Чтобы добиться значимого прогресса, необходимо будет навести мосты между академическими сообществами и установить хороший семантический и логический порядок между областями, чтобы создать всеобъемлющую структуру.
Гипотеза для лучшего теста Тьюринга
Сохраненные истории
Какой философский стандарт мы должны установить для современных мощных компьютерных технологий?
Reuters
Алан Тьюринг наиболее известен тем, что дал нам универсальную цифровую вычислительную машину, идею о том, что числа могут кодировать машинные инструкции, а также быть данными для этих инструкций, видение вычислительных машин, которые были больше, чем быстрые калькуляторы.
Можно ли представить себе, чтобы член команды компьютерного агента мог вести себя в долгосрочной перспективе и в неопределенной, динамичной среде таким образом, что люди в команде не заметят, что он не человек?
В конце статьи 1950 года Mind (pdf), в которой определяется Тест, Тьюринг поставил очень долгосрочную цель, заключающуюся в том, чтобы вычислительные машины обладали компетенцией во «всех чисто интеллектуальных областях», и отмечает, что мнения различаются по мере того, как какой подход лучше всего использовать для достижения этой компетенции.
Описанное им противоречие между встраиванием опыта в системы и созданием обучающихся систем остается преобладающим. Предложение Тьюринга опробовать несколько подходов в целом является хорошим советом. Что еще более поразительно, некоторые из наиболее заметных приложений ИИ, в том числе Watson и Siri, используют этот подход в самой своей работе.
Тьюринг закончил интервью Би-би-си в 1951 году, обсудив различные причины, по которым сама идея машинного мышления тревожит некоторых людей. Эти сомнения существуют и по сей день, и аргументов против такой возможности сейчас даже больше, чем тогда. Последние слова Тьюринга в этом интервью до сих пор звучат эхом. Для меня они выражают одну из важнейших причин для продолжения квеста. Он говорит: «Весь процесс мышления все еще остается для нас довольно загадочным, но я считаю, что попытка создать мыслящую машину очень поможет нам узнать, как мы сами думаем».
Предложение в статье Mind мне нравится больше всего: «Предположения имеют большое значение, поскольку они предлагают полезные направления исследований».
В то время, когда в образовании, промышленности и даже в исследованиях так много внимания уделяется краткосрочным перспективам, следуя путям, которые обязательно принесут результаты, крайне важно смотреть далеко вперед, строить догадки о том, что могло бы быть, и представлять себе разные варианты будущего. Имея это в виду, я спрашивал себя и других специалистов в области компьютерных наук, какой вопрос мог бы задать сегодня Тьюринг, если бы он увидел значительно возросшую мощность вычислительных машин и множество способов развертывания компьютеров в настоящее время, которые так сильно отличаются от предыдущих. его дневные взаимодействия человека с компьютером были сосредоточены на математических вычислениях.
Я сделал одно предложение для этой новой гипотезы, вызов, отражающий большие достижения с 1950 года в компьютерных науках, неврологии и поведенческих науках, а также способы ежедневного использования компьютеров обычными людьми с высокой степенью сетевого взаимодействия: возможно ли это вообразить? что компьютер-агент-член команды может вести себя в долгосрочной перспективе и в неопределенных, динамических средах таким образом, что люди в команде не заметят, что это не человек?
В отличие от исходного вопроса Тьюринга, этот вопрос требует не того, чтобы компьютерный агент был неотличим от человека, а того, чтобы он вел себя разумно, чтобы его ошибки имели смысл и не были заметно нечеловеческими.