Плюсы и минусы метода эксперимент: Возможности и ограничения эксперимента как метода исследования

Первичные маркетинговые исследования: методы

Первичные маркетинговые исследования – это своего рода способ сбора информации непосредственно от источника (чаще всего, клиента). Это оригинальная информация, в чём её большой плюс. К тому же, первичные маркетинговые исследования весьма специфичны и отвечают конкретно-поставленным целям.

Проведение первичных маркетинговых исследований имеет ряд преимуществ:

• Дают больший контроль информации – первичные исследования дают возможность поиска только точной информации, а не той, которая не относится к делу. Это позволяет лучше контролировать и фильтровать данные, которые получают маркетологи.
• Дают возможность исследования и интерпретации информации — в случае первичного исследования рынка, данные могут быть проанализированы и интерпретированы самой компанией (или для конкретной компании), и будут в итоге более чётко проделанными и более полезными, чем в случае с вторичными исследованиями, где оценка уже была проведена кем-то другим.
• Адресность исследований, ответы на главные вопросы – исследованию подвергаются только главные проблемы, и то, что действительно важно для компании. При первичных исследованиях предприятия могут сосредоточить свои действия лишь на конкретной (нужной) аудитории или рынке, не распространяясь на те сферы и области, которые для них излишни.
• Затраты только на необходимую информацию – в отличие от вторичных исследований, в первичных, затраты идут только на ту информацию, которая в итоге будет использоваться.

Информация, как частная собственность — существенное преимущество первичного исследования: оно позволяет исследователям или владельцам бизнеса претендовать на информацию, которую они получили (или которую собрали специально для них). В их правах сделать её только для личного пользования или же «достоянием общественности».

Способы проведения первичных исследований:

Фокус-группы

Одна из наиболее предпочтительных форм проведения первичных маркетинговых исследований. В основном, это группа потребителей или клиентов, которых собрали в одном месте для того, чтобы получить от них обратную связь. Возглавляются группы опытными исследователями, которые способны получить от респондентов качественные, углубленные мнения и отклики.

Преимущества:

• Получение большого круга мнений – одно из главных преимуществ фокус-групп. За несколько часов исследования можно получить большой срез мнений.
• Интерактивность – фокус-группы подразумевают честное общение и обмен мнениям, а потому они нередко дают ясные представления о том, что сейчас волнует людей, каковы их потребности и многое другое.
• Использование наглядных пособий – респонденты могут поделиться своим мнением, основываясь на том, что они рассмотрели, потрогали, понюхали, послушали и т. д.
• Возможность наблюдения за публикой – ведущий может наблюдать за респондентами и оценивать их поведение, то, насколько они заинтересованы в продукте, в исследовании в целом, а также насколько честны их ответы и мнения и т. д.

Недостатки:

• Поиск исследователя – нужно потратить немало времени для того, чтобы найти хорошего и опытного модератора, который умело может управлять группой, давая ей возможность стихийного развития, и при этом, направлять её в соответствии с заданной темой, чувствовать респондентов и пр.
• Тяжело собрать респондентов – от темы и масштабности исследования, а также от критериев выборки, зависит то, насколько тяжело, и вообще, насколько возможно будет собрать нужное количество респондентов. Препятствий может быть масса – от географической удалённости участников, до чрезмерной чувствительности темы собеседования и т. д.
• Стоимость – при всех положительных моментах, фокус-группы – это удел больших компаний и крупных маркетинговых исследований. Потому как, проведение фокус-групп предполагает немалые траты – стимулирование участников, работа ведущего, а также аренда помещения для проведения мероприятия и прочее. Всё это не всегда может окупиться при малых маркетинговых исследованиях.

Интернет-опросы и анкетирования

Интернет, один из самых популярных источников для вторичных исследований, при этом, он также может оказаться отличным способом и для того, чтобы собрать свежие отзывы и мнения потребителей. Существует множество путей для использования Интернета как платформы для первичных исследований, самые популярные из них:

• Просьба посетителей того или иного вебсайта (относящегося к компании) заполнить электронные опросники;
• Просьба посетителей сайта заполнить анкеты в обмен на какие-либо купоны, ваучеры и прочее;
• Просьба посетителей сайта заполнить анкеты в обмен на бесплатное членство, рассылку новостей и т. д.

Интернет также нередко используется для отправки опросов по почте реальным клиентам и потребителям, чтобы получить от них обратную связь. Эти опросы используются для оценки общего уровня удовлетворённости потенциальной аудитории компании. На их основе предприятие может делать выводы, и вносить соответствующие изменения в производство.

Преимущества:

• Недорогой способ – это одно из самых больших преимуществ Интернет-исследований. Они финансово доступны даже для малого бизнеса и не требуют огромных инвестиций.
• Предложение графических данных, изображений, видео и т. д. – также важное преимущество метода. Так как клиенты могут дать оценку, не только опираясь на словесное описание чего-либо, но и на наглядные пособия.
• Лояльность пользователей – сидя в Интернете люди готовы проводить больше времени на заполнение анкет и опросных листов, чем где-либо ещё.

Недостатки:

• Знания – представители крупного бизнеса, прибегая к Интернет-опросам, могут нанимать целый штат людей, составляющих для них анкеты, и проводящих экспертизу опроса. Представителям малого бизнеса это может быть недоступно в силу финансов. В то время как от качества составленной анкеты будет зависеть то, как будут отвечать на неё клиенты, а также последующие ошибки при анализе исследования.
• Риск спугнуть клиентов – использование анкет и опросников может иногда спугнуть посетителей в зависимости от того, как анкета была составлена, какова тема исследования, количество вопросов и т д.

Наблюдения

Этот метод может использоваться в самых разных вариациях. Как правило, есть два самых главных типа наблюдений: строгое наблюдение без взаимодействия с наблюдаемым, или взаимодействуя с предметом наблюдения. Примеры наблюдений, которые широко используются сегодня:

• Отслеживание движений глаз – усовершенствованный метод, особенно хорошо работающий для владельцев веб-сайтов. Наблюдение проводится с целью увидеть, на чём глаза посетителей фокусируются в большей степени. Для этого создаётся специальная тепловая карта, которая отслеживает движение глаз, и выясняет таким образом, на что клиенты больше всего обращают внимание.
• Таинственный покупатель – довольно популярный метод, который подразумевает ситуацию, в которой специально нанятый человек делает покупки. Таким способом можно выяснить, насколько качественно оказываются услуги со стороны персонала.
• Контекстуальный опрос – проводится непосредственно в естественной среде потребителей. Позволяет выяснить не только что они покупают, но и почему делают выбор именно данного товара.

Преимущества:

• Может быть измерено фактическое поведение людей – большой плюс в том, что людей можно наблюдать в естественной среде, где они не могут повести себя искусственно или нечестно в отличие от опросов, интервью и иных методов.
• Достоверность и полезность выводов – в этом методе практически исключено получение неверных данные и формирование ложных выводы в том случае если он был правильно организован и проведён.

Недостатки:

• Трудно в проведении – одна из основных проблем в том, что наблюдение порой не так просто организовать. Даже организация тайной покупки может обойтись компании в немалую сумму в зависимости от стоимости товара и т. д. Не говоря уже о таких технически сложных и дорогостоящих способах как отслеживание движений глаз и т. д.

Испытания и эксперименты

Один из ценных способов получения маркетинговой информации. Количественная информация в нём добывается не путём сухих расспросов, а базируясь на мнениях и чувствах клиентов.

Преимущества:

• Высокая эффективность – это самое плодоносное в плане результатов исследование. Только один этот метод может подвигнуть компанию на принятие серьёзных и важных решений.
• Не нуждается в прямом контакте с респондентами – одно из немногих исследований, в котором можно получить результаты от людей, не контактируя с ними. Как например, когда компании необходимо определиться с выбором упаковки, она просто выпускает два разных вида, а затем выясняет, какой пользуется большей популярностью.

Недостатки:

• Дороговизна – опять же, этот вид исследования может быть сопряжён с большими расходами для компании, особенно если речь заходит о крупных и дорогостоящих товарах. Далеко не каждая, даже крупная компания, может позволить себе такой вид исследований.
• Долгое по времени – полевые эксперименты могут занять массу времени, иногда их проведение длится не один месяц, а нередко, год.

Проведение face-to-face (глубинного) интервью

Это очень плодоносное исследование, которое в ряде случаев может быть крайне полезным для компании. Оно больше сводится к плавно текущей беседе, без четко очерченного числа вопросов, и направлено, чаще всего, на сбор максимально возможной информации о потребностях, мотивах, предпочтениях клиентов. Для наиболее удачного проведения такого исследования, респондентам предлагаются какие-либо «стимулы» — путевки, купоны на скидки, ваучеры и прочее.

Преимущества:

• Личностное исследование – одно из главных преимуществ в том, что это исследование носит очень личный характер. Форма тет-а-тет предполагает наличие личных вопросов, а также ориентирована на то, что респондент будет давать более откровенные ответы.
• Глубинность исследования – предполагает долгий разговор и доскональное выяснение всех глубинных мотивов и потребностей респондентов. Может дать гораздо больше информации, чем анкеты и опросы.
• Возможность наблюдения – исследователь может наблюдать за респондентом, и делать какие-либо выводы, что значительно облегчает процесс оценки его поведения и предпочтений. В отличие от фокус-групп внимание уделено лишь одному человеку.

Недостатки:

• Дороговизна исследования – в то время как для одних компаний это вид исследований не будет стоить больших денег, для других это будут крупные траты. Всё зависит от уровня организации, темы исследования и о того, каким образом компания намерена поощрять респондентов.
• Откровенность респондентов – иной раз тема может быть действительно сложной, или исследователь недостаточно профессионален, чтобы расположить к себе респондента. В итоге это может отразиться на качестве и честности ответов респондентов.

Телефонные интервью

Другой подход, который также даёт большое количество информации для первичных исследований. Так как телефоны – сегодня основное средство связи, выполнение этого метода значительно проще, чем многих других. Оно позволяет охватить огромную базу клиентов. Эти интервью жёсткие по структуре, следуют определённой схеме, и довольно быстрые по времени. Они не предполагают долгих бесед, изучения реакции человека, лишь чёткие и ясные ответы.

Преимущества:

• Относительная дешевизна – если в целях компании не стоит обзвонить тысячи абонентов, то такое исследование вполне может обойтись в небольшую сумму для компании. При этом в сравнении с онлайн-опросом, оно может дать гораздо больше информации.
• Преодоление географических границ – с помощью мобильной связи можно опрашивать клиентов в любой географической точке, что позволяет охватить большое количество респондентов, не взирая на территориальные преграды.

Недостатки:

• Множество ответов можно потерять – немало людей ввиду нехватки времени или отсутствия интереса могут оказаться от прохождения интервью. Из-за этого будет потрачено много сил и времени, так как на одного опрошенного человека может приходиться несколько отказов.
• Риск получения неполной информации – успех этого исследования во многом зависит от мастерски составленных вопросов и от профессионализма интервьюеров. В противном случае компания может получить неполные или нечестные данные, что может «убить» в итоге всё исследование. К тому же, по времени, такие интервью всегда строго ограничены.
• Невозможно наблюдать за респондентом – существенный минус состоит в том, что интервьюер не может видеть респондента, оценивать его поведение, то, насколько честны его ответы, и интересна ли ему вообще тема.

Как мы использовали айтрекер для количественного эксперимента / Хабр

Привет, Хабр. На связи UX-лаборатория Авито. Сегодня хотим рассказать об опыте использования айтрекера для проведения количественного эксперимента. Серьёзных инсайтов и уроков не обещаем, просто поделимся своими мыслями.

Расскажем, что вышло из идеи эксперимента, с какими проблемами мы столкнулись в процессе, как их решали и какие выводы сделали. Статья будет полезна исследователям и компаниям, в распоряжении которых есть айтрекер.

Что такое айтрекер

Айтрекер — это прибор, который устанавливается на компьютер и следит за движениями глаз человека перед монитором. Пользователь делает что-то на экране, а айтрекер наблюдает за взглядом и записывает, куда именно смотрел респондент.

Мы пользуемся айтрекером Tobii Pro X3-120

Он подключается по USB и крепится на нижнюю часть монитора с помощью специальной панели. Данные эксперимента записываем в программе Tobii Studio

Когда один и тот же эксперимент проходят много людей, прибор создает тепловые карты: красным цветом на них подсвечены места, куда смотрели больше всего людей, жёлтым — меньшее количество, а отсутствие цвета означает, что в эту часть экрана не смотрел никто. Например, если включить айтрекинг для читателей этой статьи, мы сможем узнать, какие её части привлекли больше внимания.

Тепловая карта из нашего эксперимента

В науке айтрекер используется как количественный инструмент, который собирает достаточно чувствительные метрики. Например, сколько времени человек смотрел сюда, сколько — туда, за сколько взглядов он добрался до целевого стимула, частоту, длительность моргания и многие другие показатели. Это объективные данные, которые могут подойти и для юзабилити-тестов: если много людей долго не могут найти нужную кнопку на экране, айтрекер поможет выявить, что дело именно в незаметности кнопки.

Отдельный плюс айтрекера — во время эксперимента с ним исследователь может позволить себе делать заметки и отмечать проблемы, потому что не вовлечён в общение с респондентом.

Какой эксперимент мы хотели провести

Одна из продуктовых команд хотела сравнить несколько вариантов дизайна, чтобы понять, какой сработает лучше. Варианты отличались только расположением элементов. Обычное юзабилити-тестирование не подошло бы, потому что речь не о качественных параметрах, а о количественной разнице в эффективности решения заданий. A/B-тесты в свою очередь требуют интерактивных страниц, и их разработка потребовала бы слишком много ресурсов. В результате мы решили воспользоваться айтрекером, с помощью которого давно хотели попробовать провести количественный эксперимент.

Мы решили сравнить дизайны карточек объявлений по эффективности выполнения пользователями целевых действий. Плюс такого эксперимента в том, что для него не нужны боевые интерфейсы, достаточно обычной картинки.

Айтрекер в UX-лаборатории Авито есть давно. Мы использовали его в основном для визуализации направления взгляда респондентов — так модератор задаёт меньше вопросов по ходу исследований. Когда у продуктовой команды появился запрос на измерение более чувствительных метрик, чем показывают A/B-тесты, мы поняли, что это идеальный момент для проверки айтрекера в количественном эксперименте.

Процесс исследования

Любое исследование проходит примерно одинаковые этапы. Наш процесс был таким:

1. Формулировка цели.
2. Проработка дизайна эксперимента.
3. Подготовка макетов с разным дизайном.
4. Формулировка заданий для респондентов.
5. Проведение коридорных тестов.
6. Подбор респондентов.
7. Проведение эксперимента.
8. Анализ результатов.
9. Подведение исследовательских и продуктовых итогов.

О задаче мы уже поговорили, расскажу коротко о двух других важных этапах.

Подготовка макетов. Вместе с дизайнерами мы сделали четыре варианта карточки объявления с продажей автомобиля. Среди них был текущий дизайн Авито, немного изменённый, вариант с радикально другим подходом к размещению информации, а также страница объявления одного из конкурентов «Авто».

Контент во всех макетах был абсолютно одинаковым, отличалось только расположение блоков.

Ключевой узел двух вариантов дизайна для эксперимента. Слева — текущая страница объявления на Авито. Справа — вариант, в котором информация о марке, цене автомобиля и контакты продавца перенесены в левый блок

Проведение коридорных тестов. Коридорные тесты — это простой вид тестирования на своих же сотрудниках. С их помощью мы уточнили формулировки заданий, обкатали процедуру и обнаружили технические проблемы.

Проблемы процесса и их решение

Сколько взять респондентов. По идее респондентов для подобных экспериментов должно быть хотя бы 27. Сильно больше участников эксперимента мы не могли себе позволить, поскольку их поиск — дорогостоящая задача. В итоге остановились на 30.

Мы отбирали людей, которые не носят очки или линзы — это нужно для айтрекера, ищут машину на конкретных ресурсах и именно с десктопа. Последний момент был важен, потому что эксперимент проводился на десктопе.

Отличие от привычных UX-лаборатории юзабилити-тестов тут состояло как раз в количестве респондентов. Обычно в тестах участвуют 5 человек. Это условие породило отдельную сложность: 30 тестов — это минимум 15 часов, когда должна быть свободна лаборатория и исследователь. Поэтому десяток тестов мы проводили в выходные.

Какие задания давать респондентам. Чтобы сравнить дизайны, нужно давать респондентам конкретные задания. Мы не могли использовать свободные формулировки юзабилити-тестов, направленные на естественное исследование интерфейса. Например, задачи «посмотрите на это объявление и подумайте, купите ли вы эту машину» были бы бесполезны. На них мы бы просто увидели, что люди ведут себя по-разному, и не смогли бы подвести никакие количественные результаты.

Мы также понимали, что не можем формулировать задания в стиле «найдите кнопку “Показать телефон”». Это некорректно — надо адаптировать задания под интерес пользователя и наших продуктовых заказчиков. Пользователь в карточке объявления не ищет конкретную кнопку — он ищет информацию о пробеге автомобиля или как связаться с продавцом.

В итоге мы сошлись на том, что просили респондентов связаться с продавцом, добавить объявление в избранное, посмотреть характеристики машины, перейти в профиль продавца и узнать место сделки.

Отдельно мы думали над тем, как человек будет давать ответ, поскольку у нас простая картинка, а не интерактивная страница. В итоге сделали так, что респондент мог ответить, кликнув по любому месту экрана. Мы выбрали задания, которые предполагают наличие кнопки или ссылки в интерфейсе, чтобы клик был естественным решением.

Сколько целевых действий выбрать для респондентов. Дорогой подбор людей вызывал потребность показывать каждому все варианты дизайнов. От того, сколько заданий будет выполнять респондент, зависело время прохождения эксперимента. Быстрота здесь важна, потому что:

• Долгая процедура эксперимента удлинила бы сроки проведения всех тестов.
• У респондентов проявился бы эффект научения, который делает результаты некорректными.
• Поскольку эксперимент на внимание, усталость или скука участников под конец его проведения не лучшим образом сказались бы на результатах.

По итогам коридорных тестов мы оставили пять заданий с целевыми действиями. Каждое показывалось респонденту текстом перед карточкой объявлений. У респондента получалось 20 целевых действий: 5 заданий × 4 варианта дизайна. На прохождение эксперимента от и до с одним человеком уходило 25—30 минут.

Как не терять данные без модератора эксперимента. С одной стороны, чтобы эксперимент с айтрекингом прошел корректно, исследователь не должен находиться в поле зрения респондента и вообще как-либо отвлекать его внимание. С другой стороны, мы понимали, что упустим часть данных без возможности задавать вопросы в процессе. Например, не сможем понять, почему человек совершил ошибку или не выполнил задание: он его не понял, забыл или действительно не смог найти цель в интерфейсе объявления.

При этом мы не могли себе позволить показывать задания прямо на экране с дизайном. Человек смотрел бы на задание, а не на интерфейс, что испортило бы весь эксперимент. Мы придумали такое решение: сначала показывали задание, после него — промежуточную картинку с плюсиком в центре, чтобы сфокусировать внимание, за ней — вариант дизайна. Так взгляд респондентов всегда стартовал плюс-минус с одной точки, а модератор не вмешивался в ход эксперимента.
Когда проводишь юзабилити-тест, настолько детальная подготовка не требуется, потому что модератор сможет задать любые дополнительные вопросы. Наш же эксперимент требовал стопроцентной готовности к любым вариантам развития событий.

Проблему отсутствия модератора частично решили тем, что объясняли суть теста перед его началом. Отдельно советовали респондентам проговаривать про себя или вслух задания — их действительно можно забыть, это нормально. Тут нам сильно помогли предварительные коридорные тесты с коллегами, где мы придирчиво проверяли простоту и понятность устной инструкции и заданий. Так мы смогли понять, в какой момент говорить про какие детали, чтобы у человека не взорвался мозг, и эксперимент не был испорчен.

Перед боевой фазой эксперимента мы проводили короткую тренировочную сессию с каждым респондентом. После неё модератор давал финальное напутствие и удалялся в наблюдательную комнату.

Мы внимательно отслеживали из комнаты все действия респондента, чтобы детально фиксировать ответы. Перед глазами исследователь держал пронумерованные в порядке прохождения респондентом задания и отмечал, ответил ли человек на задание, ответил правильно или неправильно и другие технические детали. Так мы уберегли себя от полного непонимания впоследствии, почему данные такие, как есть, и что в них происходит.

Технические проблемы с айтрекером. Прибор калибруется под каждого человека индивидуально. Перед началом эксперимента респонденту показывают точки в разных частях экрана и просят за ними следить. Айтрекер, зная, что человек смотрит в эти точки, сравнивает, получилось поймать взгляд или нет. В теории часть людей могла не подойти на этапе калибровки — такое бывает. Из-за этого мы на всякий случай просили респондентов приходить без косметики на глазах — в итоге все калибровки прошли успешно.

А вот в процессе эксперимента всплыла неприятная проблема — айтрекер периодически отваливался. Ты начинаешь эксперимент, всё хорошо, а потом видишь на экране сообщение о потере связи. С этого момента айтрекер ничего не записывает.

Мы выработали схему, которая помогла минимизировать потерю данных. Если айтрекер отваливался в самом начале эксперимента, то мы просили респондента начать сначала из-за технических неполадок. Если прибор отваливался в самом конце — смирялись с потерей результатов одного задания, это мало влияло на эксперимент. Самое плохое — если айтрекер отваливался в середине. Так мы теряли сразу половину данных, но не могли заставить респондента перепроходить задания из-за эффекта научения. С такими ситуациями ничего нельзя было поделать. По итогу, из 30 тестов и 20 заданий мы потеряли меньше 2% данных из-за этой проблемы.

Как обеспечить минимальные отклонения взгляда от монитора, чтобы не сбить калибровку айтрекера. Наш айтрекер не позволяет в режиме реального времени отслеживать, всё ли в порядке, и видит ли он зрачок. Поэтому нужно было придумать такой способ ответов для респондента, чтобы он минимально отвлекался от монитора.

Кроме того все варианты ответов в нашем айтрекере — это заданные комбинации клавиш. Единственной нормальной опцией для нас оказалось сочетание клавиши Esc и левой кнопки мыши. Мы наклеили на них выпуклые стразы, чтобы респондент мог нажимать всё наощупь.

Как сделать рандомизацию заданий, не создавая кучу проектов в айтрекинговом софте. Когда мы готовили эксперимент, нужно было организовать случайный порядок демонстрации 20 заданий. Идеальная схема выглядела так: случайное задание — случайный дизайн. Это важно, чтобы не происходило научение респондента. Например, если будут подряд идти разные задания по одному варианту дизайна, все результаты к концу будут неизбежно смещаться к лучшему в пользу последних заданий.

Неприятным сюрпризом стало то, что не получилось просто загнать задания в айтрекер, нажать “randomize” и радоваться тому, что при каждом запуске эксперимента они показываются в разном порядке.

Сначала у нас была идеи создать 30 проектов в айтрекере по количеству респондентов и вручную закидывать задания в разном порядке. Но мы вовремя поняли, что можно сделать иначе. С помощью нехитрых манипуляций на языке для анализа данных R создали 40 комбинаций заданий со случайным порядком — с запасом на случай технических проблем. Мы собрали их в эксель-таблицу и загрузили в айтрекер.

У этого костыльного способа был ощутимый плюс. Каждое задание имело кодировку число + буква, где число означало номер задания, а буква — вариант дизайна. Имея на руках список заданий и их последовательность с порядковым номером, мы получили возможность управлять последовательностями заданий и во время тестов отслеживать прохождение эксперимента. Если запись движений глаз прерывалась, мы отмечали в таблице, когда именно. Это помогло при анализе результатов.

Выводы из эксперимента

Не будем говорить о продуктовых результатах — они внутренние. Но расскажем о результатах исследовательских, потому что одной из наших целей был тест айтрекера в количественном эксперименте. Завершив проект и набив шишек, мы сформулировали плюсы и минусы метода.

Основных минусов четыре:

• Долго.
• Дорого.
• Цена ошибки высока.
• Использование результатов весьма ограничено и годится только для получения гипотез и инсайтов.

Долго. Мы делали проект несколько месяцев. Это не чистая оценка, поскольку много времени ушло на формулировку задачи и общение со стейкхолдерами. Затем, поскольку приоритетность проекта была невысокая, мы растянули его, отвлекаясь на другие задачи и встречи.

Пересчитав примерно, сколько времени что заняло, мы предполагаем, что следующий эксперимент такого рода сделаем за месяц. Это тоже не быстро, учитывая, что A/B-тесты занимают 2—4 недели, а юзабилити-тесты — 1—2 недели в зависимости от скорости рекрутинга респондентов и занятости лаборатории.

Дорого. Такой эксперимент — это поиск 30 респондентов, время дизайнера на подготовку макетов, время исследователей, которых лучше сильно не загружать другими задачами в параллель с этой. Компании это стоит приличных денег.

Цена ошибки высока. До начала эксперимента должно быть выверено всё: дизайны, количество и формулировка заданий, способ проведения эксперимента и инструкции. Любые правки в процессе означают, что данные, собранные до этого, можно исключать. А любые недоработки будут влиять на качество результатов. В частности, несмотря на наши усилия при подготовке, нас подвела слепота по невниманию, и мы пропустили вариант дизайна, который значимо отличался от остальных расположением рекламы. В итоге метрики по этому варианту были лучше других.

Ограниченная возможность использования результатов. Несмотря на то, что эксперимент количественный, его результаты следует рассматривать скорее как источник гипотез и инсайтов. Это не такие объёмы выборки, чтобы делать серьёзные выводы относительно нашей аудитории и том, как на ней сработает тот или иной вариант дизайна.

О плюсах расскажем, сравнив количественный эксперимент с айтрекером с другими вариантами тестирования.

Плюсы в сравнении с юзабилити-тестом:

• Объективно измеряются достаточно чувствительные метрики, которые не получишь в результате наблюдения или субъективного отчёта респондента. Мы анализировали время до клика, время до первой фиксации на целевом объекте, количество фиксаций на дизайне до того, как взгляд респондента доберётся до нужной кнопки.
• Можно сделать количественные выводы и сформулировать гипотезы при условии чистоты экспериментального дизайна.

Плюсы в сравнении с A/B-тестом:

• Можем сравнить метрики с конкурентами.
• Можно проверить смелые варианты дизайна, которые для A/B-теста готовить долго и дорого. Последние также могут нарушить пользовательский опыт.
• Не требуется разработка, достаточно нарисовать макеты, что особенно важно, если варианты сильно отличаются от оригинала, как было в нашем случае.

Репликация в экспериментальном дизайне: плюсы и минусы

Учитесь на знаниях сообщества. Эксперты добавляют свои идеи в эту совместную статью на основе ИИ, и вы тоже можете.

Это новый тип статьи, который мы начали с помощью ИИ, и эксперты продвигают его вперед, делясь своими мыслями непосредственно в каждом разделе.

Если вы хотите внести свой вклад, запросите приглашение, поставив лайк или ответив на эту статью. Узнать больше

— Команда LinkedIn

Последнее обновление: 27 апреля 2023 г.

Репликация — ключевая особенность плана эксперимента, которая включает повторение эксперимента или его части в тех же или подобных условиях. Повторение может повысить надежность, достоверность и обобщаемость экспериментальных результатов, но оно также имеет некоторые недостатки, которые необходимо учитывать. В этой статье вы узнаете о преимуществах и недостатках использования репликации в экспериментальном дизайне, а также о том, как выбрать подходящий тип и уровень репликации для вашего исследовательского вопроса.

Типы репликации

План эксперимента может включать различные типы репликации в зависимости от цели и объема эксперимента. Внутренняя репликация включает повторение одного и того же эксперимента или лечения в рамках одного и того же исследования с использованием одних и тех же или разных субъектов для уменьшения случайной ошибки и повышения точности. Внешняя репликация осуществляется путем повторения одного и того же эксперимента или лечения в другом исследовании с использованием других субъектов, условий или методов, чтобы проверить надежность и обобщаемость результатов. Концептуальная репликация проверяет одну и ту же гипотезу или теорию с помощью другого эксперимента или лечения, используя другие переменные, меры или процедуры, чтобы исследовать основные механизмы и граничные условия явления.

Преимущества повторения

Повторение при планировании эксперимента может дать несколько преимуществ, таких как повышение достоверности и достоверности результатов за счет снижения вероятности ложноположительных результатов, систематической ошибки выборки или ошибки измерения. Это также может повысить мощность и чувствительность статистических тестов за счет увеличения размера выборки, уменьшения стандартной ошибки и улучшения оценок величины эффекта. Кроме того, тиражирование может способствовать накоплению и синтезу знаний, позволяя сравнивать и интегрировать результаты различных исследований, а также облегчая метаанализ и систематические обзоры. Наконец, он может способствовать прозрачности и подотчетности исследований, делая данные и методы более доступными и воспроизводимыми для других исследователей, способствуя тем самым этичному и ответственному проведению исследований.

Недостатки репликации

Репликация в экспериментальном плане может иметь недостатки, такие как увеличение стоимости и сложности эксперимента из-за потребности в дополнительных ресурсах, времени и усилиях. Это также может снизить эффективность и новизну эксперимента из-за потенциальной траты ресурсов, времени и усилий на повторение экспериментов или методов лечения, которые уже хорошо зарекомендовали себя или не имеют отношения к делу. Кроме того, повторение может привнести риск систематической ошибки или ошибки в процессе из-за неучета источников вариации, смешения или взаимодействия, которые могут повлиять на результаты повторения, или путем выборочной отчетности или интерпретации результатов повторения.

Выбор подходящей репликации

При использовании репликации в плане эксперимента необходимо учитывать вопрос исследования, план эксперимента и доступные ресурсы. Факторы, которые могут помочь вам выбрать подходящую репликацию, включают тип и уровень репликации (например, внутренняя, внешняя или концептуальная), размер и мощность выборки (на основе ожидаемого размера эффекта, изменчивости данных и уровня значимости), а также осуществимость и практичность (на основе ресурсов, времени и усилий). Важно взвесить преимущества и затраты на повторение, чтобы определить приоритет наиболее подходящего и возможного повторения для вашего эксперимента.

Вот что еще нужно учитывать

Здесь можно поделиться примерами, историями или идеями, которые не вписываются ни в один из предыдущих разделов. Что еще вы хотели бы добавить?

Оцените эту статью

Мы создали эту статью с помощью ИИ. Что вы думаете об этом?

Это здорово Это не так здорово

Спасибо за ваш отзыв

Ваш отзыв является частным. Поставьте лайк или отреагируйте, чтобы перенести разговор в свою сеть.

Плюсы и минусы экспериментальных исследований 2023

Экспериментальные исследования существуют уже много столетий и используются в различных дисциплинах, включая психологию, социологию и биологию. Хотя у этого типа исследований есть свои плюсы и минусы, плюсы, безусловно, перевешивают минусы. Если вам интересно узнать о преимуществах и недостатках экспериментальных исследований, то эта статья для вас! Продолжайте читать, чтобы узнать больше.

Важные плюсы и минусы ГМО 2023

Включите JavaScript

Важные плюсы и минусы ГМО 2023

!important»>

Содержание

Плюсы перевешивают минусы 9 0018

Экспериментальные исследования ведутся веками. используется в различных дисциплинах, включая психологию, социологию и биологию. Наиболее очевидным преимуществом экспериментальных исследований является то, что они дают ценную информацию о том, как устроен мир. Экспериментальные исследования можно использовать для проверки и изучения теорий, разработки новых методов лечения и лекарств. , и понять влияние различных переменных.Это также может помочь нам понять, как различные факторы взаимодействуют друг с другом и как они влияют на результаты эксперимента.

Еще одним преимуществом экспериментальных исследований является то, что они могут дать представление о последствиях различных вмешательств. Например, исследователи могут изучить влияние различных методов лечения на группу участников, чтобы определить, какие из них наиболее эффективны. Затем это может быть использовано для разработки новых методов лечения и лекарств.

Наконец, экспериментальные исследования полезны, поскольку они позволяют исследователям контролировать переменные так, как это трудно сделать с другими типами исследований. Это означает, что исследователи могут быть более уверены в своих результатах и ​​делать более точные прогнозы о влиянии различных переменных.

Интересуетесь экспериментальными исследованиями?

Экспериментальные исследования — невероятно ценный инструмент для понимания окружающего мира. Если вам интересно узнать об этом типе исследований, вам сначала нужно ознакомиться с различными типами экспериментов и различными подходами, используемыми в каждом из них. Вы также захотите понять, как различные переменные могут повлиять на результат эксперимента и как их контролировать. Наконец, вы захотите ознакомиться с планом экспериментов и статистическими методами, используемыми для анализа данных. Лучшее понимание этих концепций поможет вам лучше подготовиться к проведению собственных экспериментов.

Изучение преимуществ

Экспериментальные исследования имеют ряд преимуществ, которые делают их привлекательными для многих исследователей. Как упоминалось ранее, это позволяет исследователям контролировать переменные так, как это трудно сделать с другими типами исследований. Это означает, что исследователи могут быть более уверены в своих результатах и ​​делать более точные прогнозы о влиянии различных переменных.

Кроме того, экспериментальные исследования могут помочь исследователям понять последствия различных вмешательств. Это может быть очень полезно для разработки новых методов лечения и лекарств, а также для понимания того, как различные факторы взаимодействуют друг с другом.

Экспериментальные исследования также полезны, поскольку они позволяют исследователям проверять и изучать теории в контролируемой среде. Это может быть полезно для понимания того, как различные переменные взаимодействуют друг с другом, и для разработки новых теорий.

Изучение недостатков

Хотя экспериментальные исследования имеют много преимуществ, есть также несколько недостатков, которые следует учитывать. Одним из основных недостатков экспериментальных исследований является то, что они могут быть дорогостоящими и трудоемкими. Эксперименты требуют большого количества ресурсов и планирования, и получение нужных результатов может занять много времени.

Кроме того, экспериментальные исследования трудно воспроизвести. Это может быть проблемой, если исследователи хотят подтвердить результаты или использовать результаты эксперимента в других исследованиях. Репликация важна для достоверности результатов, поэтому это следует учитывать.

Наконец, эксперименты могут быть трудными для интерпретации. Эксперименты часто бывают сложными, и из их результатов может быть трудно сделать надежные выводы. Это означает, что исследователи должны тщательно планировать и иметь четкое представление о том, что они надеются найти, прежде чем они начнут эксперимент.

Взвешивание вариантов

Когда дело доходит до экспериментальных исследований, важно взвесить все за и против, прежде чем решить, подходит ли вам это решение. С одной стороны, экспериментальные исследования могут дать ценную информацию о том, как устроен мир, и их можно использовать для разработки новых методов лечения и лекарств. С другой стороны, это может быть дорогостоящим и трудоемким, и может быть трудно воспроизвести и интерпретировать результаты.

Также важно учитывать, являются ли экспериментальные исследования единственным типом исследований, которые можно использовать. В некоторых случаях может оказаться более эффективным использование других видов исследований, таких как наблюдательные или обзорные исследования.

Принятие обоснованного решения

Экспериментальные исследования могут быть невероятно ценным инструментом для понимания окружающего мира. Однако важно взвесить все «за» и «против», прежде чем решить, подходит ли вам этот вариант. Примите во внимание затраты и время, а также потенциальные трудности при воспроизведении и интерпретации результатов. Кроме того, подумайте, являются ли экспериментальные исследования единственным типом исследований, которые можно использовать. Приняв взвешенное решение, вы сможете получить максимальную отдачу от своих экспериментов.

Экспериментальные исследования могут стать отличным способом получить ценную информацию о том, как устроен мир. Тем не менее, важно взвесить все «за» и «против», прежде чем решить, подходит ли вам этот вариант.