Методы психологии анкетирование: Анкетирование как метод психологического исследования

Содержание

Исследование продуктов деятельности Анкетирование и тестирование Биографический метод Психологическое моделирование

Download 101.5 Kb.

bet1/8
Sana24.05.2022
Hajmi101.5 Kb.
#700585
TuriИсследование

  1   2   3   4   5   6   7   8

Bog’liq
Основные методы психологического исследования
tanqidiy tafakkur, Axborot xavfsizligi, Axborot xavfsizligi, Лекция 4, 3-иуе, asdad, 16604, Doc1, taqriz egamqulova, U, KOMPYUTER TARMOQLARI (lotin), KOMPYUTER TARMOQLARI (lotin), KOMPYUTER TARMOQLARI (lotin), KOMPYUTER TARMOQLARI (lotin), KOMPYUTER TARMOQLARI (lotin)

    Bu sahifa navigatsiya:
  • Метод эксперимента
  • Лабораторный эксперимент
  • Методы наблюдения

Основные методы психологического исследования
План:

  • Лабораторный и естественный эксперимент

  • Наблюдение

  • Исследование продуктов деятельности

  • Анкетирование и тестирование

  • Биографический метод

  • Психологическое моделирование

Метод эксперимента — основной метод психологии; отличается тем, что исследователь специально создает обстоятельства, стимулирующие проявление определенного психического явления. При этом устанавливается влияние отдельных факторов на его возникновение и динамику. Эксперимент проводится столько раз, сколько необходимо для выявления соответствующей закономерности.
Лабораторный эксперимент характеризуется применением специального лабораторного оборудования, дающего возможность точно фиксировать количество и качество внешних воздействий и вызываемых ими психических реакций. При лабораторном эксперименте деятельность испытуемых стимулируется специальными заданиями и регламентируется инструкцией. Так, для определения объема внимания испытуемого ему с помощью особого прибора (тахистоскопа) предъявляется на очень короткое время (десятые доли секунды) группа объектов (букв, фигур, слов и т. п.) и ставится задача — обратить внимание на значительно большее количество объектов. Полученные результаты статистически обрабатываются.
В естественном эксперименте сохраняются привычные для данного человека условия его деятельности, но она специально организуется в соответствии с целью эксперимента. Испытуемые, как правило, не знают о проведении эксперимента и поэтому не испытывают напряжения, характерного для лабораторных условий.
Методы наблюдения предполагают объяснение психического явления в процессе специально организованного его восприятия. Целенаправленное научное наблюдение основывается на определенной теоретической гипотезе; оно осуществляется по заранее разработанному плану, а его ход и результаты четко фиксируются.
К методу наблюдения примыкают: метод исследования продуктов деятельности, который позволяет определить способности человека, уровень его знаний, умений и навыков; метод анкетирования, и в частности метод клинической беседы.

Download 101.5 Kb.


Do’stlaringiz bilan baham:

  1   2   3   4   5   6   7   8


Ma’lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2023
ma’muriyatiga murojaat qiling

Методы психологии

Анкетирование — наиболее удобный и дешевый по сравнению с интервью способ получения информации от многочисленных групп людей.

При анкетировании работник сохраняет анонимность, поэтому  он отвечает на вопросы более откровенно. Кроме того, он может более основательно продумать и сформулировать свои ответы. Анкетирование позволяет  получить данные в короткие сроки  и от большого количества людей, причем в форе, доступной для машинной обработки.

Для повышения уровня достоверности  данных анкетированию должна предшествовать предварительная организационная  работа: беседа о целях и порядке  анкетирования: вопросы анкеты должны быть ясными и конкретными; анкета должна быть четко структурирована с  выделением основных разделов. Сегодня  при анкетировании возможно использование  таких современных технологических  методов, как рассылка вопросов по электронной  почте, через Интернет. Эти технологии в значительной мере ускоряют получение  и практическое использование нужных данных.

Наблюдение во всех его  формах не вносит изменений в изучаемый  процесс, поэтому в ходе его не всегда могут появиться именно тс ситуации, которые больше всего интересуют исследователя.

Для устранения этого  недостатка следует прибегать к  эксперименту.

Эксперимент — это тоже наблюдение, но проводимое в специально созданных условиях. Целью эксперимента является определение влияния какого-либо параметра внешней среды (независимая переменная) на поведение участников эксперимента (зависимая переменная). Обе эти переменные должны быть доступны объективному наблюдению и точно фиксироваться. Для надежности контроля за переменными психологи обычно работают с двумя группами — экспериментальной и контрольной, идентичными по своему составу и другим условиям (контрольная группа в отличие от экспериментальной не подвергается воздействию независимой переменной).

Традиционно используются два  вида эксперимента: лабораторный и  естественный.

Лабораторный эксперимент — это моделирование той или иной деятельности в условиях лаборатории. Лабораторный эксперимент часто предполагает исследование какого-либо одного аспекта трудовой деятельности — например, влияние того или иного метода обучения на производительность труда. Возможно исследование сложных видов труда, например, космонавтов на специальных тренажерах.

Недостатком данного метода является искусственность создаваемого трудового процесса, что иногда ведет  к снижению чувства ответственности  у испытуемых.

Естественный эксперимент проводится в повседневных условиях, на обычном рабочем месте, причем испытуемый может и не знать, что его поведение становится объектом исследования. Преимуществом этого метода является полная естественность условий. Поэтому его результаты в наибольшей степени можно использовать в практической деятельности.

Еще одним методом психологической  диагностики является тестирова

ние, которое проводится на основе стандартизированных вопросов и задач-тестов. Тест — это особый вид экспериментального исследования, представляющий собой специальное задание или систему заданий. Испытуемый выполняет задание, время выполнения которого обычно учитывают. Тестирование широко применяется для стандартизированного измерения индивидуальных различий, для профессиональной экспертизы, а также в системе образования для определения уровня знаний.

Таким образом, в психологии используется целый ряд методов. Какой из них следует применить, решают в каждом отдельном случае в зависимости от задач и объекта  исследования. При этом обычно используют не один какой-то метод, а ряд методов, взаимно дополняющих и контролирующих друг друга.

Специфика психологических  исследований состоит в том, что  при их проведении специалисты должны проявлять заботу о людях, сохранении их достоинства и благополучия. Психологи-исследователи  разработали соответствующий 

комплекс этических требований, в который  входят следующие основные этические  нормы:

  • при планировании эксперимента исследователь несет ответственность за его этическую приемлемость;
  • исследователь должен информировать испытуемых обо всех сторонах эксперимента, которые могут повлиять на их желание принять в нем участие:
  • исследователь должен с уважением относиться к праву испытуемого сократить или прервать свое участие в процессе исследования в любое время;
  • исследователь обязан защитить участников исследования от любого физического или душевного дискомфорта, вреда и опасности;
  • информация, полученная в ходе исследования о его участниках, является строго конфиденциальной.

Следует также учитывать, что психологическое исследование — это всегда социально-психологическое  взаимодействие между экспериментатором  и испытуемым, в ходе которого под  влиянием некоторых факторов может  возникнуть искажение объективной  информации.

Как показывает опыт, участники эксперимента часто ведут себя именно так. как этого ожидает от них экспериментатор. Известен и так называемый эффект Пигмалиона, ведущий к возникновению ошибок по вине самого экспериментатора: добиваясь, чтобы испытуемый «работал на гипотезу», исследователь так или иначе создает привилегированные условия для экспериментальной группы, что служит нередко источником ошибок. Таким образом, для проведения исследований в области психологии требуется высокая квалификация исследователя.

Группы  методов психологии

Известно несколько классификаций  методов психологии, поскольку по-разному трактуются методы и методики, существуют различные психологические школы, появляются дополнения, изменения.

Приведем одну из достаточно коротких, но вполне развернутых и многоплановых классификаций, которая разработана одним из классиков отечественной психологии Б. Г. Ананьевым (1907-1972).

На разных этапах исследования выделяется четыре группы методов.

Первая группа — организационные  методы

К первой относятся организационные методы, на основе которых строится исследование в целом, вся его методология. К ним относится сравнительный метод, имеющий самые разные вариации, когда сопоставляются, например, результаты нескольких испытуемых, двух групп, сравниваются показатели, получаемые по одинаковым (или разным) методикам в разные периоды времени (метод “поперечных срезов”). Лонгитюдный метод построен на длительном по времени прослеживании психического развития или изменения одних и тех же параметров у одной и той же группы испытуемых. Это “продольный срез” во времени, аналогичный логике формирующего исследования. Комплексный метод состоит в систематической организации двух предшествующих способов познания, в междисциплинарности подходов, методов и методик.

Вторая группа — эмпирические методы

Вторую и самую обширную и развернутую группу составляют эмпирические методы, с помощью которых добываются факты, проводится собственно исследование. Перечисление этих методов не может быть исчерпывающим, поэтому опишем некоторые основные.

Наблюдение — один из основных, часто употребляемых методов психологии, но, как и всякий другой метод, он требует для исполнения специальной подготовки, профессионализма. Ведь наблюдать можно и за пробегающим за окном машины пейзажем. Научное наблюдение требует и постановки цели, и планирования, и протокола и много другого. Самое главное — это адекватная психологическая интерпретация результатов наблюдения, поскольку психика, как известно, не сводится к поведенческим реакциям. Очевидное преимущество метода наблюдения заключается в том, что деятельность человека протекает в нормальных, естественных для него условиях.

Самонаблюдение (интероспекция) — исторически первый метод изучения души и психики. Это “внутреннее” наблюдение человека за собственными психическими явлениями, которое при всей кажущейся житейской простоте является в действительности очень сложным и многофакторным процессом. Такому отражению самого себя человека нужно специально учить. Квалифицированная интроспекция, сопоставленная с результатами других методов, всегда полезна, порой необходима.

Эксперимент является основным методом современной психологии, находится у ее истоков. Хотя необходимо признать, что ввиду своего предмета психология остается наукой в значительной мере описательной. Не над всем в  психике возможен эксперимент в  его классическом понимании. Однако особое значение экспериментального метода обусловлено рядом его несомненных  преимуществ.

Преимущества экспериментального метода

  • Во-первых, эксперимент позволяет задействовать у испытуемого любой интересующий исследователя процесс или состояние. Не нужно ждать, к примеру, проявления воли, а можно создать для этого экспериментальные условия.
  • Во-вторых, экспериментатор, предварительно выделив все условия, влияющие на исследуемое явление, может планомерно менять их: увеличивать, уменьшать, исключать, т.е. целенаправленно организовывать течение изучаемого процесса.
  • В-третьих, управляемое варьирование факторов дает возможность достоверно выявить меру влияния каждого из них на исследуемое явление, т.е. обнаружить объективные закономерности, зависимости. Это путь от живого явления, факта к познанию сущности.
  • В-четвертых, полученные материалы позволяют и с необходимостью предполагают строгую количественную обработку, математическое описание и моделирование изучаемого явления в целом.

Однако из перечисленных  преимуществ эксперимента неизбежно  вытекает его основная трудность  — ограничение. Как психологическая, так и внешняя деятельность испытуемого  протекает как бы искусственно, в  навязанной последовательности, в необычных  условиях. Человек знает, что это  не реальная практика, а лишь эксперимент, который, например, по его желанию  может быть прекращен.

По разным основаниям выделяется множество видов эксперимента: аналитический и синтетический, констатирующий и формирующий, психолого-педагогический, моделирующий, обучающий, лабораторный, полевой. Особое место в этом ряду занимает естественный эксперимент, предложенный знаменитым русским психологом А. Ф. Лазурским (1874-1917). Суть его заключается в том, что исследуемая деятельность испытуемого протекает в привычных для него условиях, он не знает о проведении эксперимента.

К сожалению, современная психология становиться все, менее экспериментальной. Чуть ли не единственными методами психологического исследования остаются различные тесты, опросы, интервью. Это обедняет методологический аппарат психологической науки, упрощает понимание ее предмета.

Тест (испытание, проба) также используется научной психологией в течение ста лет и в последние годы получает все большее распространение. Не всякое психологическое испытание, проба, вопрос являются тестами. Для последних необходима надежность, валидность, стандартизированность, психометрическая состоятельность, четкость психологической интерпретации. В условиях грамотного применения он дает возможность получения большого количества эмпирических данных, возможность предварительной градации испытуемых. Существует огромное количество видов и классификаций тестов по их построению, задачам, исполнению. Стандартизация — подбор, статистическая подгонка степени сложности вопроса. Требование валидности теста означает наличие уверенности в том, что измеряет он именно то, на что предназначен.

Анкеты и различные опросники — это всевозможные вариации тестов. Здесь важно учитывать не только формулировку вопроса, но и очередность его предъявления. Особый по направленности вид вопросников составляют социометрические методики, с помощью которых исследуются межличностные отношения в группе, выявляются отношения лидер — ведомый.

Метод беседы предполагает индивидуальную психологическую работу, в свою очередь имеет свои правила проведения и поведения исследователя.

Набор праксиметрических методов разработан в рамках психологии труда при изучении различных человеческих движений, операций, действий, профессионального поведения. Сюда входят хронометрия, циклография, составление профессиограмм.

Анализ продуктов деятельности представляет собой комплексное изучение результатов труда как материализации психической деятельности. Это относится и к детскому рисунку, и к школьному сочинению, и к произведению писателя, и к “картине”, нарисованной обезьяной.

Биографический метод предполагает психологический анализ жизненного пути, биографии человека. Это анализ представлений человека о собственном жизненном пути, о прошлом и будущем; психология жизненных планов; психологические стратегии поведения и жизни.

Метод моделирования имеет самые разнообразные варианты. Модели бывают структурными, функциональными, физическими, знаковыми, логическими, математическими, информационными. Любая модель беднее исходного оригинала, выделяя в нем какой-то определенный аспект и абстрагируясь от других сторон изучаемого явления.

Третья группа — методы обработки полученных результатов

Третью группу (по Б. Г. Ананьеву) составляют методы обработки полученных результатов. Это ограниченное единство количественного и качественного, содержательного анализа. Обработка  результатов — это всегда творческий, поисковый процесс, предполагающий подбор наиболее адекватных и чувствительных математических средств.

Четвергая группа — интерпретационные методы

Наконец, четвертую группу составляют так называемые интерпретационные  методы, направленные на теоретическое  объяснение, психологическую трактовку  изучаемого явления. Здесь всегда присутствует комплексный, системный набор различных  вариантов функционального и  структурного методов, замыкающих общий  цикл психологического исследования.

Наблюдения (более пассивны)

Эксперименты (более активны)

Научный метод исследования не ограниченный простой регистрацией фактов, а научно-объясняющие причины  того или иного психологического явления

Активное вмешательство  исследователя в деятельность испытуемого  с целью создания условий, в которых  выявляется психологический факт

Житейские наблюдения ограничиваются регистрацией фактов, носят случайный  неорганизованный характер

Научный метод наблюдения переходит от написания фактов к  объяснению его внутренней сущности. Необходимое условие четкий план, фиксация результатов в спец. дневнике

Лабораторный протекает в специальных условиях. Используется спец. аппаратура

Естественный протекает в обычных условиях. Применяется при изучении познавательных возможностей на разных возрастных этапах

Вспомогательные методы психологии

Анализ продуктов деятельности и биографический метод

Близнецовый метод, социометрия, моделирование, анкеты, тесты

Методы исследования: определение, типы и примеры

Гипотезы — это утверждения о предсказании результатов, которые могут быть проверены или опровергнуты с помощью какого-либо исследования.

Все исследования имеют альтернативную гипотезу (одностороннюю или двустороннюю) и соответствующую нулевую гипотезу.

После проведения исследования и получения результатов психологи должны принять одну гипотезу и отвергнуть другую.

Таким образом, если будет обнаружено различие, Психолог примет альтернативную гипотезу и отвергнет нулевую. Обратное применяется, если различия не обнаружены.


Методы отбора проб

Выборка – это процесс отбора репрезентативной группы из исследуемой совокупности.

 

Выборка — это участники, которых вы выбираете из целевой группы (группы, которая вас интересует), чтобы делать обобщения.

Репрезентативная означает степень, в которой выборка отражает целевую совокупность исследователя и отражает ее характеристики.

Обобщаемость означает степень, в которой их результаты могут быть применены к большей совокупности, частью которой была их выборка.

  • Волонтерская выборка — это когда участники выбирают себя через объявления в газетах, на досках объявлений или в Интернете.
  • Выборка по возможности, также известная как выборка для удобства, использует людей, которые доступны на момент проведения исследования и готовы принять в нем участие. Он основан на удобстве.
  • Случайная выборка — это когда каждый человек в целевой группе имеет равные шансы быть отобранным. Примером случайной выборки может быть выбор имен из шляпы.
  • Систематическая выборка — это когда система используется для отбора участников. Выбор каждого N-го человека из всех возможных участников. N = количество людей в исследуемой совокупности / количество людей, необходимых для выборки.
  • Стратифицированная выборка — это когда вы определяете подгруппы и выбираете участников пропорционально их встречаемости.
  • Выборка методом снежного кома — это когда исследователи находят несколько участников, а затем просят их найти участников самостоятельно и так далее.
  • Выборка по квоте — это когда исследователям будет предложено убедиться, что выборка соответствует определенным квотам, например, им может быть предложено найти 90 участников, 30 из которых являются безработными.

Переменные

Эксперименты всегда имеют независимую и зависимую переменную .

  • Независимая переменная — это та, которой манипулирует экспериментатор (то, что меняется в зависимости от условий, в которые помещаются участники). Предполагается, что он оказывает прямое влияние на зависимую переменную.
  • Зависимой переменной является измеряемый объект или результат эксперимента.

Операционализация переменных означает их измеримость/количественное определение. Мы должны использовать операционализацию, чтобы гарантировать, что переменные находятся в форме, которую можно легко протестировать.

Например, мы не можем измерить «счастье», но мы можем измерить, сколько раз человек улыбается в течение двух часов.

Операционализируя переменные, мы облегчаем другим людям возможность повторить наше исследование. Помните, это важно, потому что мы можем проверить, надежны ли наши выводы.

Посторонние переменные — это все переменные, которые не являются независимыми переменными, но могут повлиять на результаты эксперимента.

Это может быть естественная характеристика участника, такая как уровень интеллекта, пол или возраст, например, или это может быть ситуационная характеристика окружающей среды, такая как освещение или шум.

Характеристики спроса являются разновидностью посторонней переменной, которая возникает, если участники отрабатывают цели исследования, они могут начать вести себя определенным образом.

Например, в исследовании Милгрэма критики утверждали, что участники выяснили, что удары током были ненастоящими, и применяли их, поскольку думали, что это то, что от них требуется.

Посторонние переменные должны быть контролируемыми , чтобы они не влияли (искажали) результаты.

Случайное распределение участников по их условиям или использование схемы эксперимента с подобранными парами может помочь уменьшить количество переменных участников.

Ситуационные переменные контролируются с помощью стандартных процедур, обеспечивающих одинаковое обращение с каждым участником в данном состоянии


Экспериментальный проект

План эксперимента относится к тому, как участники распределяются по каждому условию независимой переменной, такой как контрольная или экспериментальная группа.

  • Самостоятельный дизайн (межгрупповой дизайн): каждый участник отбирается только в одну группу. При независимом дизайне наиболее распространенным способом определения того, какие участники входят в какую группу, является рандомизация.
  • Схема подходящих участников : каждый участник отбирается только в одну группу, но участники двух групп подбираются по какому-либо релевантному фактору или факторам (например, способностям, полу, возрасту).
  • Схема повторных измерений (внутри групп): каждый участник появляется в обеих группах, так что в каждой группе
    абсолютно одинаковых участников.
  • Основная проблема с планом повторных измерений заключается в том, что вполне могут быть эффекты порядка. Их опыт во время эксперимента может по-разному изменить участников.
  • Они могут работать лучше, когда появляются во второй группе, потому что они получили полезную информацию об эксперименте или о задаче. С другой стороны, во второй раз они могут работать хуже из-за усталости или скуки.
  • Уравновешивание — это лучший способ предотвратить влияние эффектов порядка на результаты эксперимента, и включает в себя обеспечение равной вероятности того, что каждое условие будет использовано участниками в первую и вторую очередь

Если мы хотим сравнить две группы по заданной независимой переменной, важно убедиться, что эти две группы не различаются по какому-либо другому важному признаку.


Экспериментальные методы

Все экспериментальные методы включают IV (независимая переменная) и DV (зависимая переменная).
Лабораторные эксперименты проводятся в хорошо контролируемой среде, не обязательно в лаборатории, поэтому возможны точные и объективные измерения.

Исследователь решает, где будет проводиться эксперимент, в какое время, с какими участниками и при каких обстоятельствах, используя стандартную процедуру.

Полевые эксперименты проводятся в повседневной (естественной) среде участников. Экспериментатор по-прежнему манипулирует капельницей, но в реальных условиях. Можно контролировать посторонние переменные, хотя такой контроль сложнее, чем в лабораторном эксперименте.

Естественные эксперименты — это когда исследуется естественный IV, который не подвергается преднамеренным манипуляциям, он все равно существует. Участники не распределяются случайным образом, и естественное событие может происходить очень редко.


Тематическое исследование

Тематическое исследование представляет собой углубленное исследование одного человека, группы, события или сообщества. Он использует информацию из ряда источников, например, от заинтересованного лица, а также от его семьи и друзей.

Можно использовать множество методов, таких как интервью, психологические тесты, наблюдения и эксперименты. Тематические исследования, как правило, носят лонгитюдный характер: другими словами, они следуют за человеком или группой в течение длительного периода времени.

Тематические исследования широко используются в психологии, и среди наиболее известных из них были проведенные Зигмундом Фрейдом. Он провел очень подробные исследования частной жизни своих пациентов, пытаясь понять и помочь им преодолеть свои болезни.

Тематические исследования предоставляют обширные качественные данные и имеют высокий уровень экологической достоверности. Однако трудно обобщать отдельные случаи, поскольку каждый из них имеет уникальные характеристики.


Корреляционные исследования

Корреляция означает ассоциацию; это мера степени, в которой две переменные связаны. Одна из переменных может рассматриваться как переменная-предиктор, а другая — как переменная результата.

Корреляционные исследования обычно включают получение двух разных показателей от группы участников, а затем оценку степени связи между показателями.

В каком-то смысле предикторную переменную можно рассматривать как предшествующую выходной переменной. Она называется переменной-предиктором, потому что она формирует основу для прогнозирования значения переменной результата

Отношения между переменными могут отображаться на графике или в виде числовой оценки, называемой коэффициентом корреляции.

  • Если увеличение одной переменной имеет тенденцию ассоциироваться с увеличением другой, то это известно как положительная корреляция .
  • Если увеличение одной переменной имеет тенденцию ассоциироваться с уменьшением другой, то это известно как отрицательная корреляция .
  • Нулевая корреляция возникает при отсутствии связи между переменными.

Посмотрев на диаграмму разброса, если мы хотим убедиться, что между двумя переменными действительно существует значимая связь, можно провести статистический тест корреляции, такой как ро Спирмена.

Тест даст нам оценку, называемую коэффициент корреляции . Это значение от 0 до 1, и чем ближе к 1 оценка, тем сильнее взаимосвязь между переменными. Это значение может быть как положительным, т.е. 0,63 или минус -0,63.

Корреляция между переменными, однако, не означает автоматически, что изменение одной переменной является причиной изменения значений другой переменной. Корреляция показывает только наличие связи между переменными.

Корреляция не всегда доказывает причинно-следственную связь, поскольку может быть задействована третья переменная.

Методы интервью

Интервью обычно делятся на два типа: структурированные и неструктурированные.

В структурированном интервью ситуация интервью максимально стандартизирована. Структурированные интервью носят формальный характер, как и собеседования при приеме на работу.

Существует фиксированный, заранее определенный набор вопросов, которые задаются каждому участнику в одинаковом порядке и одинаковым образом. Ответы записываются в анкету, а порядок и формулировка вопросов, а иногда и диапазон альтернативных ответов задаются исследователем.

Интервьюер остается в рамках своей роли и поддерживает социальную дистанцию ​​от интервьюируемого.

Неструктурированные интервью носят неформальный характер, как случайные беседы. Им обычно предшествует общий разговор, и исследователь намеренно использует неформальный подход, пытаясь разрушить социальные барьеры.

Заданных вопросов нет, и участнику разрешено поднимать любые темы, которые он/она считает актуальными, и задавать их по-своему. Вопросы ставятся в связи с ответами участников на тему

В ходе такого рода опроса, скорее всего, будет собрано много качественных данных.

Неструктурированные интервью наиболее полезны в качественных исследованиях, предназначенных для анализа отношений и ценностей. Хотя они редко обеспечивают надежную основу для обобщений, их главное преимущество заключается в том, что они позволяют исследователю исследовать субъективную точку зрения социальных акторов.


Метод анкетирования

Анкетирование можно рассматривать как своего рода письменное интервью. Они могут проводиться лицом к лицу, по телефону или по почте.

Задаваемые вопросы могут быть открытыми, что обеспечивает гибкость ответов респондента, или они могут быть более строго структурированными, требующими кратких ответов или выбора ответов из предложенных вариантов.

Выбор вопросов важен из-за необходимости избегать предвзятости или двусмысленности в вопросах, «ведущих» респондента или вызывающих оскорбление.

Почтовый вопросник, по-видимому, дает возможность обойти проблему предвзятости интервью, сократив личное участие исследователя.

Другие его практические преимущества заключаются в том, что он дешевле, чем личные интервью, и может использоваться для относительно быстрого контакта с большим количеством респондентов, разбросанных по большой территории.


Наблюдения

  • Скрытое наблюдение — исследователь не сообщает участникам, что за ними наблюдают, пока исследование не будет завершено. Могут быть этические проблемы или обман и согласие с этим конкретным методом наблюдения.
  • Открытое наблюдение — это когда исследователь сообщает участникам, что за ними наблюдают и для чего за ними наблюдают.
  • Контролируемый : поведение наблюдается в контролируемых лабораторных условиях (например, исследование куклы Бандуры Бобо).
  • Натуральный : Здесь записывается спонтанное поведение в естественной обстановке.
  • Участник : Здесь у наблюдателя есть прямой контакт с группой людей, за которыми он наблюдает. Исследователь становится членом группы, которую он исследует.
  • Неучастник (он же «муха на стене»): Исследователь не имеет прямого контакта с людьми, за которыми наблюдают. Наблюдение за поведением участников с расстояния

Пилотное исследование

Пилотное исследование – это небольшое предварительное исследование, проводимое для оценки осуществимости ключевых этапов будущего полномасштабного проекта.

Пилотное исследование — это первоначальный прогон процедур, которые будут использоваться в расследовании; он включает в себя выбор нескольких человек и опробование на них исследования. Можно сэкономить время, а в некоторых случаях и деньги, выявив любые недостатки в процедурах, разработанных исследователем.

Пилотное исследование может помочь исследователю выявить любые неясности (например, необычные вещи) или путаницу в информации, предоставленной участникам, или проблемы с разработанным заданием.

Иногда задание слишком сложное, и исследователь может получить эффект пола, потому что ни один из участников вообще не может набрать баллы или выполнить задание — все показатели низкие. Противоположным эффектом является эффект потолка, когда задача настолько проста, что все получают практически максимальные оценки или лучшие результаты и «упираются в потолок».


Дизайн исследования

В поперечном исследовании исследователь сравнивает несколько сегментов населения одновременно

Иногда мы хотим увидеть, как люди меняются с течением времени, например, в исследованиях человеческого развития и
продолжительности жизни. Лонгитюдное исследование — это исследовательский план, при котором сбор данных осуществляется неоднократно в течение длительного периода времени.

В когортных исследованиях участники должны иметь общие факторы или характеристики, такие как возраст, демографические данные или род занятий. Когортное исследование — это тип лонгитюдного исследования, в котором исследователи отслеживают и наблюдают за выбранной группой населения в течение длительного периода времени.

Триангуляция означает использование более чем одного метода исследования для повышения достоверности исследования.


Надежность

Надежность – это мера согласованности, если определенное измерение повторяется и получается один и тот же результат, то оно считается надежным.

Надежность повторного тестирования – Оценка одного и того же человека в двух разных случаях, которая показывает, в какой степени тест дает одинаковые ответы.

Надежность между наблюдателями – степень согласия между двумя или более наблюдателями.


Мета-анализ

Мета-анализ — это систематический обзор, который включает в себя определение цели и последующий поиск исследований, направленных на аналогичные цели/гипотезы.

Это делается путем просмотра различных баз данных, после чего принимаются решения о включении/исключении исследований.

Сильные стороны: Повышает достоверность выводов, поскольку они основаны на более широком диапазоне.

Слабые стороны: Дизайн исследований в исследованиях может различаться, поэтому они не могут быть по-настоящему сопоставимы.


Рецензирование

Исследователь представляет статью в журнал. Выбор журнала может определяться его аудиторией или престижем.

Журнал выбирает двух или более подходящих экспертов (психологов, работающих в аналогичной области) для бесплатного рецензирования статьи. Рецензенты оценивают: использованные методы и схемы, оригинальность результатов, обоснованность исходных результатов исследования и его содержание, структуру и язык.

Отклик рецензента определяет, будет ли статья принята. Статья может быть: принята как есть, принята с исправлениями, возвращена автору на доработку и повторное представление или отклонена без возможности представления.

Редактор принимает окончательное решение о том, принять или отклонить исследовательский отчет, на основании комментариев/рекомендаций рецензентов.

Рецензирование важно, потому что оно предотвращает попадание ошибочных данных в общественное достояние, обеспечивает способ проверки достоверности результатов и качества методологии и используется для оценки исследовательского рейтинга факультетов университета.

Экспертная проверка может быть идеальным решением, но на практике возникает множество проблем. Например, это замедляет публикацию и может помешать публикации необычной новой работы. Некоторые рецензенты могут использовать это как возможность помешать конкурирующим исследователям публиковать свои работы.

Некоторые люди сомневаются, что рецензирование действительно может предотвратить публикацию мошеннических исследований.

Появление Интернета означает, что многие исследования и академические комментарии публикуются без официальных рецензий, чем раньше, хотя в Интернете развиваются системы, где каждый действительно имеет возможность высказать свое мнение и контролировать качество исследований.


Типы данных

  • Количественные данные — числовые данные, т.е. время реакции или количество ошибок. Он представляет, сколько или как долго, сколько есть чего-то. Подсчет поведенческих категорий и закрытых вопросов в анкете собирает количественные данные.
  • Качественные данные — практически любой тип информации, которую можно наблюдать и записывать, которая не является числовой по своей природе и может быть в форме письменного или устного сообщения. Открытые вопросы в анкетах и ​​отчеты обсервационных исследований собирают качественные данные.
  • Первичные данные — это данные из первых рук, собранные для целей расследования.
  • Вторичные данные — это информация, которая была собрана кем-то, кроме лица, проводящего исследование, например, взято из журналов, книг или статей.

Валидность

Валидность означает, насколько хорошо исследование фактически измеряет то, что оно излагает, или насколько хорошо оно отражает реальность, которую, как утверждается, представляет.

Достоверность заключается в том, является ли наблюдаемый эффект подлинным и представляет ли он то, что на самом деле существует в мире.

  • Параллельная валидность — это степень, в которой психологическая мера соотносится с существующей аналогичной мерой и дает близкие результаты. Например, новый тест интеллекта по сравнению с установленным тестом.
  • Лицевая валидность : измеряет ли тест то, что он должен измерять «на первый взгляд». Это делается путем «на глаз» измерения или передачи его эксперту для проверки.
  • Экологическая достоверность y – это степень, в которой результаты исследования могут быть обобщены на другие условия/реальную жизнь.
  • Временная валидность — это степень, в которой результаты исследования могут быть обобщены на другие исторические периоды.

 

Особенности науки

  • Парадигма — Набор общих предположений и согласованных методов в рамках научной дисциплины.
  • Сдвиг парадигмы – Результат научной революции: существенное изменение доминирующей объединяющей теории в научной дисциплине.
  • Объективность — Когда все источники личной предвзятости сведены к минимуму, чтобы не искажать и не влиять на исследовательский процесс.
  • Эмпирический метод – Научные подходы, основанные на сборе данных путем прямого наблюдения и опыта.
  • Воспроизводимость — Степень, в которой научные процедуры и результаты могут быть повторены другими исследователями.
  • Фальсифицируемость – Принцип, согласно которому теория не может считаться научной, если она не допускает возможности оказаться ложной.

Статистическое тестирование

Значимым результатом является результат, при котором существует низкая вероятность того, что случайные факторы были ответственны за любое наблюдаемое различие, корреляцию или связь в тестируемых переменных.

Если наш тест значим, мы можем отклонить нашу нулевую гипотезу и принять нашу альтернативную гипотезу.

Если наш тест незначим, мы можем принять нашу нулевую гипотезу и отклонить нашу альтернативную гипотезу. Нулевая гипотеза — это утверждение об отсутствии эффекта.

В психологии мы используем p < 0,05 (поскольку он устанавливает баланс между совершением ошибок I и II рода), но p < 0,01 используется в тестах, которые могут причинить вред, например, введение нового наркотика.

Ошибка I рода — это когда нулевая гипотеза отвергается, когда ее следовало принять (происходит при использовании мягкого уровня значимости, ошибка оптимизма).

Ошибка II рода — это когда нулевая гипотеза принимается, когда ее следовало отвергнуть (происходит при использовании строгого уровня значимости, ошибка пессимизма).


Этические вопросы

  • Информированное согласие — это когда участники могут принять обоснованное решение о том, принимать ли участие. Это заставляет их угадывать цели исследования и менять свое поведение.
  • Чтобы справиться с этим, мы можем получить предполагаемое согласие или попросить их официально подтвердить свое согласие на участие, но это может сделать недействительной цель исследования, и не гарантируется, что участники поймут.
  • Обман следует использовать только в том случае, если он одобрен комитетом по этике, поскольку он предполагает намеренное введение в заблуждение или сокрытие информации. Участники должны быть полностью проанализированы после исследования, но подведение итогов не может повернуть время вспять.
  • Все участники должны быть проинформированы в начале, что они имеют право отозвать , если они когда-либо почувствуют себя огорченными или неудобными.
  • Это вызывает предвзятость, так как те, кто остался, послушны, а некоторые могут не отказаться, так как им дали стимулы или они чувствуют, что портят исследование. Исследователи могут предложить право на отзыв данных после участия.
  • Все участники должны иметь защиту от вреда . Исследователь должен избегать рисков, превышающих те, с которыми он сталкивается в повседневной жизни, и он должен прекратить исследование, если подозревается какой-либо вред. Однако вред может быть неочевидным во время исследования.
  • Конфиденциальность касается передачи личной информации. Исследователи не должны записывать никаких имен, а должны использовать числа или вымышленные имена, хотя это может оказаться невозможным, поскольку иногда можно установить, кем были исследователи.

2.2 Генерация хороших исследовательских вопросов – методы исследования в психологии

Цели обучения

  1. Описать некоторые распространенные источники исследовательских идей и генерировать исследовательские идеи, используя эти источники.
  2. Опишите некоторые методы превращения исследовательских идей в эмпирические исследовательские вопросы и используйте эти методы для создания вопросов.
  3. Объясните, что делает вопрос исследования интересным, и оцените вопросы исследования с точки зрения их интереса.

Хорошее исследование должно начинаться с хорошего исследовательского вопроса. Тем не менее, постановка хороших исследовательских вопросов — это то, что начинающим исследователям часто кажется трудным и напряженным. Одна из причин заключается в том, что это творческий процесс, который может показаться загадочным — даже волшебным — когда опытные исследователи, кажется, извлекают интересные исследовательские вопросы из воздуха. Однако психологические исследования креативности показали, что она не столь таинственна и волшебна, как кажется. Это в значительной степени продукт обычных стратегий мышления и настойчивости (Weisberg, 19).93). В этом разделе рассматриваются некоторые довольно простые стратегии поиска общих исследовательских идей, превращения этих идей в эмпирически проверяемые исследовательские вопросы и, наконец, оценка этих вопросов с точки зрения того, насколько они интересны и насколько осуществимы ответы на них.

В поисках вдохновения

Исследовательские вопросы часто начинаются с более общих исследовательских идей, обычно фокусируясь на некоторых поведенческих или психологических характеристиках: разговорчивость, память на прикосновения, депрессия, банджи-джампинг и так далее. Прежде чем рассматривать, как превратить такие идеи в эмпирически проверяемые исследовательские вопросы, стоит в первую очередь выяснить, откуда берутся такие идеи. Три наиболее распространенных источника вдохновения — это неформальные наблюдения, практические проблемы и предыдущие исследования.

Неформальные наблюдения включают прямые наблюдения за своим поведением и поведением других, а также наблюдения из вторых рук из ненаучных источников, таких как газеты, книги и т. д. Например, вы можете заметить, что всегда находитесь в самой медленной очереди в продуктовом магазине. Может быть, большинство людей думают так же? Или вы можете прочитать в местной газете о людях, жертвующих деньги и еду местной семье, чей дом сгорел, и начать задаваться вопросом, кто делает такие пожертвования и почему. Некоторые из самых известных исследований в области психологии были вдохновлены неформальными наблюдениями. Известное исследование Стенли Милграма о послушании, например, было частично вдохновлено журналистскими отчетами о судебных процессах над обвиняемыми нацистскими военными преступниками, многие из которых утверждали, что они всего лишь подчинялись приказам. Это заставило его задуматься о том, до какой степени обычные люди совершают аморальные поступки просто потому, что им приказывает сделать это авторитетная фигура (Милгрэм, 1963).

Практические проблемы также могут вдохновлять исследовательские идеи, ведущие непосредственно к прикладным исследованиям в таких областях, как юриспруденция, здравоохранение, образование и спорт. Могут ли рисунки человеческих фигур помочь детям вспомнить детали физического или сексуального насилия? Насколько эффективна психотерапия депрессии по сравнению с медикаментозной терапией? В какой степени сотовые телефоны ухудшают способность людей управлять автомобилем? Как мы можем научить детей читать более эффективно? Что является лучшей психологической подготовкой к марафону?

Вероятно, наиболее распространенным источником вдохновения для новых исследовательских идей являются предыдущие исследования. Напомним, что наука — это своего рода крупномасштабное сотрудничество, в котором множество разных исследователей читают и оценивают работу друг друга и проводят новые исследования, опираясь на нее. Конечно, опытные исследователи знакомы с предыдущими исследованиями в своей области знаний и, вероятно, имеют длинный список идей. Это говорит о том, что начинающие исследователи могут черпать вдохновение, консультируясь с более опытными исследователями (например, студенты могут консультироваться с преподавателем). Но они также могут найти вдохновение, взяв копию почти любого профессионального журнала и прочитав заголовки и рефераты. В одном типичном выпуске Психологическая наука , например, вы можете найти статьи о восприятии форм, антисемитизме, полицейских построениях, значении смерти, изучении второго языка, людях, ищущих негативных эмоциональных переживаний, и многих других темах. Если вы можете сузить свои интересы до определенной темы (например, памяти) или области (например, здравоохранение), вы также можете просмотреть более конкретные журналы, такие как «Память и познание» или «Психология здоровья» .

Создание эмпирически проверяемых исследовательских вопросов

Если у вас есть идея для исследования, вам нужно использовать ее для создания одного или нескольких эмпирически проверяемых исследовательских вопросов, то есть вопросов, выраженных в терминах одной переменной или отношения между переменными. Один из способов сделать это — внимательно изучить раздел обсуждения в недавней исследовательской статье по этой теме. Это последний крупный раздел статьи, в котором исследователи обобщают свои результаты, интерпретируют их в контексте прошлых исследований и предлагают направления для будущих исследований. Эти предложения часто принимают форму конкретных исследовательских вопросов, на которые вы затем можете попытаться ответить с помощью дополнительных исследований. Это может быть хорошей стратегией, потому что вполне вероятно, что предлагаемые вопросы уже были определены опытными исследователями как интересные и важные.

Но вы также можете создать свои собственные исследовательские вопросы. Как вы можете это сделать? Во-первых, если вы имеете в виду конкретное поведение или психологическую характеристику, вы можете просто концептуализировать ее как переменную и спросить, насколько она часта или интенсивна. Сколько слов в среднем говорят люди в день? Насколько точны детские воспоминания о прикосновениях? Какой процент людей обращался за профессиональной помощью при депрессии? Если этот вопрос никогда не изучался с научной точки зрения (о чем вы узнаете из обзора литературы), то он может быть интересен и заслуживает внимания.

Если научное исследование уже дало ответ на вопрос о том, насколько частым или интенсивным является поведение или характеристика, то вам следует рассмотреть вопрос о статистической взаимосвязи между этим поведением или характеристикой и какой-либо другой переменной. Один из способов сделать это — задать себе следующую серию более общих вопросов и записать все ответы, которые вы можете придумать.

  • Каковы возможные причины поведения или характеристики?
  • Каковы некоторые возможные эффекты поведения или характеристики?
  • Какие типы людей могут демонстрировать большее или меньшее поведение или характеристику?
  • Какие типы ситуаций могут вызвать большее или меньшее поведение или характеристику?

В общем, каждый ответ, который вы записываете, можно представить как вторую переменную, предполагающую вопрос о статистической взаимосвязи. Например, если вас интересует болтливость, вам может прийти в голову, что возможной причиной этой психологической характеристики является размер семьи. Существует ли статистическая связь между размером семьи и разговорчивостью? Или вам может прийти в голову, что люди кажутся более разговорчивыми в однополых группах, чем в смешанных. Есть ли разница в среднем уровне разговорчивости людей в однополых группах и людей в смешанных группах? Этот подход должен позволить вам генерировать множество различных эмпирически проверяемых вопросов практически о любом поведении или психологической характеристике.

Если в ходе этого процесса вы сформулируете вопрос, который никогда не изучался с научной точки зрения (что, опять же, вы узнаете из обзора литературы), тогда он может быть интересным и достойным изучения. Но что, если вы обнаружите, что это было изучено с научной точки зрения? Хотя на этом этапе начинающие исследователи часто хотят сдаться и перейти к новому вопросу, это не обязательно хорошая стратегия. Во-первых, тот факт, что вопрос изучен научно и опубликованы исследования, говорит о том, что он представляет интерес для научного сообщества. С другой стороны, вопрос почти наверняка можно уточнить, так что ответ на него все равно внесет что-то новое в исследовательскую литературу. Опять же, хорошей стратегией будет задать себе ряд более общих вопросов о статистических отношениях.

  • Существуют ли другие способы оперативного определения переменных?
  • Существуют ли типы людей, для которых статистические отношения могут быть сильнее или слабее?
  • Существуют ли ситуации, в которых статистические отношения могут быть сильнее или слабее, включая ситуации, имеющие практическое значение?

Например, исследования показали, что женщины и мужчины произносят примерно одинаковое количество слов в день, но это было при измерении разговорчивости с точки зрения количества слов, произнесенных в день среди студентов колледжей в Соединенных Штатах и ​​Мексике. Мы все еще можем спросить, дают ли другие способы измерения разговорчивости — например, количество разных людей, с которыми разговаривают каждый день — тот же результат. Или мы можем спросить, дают ли такие же результаты изучение пожилых людей или представителей других культур. Опять же, этот подход должен помочь вам сгенерировать множество различных исследовательских вопросов практически для любых статистических взаимосвязей.

Оценка исследовательских вопросов

Исследователи обычно задают гораздо больше исследовательских вопросов, чем пытаются ответить. Это означает, что у них должен быть какой-то способ оценки исследовательских вопросов, которые они генерируют, чтобы они могли выбирать, какие из них использовать. В этом разделе мы рассмотрим два критерия оценки исследовательских вопросов: интересность вопроса и возможность ответа на него.

Интересность

Как часто люди завязывают шнурки? Чувствуют ли люди боль, когда вы бьете их в челюсть? Женщины чаще пользуются косметикой, чем мужчины? Люди предпочитают ванильное или шоколадное мороженое? Хотя разработать исследование и собрать данные, чтобы ответить на эти вопросы, было бы довольно просто, вы, вероятно, не захотите этого делать, потому что они неинтересны. Мы говорим здесь не о том, интересен ли исследовательский вопрос лично нам, а интересен ли он людям в целом и, особенно, научному сообществу. Но что делает исследовательский вопрос интересным в этом смысле? Здесь мы рассмотрим три фактора, которые влияют на интерес исследовательского вопроса: ответ вызывает сомнения, ответ заполняет пробел в исследовательской литературе и ответ имеет важное практическое значение.

Во-первых, исследовательский вопрос интересен в той мере, в какой ответ на него вызывает сомнения. Очевидно, что вопросы, на которые были даны ответы научными исследованиями, уже не интересны как предмет новых эмпирических исследований. Но тот факт, что на вопрос не ответили научные исследования, не обязательно делает его интересным. Должен быть какой-то разумный шанс, что ответ на вопрос будет чем-то, чего мы еще не знали. Но как вы можете оценить это до фактического сбора данных? Один из подходов состоит в том, чтобы попытаться придумать причины, по которым можно ожидать разных ответов на вопрос, особенно тех, которые кажутся противоречащими здравому смыслу. Если вы можете придумать причины ожидать как минимум двух разных ответов, тогда вопрос может быть интересным. Если вы можете придумать причины ожидать только одного ответа, то, вероятно, это не так. Вопрос о том, являются ли женщины более разговорчивыми, чем мужчины, интересен тем, что есть основания ожидать обоих ответов. Само существование стереотипа предполагает, что ответ может быть «да», но тот факт, что вербальные способности женщин и мужчин довольно схожи, предполагает, что ответ может быть «нет». Вопрос о том, чувствуют ли люди боль, когда вы бьете их в челюсть, неинтересен, потому что нет абсолютно никаких оснований полагать, что ответ может быть чем-то иным, кроме твердого «да».

Второй важный фактор, который следует учитывать при принятии решения об интересе исследовательского вопроса, заключается в том, заполнит ли ответ пробел в исследовательской литературе. Опять же, это отчасти означает, что на этот вопрос еще нет ответа в научных исследованиях. Но это также означает, что вопрос в некотором смысле естественен для людей, знакомых с исследовательской литературой. Например, вопрос о том, могут ли рисунки человеческих фигур помочь детям вспомнить информацию о прикосновениях, вероятно, возникнет у любого, кто знаком с исследованиями ненадежности памяти очевидцев (особенно у детей) и неэффективности некоторых альтернативных методов интервьюирования.

Последний фактор, который следует учитывать при принятии решения о том, интересен ли исследовательский вопрос, — имеет ли ответ на него важные практические последствия. Опять же, вопрос о том, помогают ли рисунки человеческих фигур детям вспоминать информацию о прикосновениях, имеет важное значение для того, как дети опрашиваются в случаях физического и сексуального насилия. Вопрос о том, влияет ли использование мобильного телефона на вождение, интересен, поскольку он имеет отношение к личной безопасности каждого, кто путешествует на автомобиле, и к дискуссии о том, должно ли использование мобильного телефона быть ограничено законом.

Осуществимость

Вторым важным критерием оценки вопросов исследования является возможность успешного ответа на них. На осуществимость влияет множество факторов, включая время, деньги, оборудование и материалы, технические знания и навыки, а также доступ к участникам исследования. Очевидно, что исследователи должны принимать во внимание эти факторы, чтобы не тратить время и силы на исследования, которые они не могут успешно завершить.

Просматривая выборку профессиональных журналов по психологии, можно обнаружить множество исследований, которые сложны и трудны для выполнения. К ним относятся лонгитюдные планы, в которых участники отслеживаются в течение многих лет, нейровизуализационные исследования, в которых измеряется активность мозга участников, когда они выполняют различные умственные задачи, а также сложные неэкспериментальные исследования, включающие несколько переменных и сложный статистический анализ. Имейте в виду, однако, что такие исследования, как правило, проводятся группами высококвалифицированных исследователей, чья работа часто частично поддерживается государственными и частными грантами. Имейте также в виду, что исследование не обязательно должно быть сложным или трудным, чтобы получить интересные и важные результаты. Просматривая выборку профессиональных журналов, вы также обнаружите исследования, которые относительно просты и легко выполнимы, возможно, с использованием удобной выборки студентов колледжа и бумажно-карандашного задания.

И последнее замечание: обычно рекомендуется использовать методы, которые уже успешно применялись другими исследователями. Например, если вы хотите манипулировать настроением людей, чтобы сделать некоторых из них счастливыми, было бы неплохо использовать один из многих подходов, которые успешно использовались другими исследователями (например, сделать им комплимент). Это хорошо не только с точки зрения осуществимости — подход «опробован и верен», — но и потому, что он обеспечивает большую преемственность с предыдущими исследованиями. Это облегчает сравнение ваших результатов с результатами других исследователей и понимание последствий их исследований для ваших, и наоборот.

Ключевые выводы

  • Исследовательские идеи могут исходить из различных источников, включая неформальные наблюдения, практические проблемы и предыдущие исследования.
  • Исследовательские вопросы, выраженные в терминах переменных и взаимосвязей между переменными, могут быть предложены другими исследователями или сгенерированы путем постановки ряда более общих вопросов об интересующем поведении или психологических характеристиках.
  • Важно оценить, насколько интересен исследовательский вопрос, прежде чем планировать исследование и собирать данные для ответа на него. Факторами, влияющими на интерес, являются степень сомнения в ответе, заполняет ли он пробел в исследовательской литературе и имеет ли он важные практические последствия.
  • Также важно оценить, насколько осуществимым будет ответ на исследовательский вопрос. Факторы, влияющие на осуществимость, включают время, деньги, технические знания и навыки, а также доступ к специальному оборудованию и участникам исследования.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *