Стандартизация в психологии это – 4. —

Стандартизация — это… Что такое Стандартизация?


Стандартизация
— в психологии — процессы и процедуры установления набора стандартов использования психометрического теста. Для этого отбирают репрезентативные для данной популяции группы людей, по результатам тестирования которых отрабатывают процедуры применения теста, методы подсчёта, оценки и интерпретации получаемых данных.

Энциклопедический словарь по психологии и педагогике. 2013.

Синонимы:
  • СТАНДАРТИЗАЦИЯ ПСИХОФИЗИОЛОГИЧЕСКИХ ПОКАЗАТЕЛЕЙ
  • СТАНДАРТНОЕ ЭТНОПСИХОЛОГИЧЕСКОЕ ИССЛЕДОВАНИЕ

Смотреть что такое «Стандартизация» в других словарях:

  • Стандартизация — Стандартизация  это деятельность по установлению правил и характеристик в целях их добровольного многократного использования, направленная на достижение упорядоченности в сферах производства и обращения продукции и повышение… …   Википедия

  • СТАНДАРТИЗАЦИЯ — СТАНДАРТИЗАЦИЯ, установление типовых норм и требований к отдельным изделиям, к сырью, к приборам, к определенным процессам и т. п. с целью повышения их качества, упрощения процессапроизводстваиоблегчения взаимосменяемости деталей. С. в условиях… …   Большая медицинская энциклопедия

  • стандартизация — и, ж. standardisation f. 1. Установление единых обязательных типовых образцов для чего л. Стандартизация деталей. БАС 1. Соединенный комитет по стандартизации научных стеклянных приборов нашел и 1924 г. единогласно предложил: признанные… …   Исторический словарь галлицизмов русского языка

  • стандартизация — нормализация, регуляризация, типизация, нормирование; эталонирование, унификация Словарь русских синонимов. стандартизация сущ. • типизация Словарь русских синонимов. Контекст 5.0 Информатик. 2012 …   Словарь синонимов

  • стандартизация — 1. Установление единых норм и требований стандартов. 2. В психодиагностике различаются две формы стандартизации: 1) стандартизация и единообразие инструкций, процедуры обследования, материалов, способов регистрации и прочего при применении… …   Большая психологическая энциклопедия

  • СТАНДАРТИЗАЦИЯ — СТАНДАРТИЗАЦИЯ, стандартизации, мн. нет, жен. (тех., экон.). 1. Рационализация производства изделий путем сведения многочисленных видов к определенному количеству типовых образцов, стандартов. Стандартизация строительных деталей. 2. Приведение… …   Толковый словарь Ушакова

  • стандартизация —     СТАНДАРТИЗАЦИЯ, типизация     СТАНДАРТНЫЙ, типичный     СТАНДАРТИЗИРОВАТЬ, типизировать …   Словарь-тезаурус синонимов русской речи

  • Стандартизация — – деятельность по установлению норм, правил и характеристик в целях обеспечения безопасности продукции, работ и услуг для окружающей среды, жизни, здоровья и имущества; технической и информационной совместимости, а также взаимозаменяемости… …   Энциклопедия терминов, определений и пояснений строительных материалов

  • СТАНДАРТИЗАЦИЯ — по определению Закона РФ О стандартизации от 10 июля 1993 г. деятельность по установлению норм, правил и характеристик (далее требования) в целях обеспечения: безопасности продукции, работ и услуг для окружающей среды, жизни, здоровья и… …   Юридический словарь

  • Стандартизация — установление со стороны государственных или международных организаций норм и требований к физическим и размерным величинам производимых изделий и продуктов, полуфабрикатов, сырья и материалов. Словарь бизнес терминов. Академик.ру. 2001 …   Словарь бизнес-терминов

  • СТАНДАРТИЗАЦИЯ — процесс установления и применения стандартов …   Большой Энциклопедический словарь


psychology_pedagogy.academic.ru

Проблема стандартизации в психодиагностике и пути ее разрешения

Стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Рассматривается она в двух планах:

  • как выработка единых требований к процедуре эксперимента;
  • как определение единого критерия оценки результатов диагностических испытаний.

Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

К числу требований, которые необходимо соблюдать при проведении эксперимента, можно, например, отнести такие:

  1. инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
  2. ни одному испытуемому не следует давать никаких преимуществ перед другими;
  3. в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
  4. эксперимент с разными группами следует проводить в одинаковое, по возможности, время дня, в сходных условиях;
  5. временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т. д.

Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении.

Так, например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117. Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает. Полученный дошкольником балл нельзя интерпретировать как показатель относительно высокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании индивидуальные и групповые данные. Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая

статистическая норма.

В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем ее проведения на большой представительной выборке испытуемых, которая ничем не отличается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации.

Для вычисления статистической нормы психологи-диагносты обратились к давно применяемым в биологии приемам математической статистики.

Кроме статистической нормы, основой для сравнения, интерпретации результатов диагностических испытаний могут стать и такие показатели, как процентили.

Процентиль — это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя.

Например, если 28% людей правильно решат не более 15 задач в арифметическом тесте, то первичному показателю 15 соответствует 28-й процентиль (Р28). Процентили указывают на относительное положение индивида в выборке стандартизации. Их также можно рассматривать, как ранговые градации, общее число которых равно 100, с той лишь разницей, что при ранжировании принято начинать отсчет сверху, т. е. с лучшего члена группы, получающего ранг 1. В случае же процентилей отсчет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.

50-й процентиль (Р50) соответствует медиане — одному из показателей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнительно низкие показатели. 25-й и 75-й процентили известны также под названием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для описания распределения показателей и сравнения с другими распределениями.

Выборка стандартизации. При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испытуемых, на которой проводится стандартизация диагностической методики. В математической статистике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.

Всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы, называется генеральной совокупностью.

Выборка — это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделяют группу людей — выборку стандартизации — которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой популяции, т. е. ее вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

Одним из способов обеспечения репрезентативности выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному происхождению, профессии, социально-экономическому статусу, здоровью и т. д.

www.psyworld.ru

Адаптация и стандартизация методик

Для начала определим круг разработанности данной проблемы и кратко перечислим ученых.

Ученые, которые занимались проблемой адаптации и стандартизации методик в психодиагностике:А. Анастази и др.

Далее рассмотрим понятие адаптации и стандартизации методик, а также их сущность и процесс.

Технология адаптации методики

Рассмотрим наиболее часто встречающиеся ситуации в технологии адаптации различных психодиагностических методик.

  1. Ситуация применения. В данной ситуации тест уже был кем-то разработан, скорее всего, в другой культуре; также были получены его нормы.
  2. Ситуация адаптации. Здесь также возможна разработка теста, однако отсутствуют сами тестовые нормы.
  3. Ситуация конструирования. В такой ситуации есть определенная концепция того или иного психического свойства, однако нет инструмента его измерения. Соответственно, задача состоит не только в конструировании самого теста, но и проверке его надежности, валидности, а также выведении тестовых норм для данной методики.

Наиболее часто приходится сталкиваться с ситуацией применения.

Рассмотрим основные этапы работыvпри внутрикультурном переносе методики.

  1. Изучение внутренней валидности. Здесь происходит анализ внутренней согласованности пунктов методики.
  2. Проверка ретестовой надежности. Важно проверить устойчивость к перетестированию методики, так как любая методика должна давать некий прогноз.
  3. Анализ внешних коррелятов.
  4. Проверка тестовых норм методики.
  5. Проверка воспроизводимости отношений между шкалами методики.

Технология стандартизации методик

Стандартизацию методик в психодиагностике можно рассматривать как:

  1. выработка единых требований к процедуре обследования;
  2. определение единого критерия оценки полученных результатов.

Существуют также определенные требования к проведению методик.

  1. Инструкции. Инструкции сообщают испытуемым одним и тем же образом, с одной и той же интонацией.
  2. Преимущества. Не следует давать одним испытуемым преимущества перед другими.
  3. Пояснения. Не стоит давать никаких пояснений, кроме пояснений, предусмотренных инструкцией методики.
  4. Одинаковые условия. Обследования в разных группах следует проводить в одних и тех же условиях.
  5. Время. Одинаковые временные ограничения для всех испытуемых.

Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний.

Стандартизация методики осуществляется путем ее проведения на большой репрезентативной выборке такого типа, для которого методика предназначена. Относительно этой группы испытуемых вырабатываются нормы, указывающие не только средний уровень выполнения, но и относительную вариативность выше и ниже среднего уровня.

Рисунок 1. «Вывод тестовых норм»

Для выполнения статистической нормы применяются приемы математической статистики $x \pm \sigma$ ($х$ – среднее арифметическое, $\sigma$ — стандартное отклонение). $Х \pm 5\sigma$. На рисунке 1 представлена схематичная модель стандартизации.

Отбор испытуемых в выборку стандартизации осуществляется следующим образом:

  1. дается определение популяции с выделением в ее структуре переменных, значимых и малозначимых для изучаемого психического явления;
  2. популяция делится на части в соответствии со значимыми переменными;
  3. испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности.

spravochnick.ru

Стандартизация психодиагностических методик

Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована.

Стандартизация (по Анастази) – это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний.

Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

Требования к проведению эксперимента:

  1. инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же сло-вами, понятными для всех, в одинаковой манере;
  2. ни одному испытуемому не следует давать никаких преимуществ перед другими;
  3. в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
  4. эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;
  5. временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и так далее.

Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определённых стандартов успешности или неудачи в их выполнении.

Стандартизация методики осуществляется путем ее проведения на большой репрезентативной выборке такого типа, для которого методика предназначена. Относительно этой группы испытуемых вырабатываются нормы, указывающие не только средний уровень выполнения, но и относительную вариативность выше и ниже среднего уровня.

Для выполнения статистической нормы применяются приемы математической статистики х ± σ (х – среднее арифметическое, σ — станд. отклонения). x ± 5 σ

Процентиль – это процентная доля индивидов из выборки стандартизации.

Под руководством Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает независимый от результатов испытания, объективно заданный социально-психологический норматив. Он реализуется в совокупности заданий составляющих тест. Сам тест в полном его объеме и является таким нормативом.

При разработке и применении любой точки отсчета следует обратить внимание на выборку испытуемых. В математической статистике различают генеральную совокупность (популяция) и выборку. Всякая большая совокупность людей относительно которой мы собираемся делать выводы называется генеральной совокупностью.

Выборка – это часть, или подмножество, совокупности. Проводить исследования для популяции не принято. Обычно из нее выделяется группа людей – выборка стандартизации, которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер выборка должна быть репрезентативна, представительна для рассматриваемой популяции, то есть ее вероятные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

Один из способов обеспечения репрезентативности выборки является ограничение популяции (пол, возраст, профессия, здоровье, социально-эконом. статус и др.). Такая популяция определяется как специфическая.

  1. Отбор испытуемых в выборку стандартизации
  2. Определение популяции с выделением в ее структуре переменных значимых, малозначимых (возраст, пол)
  3. Популяция делится на части в зависимости от значимых переменных.
  4. Испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности. Минимальный порог выборки – 200 человек.

Статистическая норма – критерий, по которому проводят сравнение результатов диагностических методик.

Возрастная норма – как показатель, который появляется в тестах Бене-Симона (норма – сделать все задания).

Внешний критерий – критерий выполнения.

Процентиль – это процентная доля индивидов из выборки стандартизации, первичный результат которому ниже данного первичного показателя. Процентили указывают на относительное положение индивида в выборке стандартизации. Чем ниже процентиль, тем хуже позиция индивида. Процентили нельзя смешивать с обычными процентными показателями, которые являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль – это производный показатель, указывающий на долю от общего числа членов группы.

www.psyworld.ru

СТАНДАРТИЗАЦИЯ В ИНЖЕНЕРНОЙ ПСИХОЛОГИИ — это… Что такое СТАНДАРТИЗАЦИЯ В ИНЖЕНЕРНОЙ ПСИХОЛОГИИ?


СТАНДАРТИЗАЦИЯ В ИНЖЕНЕРНОЙ ПСИХОЛОГИИ
(от англ. standard — образец…) — процесс установления и применения стандартов в области инженерной психологии. На необходимость этого одним из первых в нашей стране указал Б. Ф. Ломов, который еще в 1967 г. отмечал, что «наступило время серьезно заняться изучением человеческих факторов в целях их ибо от них зависит качество и надежность выпускаемой продукции». Наиболее эффективным оказывается применение стандартных методик при проектировании СЧМ. В этом случае эффект проявляется как в сфере собственно проектирования, так и эксплуатации СЧМ. Применение стандартных методик приводит обычно к уменьшению затрат на проектирование СЧМ и появлению дополнительных источников экономии, основными из которых являются следующие: 1) сокращение объемов, трудоемкости, стоимости и сроков выполнения проектных работ вследствие повторного использования ранее выпущенной документации; 2) сокращение расхода материала; 3) снижение потерь времени на согласование и утверждение ранее выпущенной документации. Снижение эксплуатационных расходов в результате внедрения стандартов по учету человеческого фактора может происходить за счет любой из причин, способствующих получению экономического эффекта от внедрения инженерно-психологических разработок (см. Экономическая эффективность инженерно-психологических разработок). Наиболее важной из этих причин в данном случае является повышение надежности и производительности труда оператора. Система стандартов, регламентирующих человеческий фактор в технике, должна занять свое место в единой системе государственной стандартизации и стать мощным рычагом в деле повышения качества продукции. В настоящее время в стране создано и внедрено несколько десятков ГОСТов на СЧМ. Основные направления стандартизации — терминология и общие эргономические (инженерно-психологические) требования к отдельным элементам СЧМ. Стандартизация инженерно-психологических требований является основой для внедрения достижений инженерной психологии в практику. Другое направление — разработка стандартов на условия, процедуры и методы проведения инженерно-психологических исследований. В этом комплексе документов основная роль должна принадлежать разработке последовательности этапов проектирования СЧМ, их содержанию, месту и роли в едином процессе проектирования СЧМ. Стандарты на инженерно-психологические требования и методики вначале разрабатываются как межотраслевые (общегосударственные), а затем детализируются по видам отраслей. И, наконец, третье направление С. в и. п. связано с учетом положений инженерной психологии при разработке стандартов на отдельные конкретные образцы продукции производственного и бытового назначения. Напр., многие положения инженерной психологии использованы в стандартах на различные типы металлорежущих станков, автомобилей, самолетов, тепловозов, бытовых приборов й т. п.

Энциклопедический словарь по психологии и педагогике. 2013.

  • Стандарт
  • СТАНДАРТИЗАЦИЯ ПСИХОФИЗИОЛОГИЧЕСКИХ ПОКАЗАТЕЛЕЙ

Смотреть что такое «СТАНДАРТИЗАЦИЯ В ИНЖЕНЕРНОЙ ПСИХОЛОГИИ» в других словарях:

psychology_pedagogy.academic.ru

Стандартизация — Википедия

Материал из Википедии — свободной энциклопедии

Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 15 мая 2017; проверки требуют 7 правок. Текущая версия страницы пока не проверялась опытными участниками и может значительно отличаться от версии, проверенной 15 мая 2017; проверки требуют 7 правок.

Стандартиза́ция — деятельность по разработке, опубликованию и применению стандартов, по установлению норм, правил и характеристик в целях обеспечения безопасности продукции, работ и услуг для окружающей среды, жизни, здоровья и имущества, технической и информационной совместимости, взаимозаменяемости и качества продукции, работ и услуг в соответствии с уровнем развития науки, техники и технологии, единства измерений, экономии всех видов ресурсов, безопасности хозяйственных объектов с учётом риска возникновения природных и техногенных катастроф и других чрезвычайных ситуаций, обороноспособности и мобилизационной готовности страны.

Стандартизация направлена на достижение оптимальной степени упорядочения в определенной области посредством установления положений для всеобщего и многократного применения в отношении реально существующих или потенциальных задач[1][2].

За реализацию норм стандартизации отвечают органы стандартизации, наделенные законным правом руководить разработкой и утверждать нормативные документы и другие правила, придавая им статус стандартов.

В области промышленности стандартизация ведет к снижению себестоимости продукции, поскольку:

  • позволяет экономить время и средства за счет применения уже разработанных типовых ситуаций и объектов;
  • повышает надежность изделия или результатов расчетов, поскольку применяемые технические решения уже неоднократно проверены на практике;
  • упрощает ремонт и обслуживание изделий, так как стандартные узлы и детали — взаимозаменяемые (при условии, что сборка осуществлялась без пригоночных операций).

Стандартизация может быть малоэффективной в случаях, когда основной целью разработки изделия является достижение очень высоких функциональных характеристик, которые возможны при значениях основных параметров, не соответствующих стандартным.

Цели[

ru.wikipedia.org

СТАНДАРТИЗАЦИЯ — это… Что такое СТАНДАРТИЗАЦИЯ?


СТАНДАРТИЗАЦИЯ
— деятельность по установлению норм, правил и характеристик в целях обеспечения: безопасности продукции, работ и услуг для окружающей среды, жизни, здоровья и имущества; технической и информационной совместимости, а т.ж. взаимозаменяемости продукции; качества продукции, работ и услуг в соответствии с уровнем развития науки, техники и технологии; единства измерений; экономии всех видов ресурсов; безопасности хозяйственных объектов с учетом риска возникновения природных и техногенных катастроф и других чрезвычайных ситуаций; обороноспособности и мобилизационной готовности страны.

Экономика и право: словарь-справочник. — М.: Вуз и школа. Л. П. Кураков, В. Л. Кураков, А. Л. Кураков. 2004.

Синонимы:
  • СТАНДАРТ ХРОМАЮЩИЙ
  • СТАНДАРТИЗИРОВАННЫЙ ТОВАР

Смотреть что такое «СТАНДАРТИЗАЦИЯ» в других словарях:

  • Стандартизация — Стандартизация  это деятельность по установлению правил и характеристик в целях их добровольного многократного использования, направленная на достижение упорядоченности в сферах производства и обращения продукции и повышение… …   Википедия

  • СТАНДАРТИЗАЦИЯ — СТАНДАРТИЗАЦИЯ, установление типовых норм и требований к отдельным изделиям, к сырью, к приборам, к определенным процессам и т. п. с целью повышения их качества, упрощения процессапроизводстваиоблегчения взаимосменяемости деталей. С. в условиях… …   Большая медицинская энциклопедия

  • стандартизация — и, ж. standardisation f. 1. Установление единых обязательных типовых образцов для чего л. Стандартизация деталей. БАС 1. Соединенный комитет по стандартизации научных стеклянных приборов нашел и 1924 г. единогласно предложил: признанные… …   Исторический словарь галлицизмов русского языка

  • стандартизация — нормализация, регуляризация, типизация, нормирование; эталонирование, унификация Словарь русских синонимов. стандартизация сущ. • типизация Словарь русских синонимов. Контекст 5.0 Информатик. 2012 …   Словарь синонимов

  • стандартизация — 1. Установление единых норм и требований стандартов. 2. В психодиагностике различаются две формы стандартизации: 1) стандартизация и единообразие инструкций, процедуры обследования, материалов, способов регистрации и прочего при применении… …   Большая психологическая энциклопедия

  • СТАНДАРТИЗАЦИЯ — СТАНДАРТИЗАЦИЯ, стандартизации, мн. нет, жен. (тех., экон.). 1. Рационализация производства изделий путем сведения многочисленных видов к определенному количеству типовых образцов, стандартов. Стандартизация строительных деталей. 2. Приведение… …   Толковый словарь Ушакова

  • стандартизация —     СТАНДАРТИЗАЦИЯ, типизация     СТАНДАРТНЫЙ, типичный     СТАНДАРТИЗИРОВАТЬ, типизировать …   Словарь-тезаурус синонимов русской речи

  • Стандартизация — – деятельность по установлению норм, правил и характеристик в целях обеспечения безопасности продукции, работ и услуг для окружающей среды, жизни, здоровья и имущества; технической и информационной совместимости, а также взаимозаменяемости… …   Энциклопедия терминов, определений и пояснений строительных материалов

  • СТАНДАРТИЗАЦИЯ — по определению Закона РФ О стандартизации от 10 июля 1993 г. деятельность по установлению норм, правил и характеристик (далее требования) в целях обеспечения: безопасности продукции, работ и услуг для окружающей среды, жизни, здоровья и… …   Юридический словарь

  • Стандартизация — установление со стороны государственных или международных организаций норм и требований к физическим и размерным величинам производимых изделий и продуктов, полуфабрикатов, сырья и материалов. Словарь бизнес терминов. Академик.ру. 2001 …   Словарь бизнес-терминов

  • СТАНДАРТИЗАЦИЯ — процесс установления и применения стандартов …   Большой Энциклопедический словарь


dic.academic.ru

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *