Причинно следственные связи это: Причинно-следственная связь — Психологос

Мы полагаем, что [некое событие — «причина»]
приведет к [другому событию — «следствию»]

Визуализируя предположения на карте влияния, я выделяю две категории предположений: одно в пространстве задачи и одно в пространстве решения. Я строю гипотезы о решении и гипотезы о результате. Я регулярно работаю с командами, которые не знакомы с планированием экспериментов, и четкие определения помогают связать эти методы с уже сложившимся у них представлением о своих обязанностях.

Гипотетическое решение в верхней части карты влияния — это высказывание, которое гласит: «Если мы создадим такой продукт, он решит эту задачу и вызовет или сделает возможным желаемое изменение поведения». Причина — это то, что мы хотим создать, следствие — итоговое изменение поведения. В мире измеряемых параметров такое изменение поведения — это опережающий индикатор (ожидаемой выгоды). У нас есть то, что мы можем сделать, и то, что мы можем оценить, чтобы проверить, работает ли наш продукт.

Гипотетический результат в верхней части карты влияния — это высказывание, которое гласит: «Если мы вызовем изменение поведения (лучше, больше, новые виды деятельности и т. д.), мы получим вот такой желаемый результат». В мире измеряемых параметров это запаздывающий индикатор. Теперь у нас есть полный цикл — чтобы оценить влияние продукта, который мы хотим создать.

Такая качественная увязка причины и следствия — первый шаг к определению неявной ценности в вашем плане, второй шаг — это ее количественная оценка.

Наше гипотетическое решение может выглядеть, к примеру, так:

Мы думаем, что, если добавить кнопку «Купить в один клик» на каждую страницу с товаром в нашем мобильном приложении, число заказов от существующих покупателей увеличится.

Говорит ли это о том, что идея удачная? Нет. У нас нет критериев, чтобы понять, оправданы ли затраты на ее реализацию.

[По большому счету обоснованность затрат зависит от цены возможности, а не от расходов на реализацию, но это отдельная тема, обсудим ее в другой раз. Просто поинтересуйтесь, что говорит о цене возможности и цене задержки Дональд Рейнертсен.]

Дело в том, что пока мы не дали количественную оценку результата. Давайте попробуем сделать это.

Мы думаем, что, если добавить кнопку «Купить в один клик» на каждую страницу с товаром в нашем мобильном приложении, число заказов от 30% существующих покупателей увеличится на 1%.

Разговор внезапно принимает другой оборот: вместо «и правда, отличная идея» появляется «каким образом ты получил эти цифры?». Это именно то, к чему мы стремились!

Количественная оценка гипотез накладывает на нас ответственность. Это мощный инструмент, и, когда я прошу людей дать своим высказываниям количественную характеристику, поначалу они всегда испытывают неловкость.

Иногда они чувствуют себя неуютно, потому что боятся наказания: а вдруг руководство спросит с них за то, что они огласили предположительные цифры. [Здесь есть две проблемы — одна организационная, другая связана с оценками и обязательствами.]

Впрочем, есть и другая веская причина для дискомфорта. Чтобы переключиться с объемов на результат, нужно переместить свой локус ответственности из зоны контроля (что вы создаете) в зону влияния (работает это или нет). Гипотезы помогают нам справиться с неопределенностью, присущей такому переключению.

Мотивированные рассуждения —

И это приводит нас ко второй проблеме — мы рискуем истолковать результаты в пользу своих гипотез, вместо того чтобы использовать их для объективной оценки. О том, как этого не допустить, мы поговорим в следующий раз.

4 февраля 2019

Оригинал статьи

Scott Sehlhorst

@sehlhorst

Основатель Tyner Blain

Другие статьи

Экспертно-пользовательский анализ интерфейса: как он выглядит и какие числа за ним стоят

Показываем на примере UX-тестирования интернет-магазина канцтоваров, почему важно прорабатывать микросценарии и как их отсутствие влияет на процесс покупки.

Как проектировать интерфейсы профессиональных систем

При разработке профессиональных интерфейсов дизайнеры часто не предусматривают четких сценариев использования — их может быть очень много. Зато пользователи точно будут обучаться.

Книги «Собаки Павловой»

Раздаём три бесплатных книги «Собаки Павловой»: как решать сложные UX-задачи, как писать digital-тексты и как работать над IT-проектами с подрядчиками

Как анализировать информацию, искать причинно-следственные связи и не совершать логические ошибки

Ирина Балманжи

Почему наши умозаключения так часто оказываются ошибочными? Что такое корреляция и причинность? Как рассуждать и делать выводы, опираясь на научный метод? Умение видеть взаимосвязь между явлениями нельзя рассматривать как необязательную опцию. Нам нужен этот навык, чтобы извлекать из массивов данных полезную информацию и уверенно прокладывать курс в океане повседневных решений.

Книга «Почему» научит правильно анализировать данные и определять причинно-следственные связи там, где они есть. Делимся интересными мыслями из нее.

Восприятие и умозаключения

Как вы впервые обнаружили, что лампочка загорается, если повернуть выключатель? Откуда вы знаете, что ружье, выстреливая, производит громкий звук, а не наоборот?

Мы получаем знания о причинах двумя основными путями:

1. Восприятие (каузальный опыт). Видя, как в окно влетает кирпич, один бильярдный шар ударяет другой, заставляя катиться, горящая спичка поджигает фитиль свечи, мы получаем впечатления о причинной зависимости на основе входящей сенсорной информации.
2. Умозаключения (опосредованные выводы о причинности с помощью дедуктивного метода и на основе некаузальной информации). Причины таких событий, как пищевые отравления, войны и хорошее здоровье, нельзя воспринять непосредственным образом — их предстоит вывести путем логического мышления на основе чего-то, отличающегося от непосредственных наблюдений.

Доверие, которое мы питаем к причинному восприятию, может нас подвести. Если вы слышите громкий звук, а после этого в комнате зажигается свет, легко решить, что эти события взаимосвязаны; однако временная привязка громкого звука и момента, когда некто щелкает выключателем, может быть простым совпадением.

Доверие к причинному восприятию может нас подвести. Источник

Временная и пространственная близость событий — параметры, из-за которых мы нередко делаем ложные выводы.

Например, мы часто слышим, что человеку сделали прививку от гриппа, а к вечеру у него развились схожие с гриппом симптомы, и люди верят, что именно укол стал поводом к этому. Но вакцина против гриппа, содержащая неактивную форму вируса, не может вызвать болезнь. Среди огромного количества привитых у некоторых развиваются другие сходные болезни (по чистому совпадению), или они подхватывают вирус, ожидая приема в клинике.

Время

Близлежащие по времени события могут привести к ошибочным заключениям о причинности. Представьте: у вас разболелась голова и вы приняли некое средство. Через несколько часов боль ушла. Можно ли утверждать, что помогло лекарство?

Временной паттерн позволяет сделать предположение, что ослабление симптома произошло благодаря приему лекарства, однако вы не можете сказать наверняка, что боль не прошла бы сама. Вам пришлось бы провести множество выборочных экспериментов, где вы бы принимали или не принимали препарат, а потом записывали, как быстро исчезала головная боль, чтобы иметь возможность утверждать хоть что-то относительно подобной причинной зависимости. Также пришлось бы сравнить действия лекарства и плацебо.

Причинная зависимость не всегда может быть оправдана. Источник

Длительные задержки между причиной и следствием тоже способны помешать достоверному установлению причинно-следственных связей. Некоторые следствия наступают быстро (удар по бильярдному шару заставляет его двигаться), а некоторые процессы протекают в замедленном режиме. Известно, что курение вызывает рак легких; но между первой сигаретой и днем, когда диагностируют рак, пролегают долгие годы.

Побочные эффекты от приема некоторых препаратов проявляются через десятилетия. Перемены в состоянии здоровья благодаря физическим упражнениям достигаются медленно и не сразу, и, если мы будем ориентироваться только на стрелку весов, может показаться, что вес сначала даже увеличивается, потому что мускулы наращиваются быстрее, чем уходит жир. Ожидая, что следствие должно идти непосредственно за причиной, мы не видим связи между этими глубоко взаимозависимыми факторами.

Корреляция

Корреляция (соотношение, взаимосвязь) не обязательно означает причинную зависимость. Эта мысль прочно вбита в мозги любого студента, изучающего статистику; но порой ошибаются даже те, кто понимает это высказывание и согласен с ним.

Сильная взаимосвязь может показаться убедительной и инициировать ряд успешных прогнозов. Но видимые корреляции иногда объясняются еще не измеренными причинами.

К примеру, мы нашли соотношение в ситуации, когда человек, съевший плотный завтрак, вовремя успевает на работу; однако, вероятно, оба фактора имеют общую причину: человек рано встал, а значит, у него было время хорошо позавтракать, вместо того чтобы в спешке бежать на службу.

Корреляция не обязательно означает причинную зависимость.  Источник

Выявив корреляцию между двумя переменными, нужно проверить, способен ли подобный неизмеренный фактор (общая причина) объяснить эту взаимосвязь.

Более того, соотношения способны существовать, даже когда две переменные вообще никак не связаны. Корреляции бывают результатом абсолютной случайности (например, вы много раз за неделю сталкиваетесь с подругой на улице), искусственных условий эксперимента (вопросы могут быть подстроены под конкретные реакции), ошибки или сбоя (баг в компьютерной программе).

Без вариации нет корреляции

Представьте такую ситуацию: вы хотите узнать, как получить грант, поэтому спрашиваете всех друзей, которые его имеют, что, по их мнению, помогло им. Все кандидаты оформляли заявку шрифтом Times New Roman; согласно мнению половины, важно, чтобы на каждой странице была как минимум одна иллюстрация; а треть рекомендуют представить заявку за 24 часа до установленного срока. Означает ли это, что есть корреляция между названными условиями и получением гранта? Нет, не означает.

Поскольку все результаты идентичны, нельзя сказать, что произойдет, если поменять шрифт или представить заявку за минуту до истечения срока.

Без вариации нет корреляции. Источник

И тем не менее широко распространена ситуация, когда анализируются только факторы, ведущие к определенному исходу. Только представьте, насколько часто победителей спрашивают, как именно они добились успеха, а потом стараются этот успех воспроизвести, выполняя в точности те же действия.

Подобный подход полон недостатков по многим причинам, включая то, что люди просто не слишком хорошо умеют определять существенные факторы, недооценивают роль случайностей и переоценивают свои способности. В результате мы не только путаем факторы, которые по чистой случайности сопутствуют желаемому эффекту, с теми, которые действительно его обеспечивают, но и видим иллюзорные корреляции там, где их нет.

Люди не слишком хорошо умеют определять существенные факторы, недооценивают роль случайностей и переоценивают свои способности.  Источник

Беседы с победителями бесполезны, поскольку можно сделать то же самое, но не преуспеть. Возможно, все кандидаты оформляют заявки на грант шрифтом Times New Roman (а значит, те, кто не получил гранты, порекомендуют использовать другой шрифт), а может, успешные кандидаты получили грант, несмотря на избыточное количество иллюстраций в документах. Не зная совокупности положительных и отрицательных примеров, мы не сможем даже предположить наличие корреляции.

Ошибка отбора

Одна из важных причин, почему мы ошибаемся с выводами, заключается в том, что данные могут не быть репрезентативными с точки зрения исходного распределения.

Если бы нам разрешили взглянуть на статистику смертей от гриппа, но предоставили только данные о количестве больных, поступивших в лечебные учреждения, мы наблюдали бы гораздо более высокий процент летальных исходов, чем в масштабах всего населения. Это происходит потому, что люди оказываются в стационаре, как правило, с более тяжелыми случаями или дополнительными заболеваниями (и с высокими шансами смерти от гриппа). Так мы сравниваем не все исходы, а только статистику для обратившихся к врачам на фоне симптоматики гриппа.

Данные отбора должны быть репрезентативными. Источник

Или возьмем, к примеру, сайты, опрашивающие посетителей насчет их политических взглядов. В интернете не получится отобрать участников опроса случайно в масштабах всего населения, а данные источников с сильным политическим уклоном искажены еще сильнее.

Если посетители конкретной страницы активно поддерживают действующего президента, то результаты по ним, возможно, покажут, что рейтинг главы государства растет каждый раз, когда он произносит важную речь. Однако это показывает лишь то, что есть корреляция одобрения президента и произнесения им речей перед сторонниками.

Предвзятость подтверждения

Некоторые из когнитивных смещений, заставляющие нас видеть соотношение несвязанных факторов, сходны с ошибкой отбора. К примеру, предвзятость подтверждения заставляет искать доказательства в пользу определенного убеждения.

Иными словами, если вы верите, что лекарство вызывает некий побочный эффект, вы приметесь читать в интернете отзывы тех, кто уже принимал его и наблюдал это действие. Но таким образом вы игнорируете весь набор данных, не поддерживающих вашу гипотезу, вместо того чтобы искать свидетельства, которые, возможно, заставят ее переоценить.

Предвзятость подтверждения также может заставить вас отказаться от свидетельств, противоречащих вашей гипотезе; вы можете предположить, что источник сведений ненадежен или что исследование основывалось на ошибочных экспериментальных методах.

Предвзятость подтверждения. Источник

Помимо предвзятости с точки зрения доказательств, может случиться ошибка интерпретации аргументов. Если в ходе «неслепого» тестирования нового лекарства доктор помнит, что пациент принимает это средство и считает, что оно ему помогает, то может начать искать признаки его эффективности. Поскольку многие параметры субъективны (например, подвижность или усталость), это может привести к отклонениям в оценке данных индикаторов и логическим заключениям о наличии несуществующих корреляций.

Есть и специфическая форма предвзятости подтверждения — иллюзорная корреляция. Она означает поиск соотношения там, где его нет. Возможная взаимосвязь симптомов артрита и погоды настолько широко разрекламирована, что считается доказанной. Однако знание о ней может привести к тому, что пациенты будут говорить о корреляции просто из ожидания ее увидеть. Когда ученые попытались проанализировать эту проблему, взяв за основу обращения пациентов, клинические анализы и объективные показатели, то не обнаружили абсолютно никакой связи.

По материалам книги «Почему».
Обложка поста отсюда.

Ложные связи: как научиться правильно оценивать причины и следствия

Forbes Woman публикует отрывок книги Саманты Клейнберг «Почему. Руководство по поиску причин и принятию решений» издательства «Манн, Иванов и Фербер»

Почему люди часто ошибаются, пытаясь в конкретной ситуации выделить причину и следствие? Как вообще наш мозг обнаруживает причинно-следственные связи, и видят ли их маленькие дети? Как научиться правильно пользоваться понятиями о вероятности событий и корреляции между ними? На все эти вопросы Клейнберг, доцент Технологического института Стивенс в Нью-Джерси, пытается ответить в своей книге.

В 1999 году британский солиситор (категория адвокатов в Великобритании – Forbes Woman) Салли Кларк предстала перед судом по обвинению в убийстве двух своих детей. Первый сын умер внезапно в возрасте 11 недель в декабре 1996 года. Тогда это сочли смертью от естественных причин, но всего через год скончался и второй ребенок: ему было 8 недель. В обоих случаях дети казались в целом здоровыми, поэтому их внезапная гибель вызвала подозрения.

Обстоятельства были очень схожими: малыши умерли примерно в одинаковом возрасте, именно Салли Кларк обнаружила их бездыханными, дома с ними находилась она одна, и оба ребенка, согласно патологоанатомическому исследованию, имели травмы.

Изначально повреждения на теле  первого мальчика  объяснялись попытками проведения реанимации, но после гибели второго данные были пересмотрены, и ситуация показалась подозрительной. Через месяц после второй смерти обоих родителей арестовали, а позднее Салли Кларк обвинили в убийстве и вынесли приговор.

Какова вероятность того, что двое детей из одной семьи умерли от синдрома внезапной детской смерти (СВДС)?  По мнению английских обвинителей, это событие настолько невероятно, что два подобных исхода могли быть только  результатом  убийства. Этот аргумент (одна из причин в такой степени невероятна, что могла иметь место только другая) и привел к событию, ставшему одним из знаменитых примеров несправедливого приговора. И это ярчайший образец того, к каким последствиям приводит неверное применение статистики и игнорирование причинных зависимостей.

Главная из причин, по которой этот случай получил широкую известность среди статистиков и исследователей вопросов каузальности (причинности – Forbes Woman), заключается в аргументе обвинения. Он был основан, по сути, на следующем: объяснение защиты слишком невероятно, чтобы быть правдой.  В качестве эксперта сторона обвинения привлекла доктора Роя Мидоу, который заявил, что вероятность двух летальных исходов от СВДС (или, как говорят в Великобритании, «смертей в колыбели») в одной семье равна 1:73000000. Далее обвинители утверждали: эта вероятность столь ничтожна, что гибель детей никак не может проистекать от естественных причин, а следовательно, должна быть только результатом убийства.

Такая статистика совершенно неверна. Но, даже если бы она оказалась справедливой, все равно ее нельзя использовать так, как это было сделано.

Мидоу базировал свой вывод на научном докладе, в котором шансы СВДС оценивались как  1:8543, а потом заявил,  что вероятность двух смертей равна 1:8543× 8543, то есть примерно 1:730000001.

Но эти вычисления ложны, потому что заключение опиралось на предпосылку о независимости двух событий, ставших предметом судебного разбирательства (вероятность наступления независимых событий рассчитывается как произведение вероятностей этих событий – Forbes Woman).

Когда вы бросаете монетку, то шанс выпадения «орла» не влияет на то, как монетка упадет в следующий раз. Поскольку  вероятность каждого исхода всегда равна одной второй, математически корректно перемножить оба числа, если мы желаем узнать вероятность выпадения двух «орлов» подряд.

Именно это и сделал Мидоу.

Причины СВДС точно неизвестны, однако среди факторов риска указываются и окружающие условия: к примеру, курят ли родители, употребляют ли алкоголь. Это означает, что, если в семье был один случай СВДС, другой может произойти с вероятностью намного большей, чем 1:8543, поскольку у детей общая генетика и одинаковые условия жизни. То есть первая смерть дает сведения о вероятности второй.

Представленный случай, таким образом, можно сравнить с шансами киноактера на получение второго «Оскара». Ведь награды присуждаются не случайным образом: скорее, те же свойства (талант, известность, связи), что обеспечили кому-то первую  из них, повышают вероятность получения второй.

В этом и коренилась проблема дела Кларк. Поскольку оба события не были независимыми  и, напротив, для обоих могла иметься общая причина, неверно  рассчитывать вероятность простым умножением. Вместо этого, анализируя шанс второй смерти, следовало принять во внимание факт первой, а значит, определить  допустимость СВДС в семье, где уже произошла подобная трагедия. Показатель вероятности и то, как его использовали, были столь явно и ввысшей степени ошибочны, что при рассмотрении первой апелляции защита вызвала в качестве свидетеля профессионального статистика, а Королевское статистическое общество прислало письмо с выражением своих сомнений.

Неверные расчеты, однако, оказались не единственной проблемой, связанной с причинностью. Обвинители попытались поставить знак равенства между вероятностью некоего события (а именно двух СВДС)  в 1:  73000000 и возможностью того, что Салли Кларк невиновна. Подобного рода ошибочное рассуждение, когда шанс события приравнивается к вероятности вины или невиновности, известно как «заблуждение прокурора».

Но мы уже знаем, что невероятные события случаются.  Возможность двух смертей от СВДС мала, однако шанс того, что два ребенка в одной семье умрут младенцами, также крайне невысок. Значит, нужно не просто решать, принять СВДС в качестве объяснения или нет, а провести сравнение с другим доступным толкованием.

Таким образом, нужно было сравнивать вероятности убийства двоих детей в одной семье (а именно такова была версия обвинения) и того, что оба ребенка одних родителей подвержены СВДС (а обстоятельства дела позволяют это  редположить).

Вероятность смерти от СВДС двоих детей из одной семьи не равна шансу того, что эти конкретные малыши страдали таким заболеванием. В деле есть и другие факты,  включая физические доказательства, наличие мотива преступления и так далее. Их следовало учитывать наравне с вероятностными данными (например, допустимость убийства при отсутствии мотива, возможности или орудия преступления наверняка была ниже общего показателя).

Наконец, любое маловероятное событие однажды произойдет, если будет  совершено достаточно попыток. Некорректно низкая вероятность в деле Кларк (1: 73000000) все же более чем в 3 раза выше шанса выиграть в лотерею Mega Millions  (1: 258000000) (Mega Millions — популярная американская лотерея, проходящая в 44 штатах, округе Колумбия и на Виргинских островах. Минимальный  анонсируемый джекпот Mega Millions — $15 млн, а самый крупный разыгранный суперприз составил $656 млн. — Прим. ред.) Допустимость, что вы станете победителем подобной лотереи, очень мала;  а как насчет шанса, что кто-то все же выиграет? Он весьма высок. Это значит, что использование только вероятностного метода для определения вины и невиновности гарантированно приводит как минимум к ряду ошибочных приговоров. Суть в том, что для отдельного человека возможность стать участником подобных событий крайне низка, но, учитывая, что в мире живут миллионы семей с двумя детьми, где-то такое событие случается.

В итоге после повторной апелляции в январе 2003 года приговор Кларк был пересмотрен. К тому моменту она провела в тюрьме три года.

Анализируем причинно-следственные связи метрик ВКонтакте / Хабр

Всем привет, меня зовут Анвер, я работаю в команде Core ML ВКонтакте. Одна из наших задач — создавать и улучшать алгоритмы ранжирования для ленты новостей. В этой статье расскажу о том, как можно применять для этого причинно-следственный анализ — чтобы в результате сделать сервис интереснее для пользователей. Поговорим про преимущества такого подхода по сравнению с корреляционным анализом, и я предложу модификации существующих алгоритмов.

Что такое короткие и долгие метрики?

Модели ранжирования пытаются оценить вероятность того, что пользователь повзаимодействует с новостью (постом): задержит на ней внимание, поставит отметку «Нравится», напишет комментарий. Затем модель распределяет записи по убыванию этой вероятности. Поэтому, улучшая ранжирование, мы можем получить рост CTR (click-through rate) пользовательских действий: лайков, комментов и других. Эти метрики очень чувствительны к изменениям модели ранжирования. Я буду называть их короткими.

Но есть и другой тип метрик. Считается, например, что время, проведённое в приложении, или количество сессий пользователя намного лучше отражают его отношение к сервису. Будем называть такие метрики долгими.

Оптимизировать долгие метрики непосредственно через алгоритмы ранжирования — нетривиальная задача. С короткими метриками это делать намного проще: CTR лайков, например, напрямую связан с тем, насколько хорошо мы оцениваем их вероятность. Но если мы знаем причинно-следственные (или каузальные) связи между короткими и долгими метриками, то можем сфокусироваться на оптимизации лишь тех коротких метрик, которые должны предсказуемо влиять на долгие. Я попытался извлечь такие каузальные связи — и написал об этом в своей работе, которую выполнил в качестве диплома на бакалавриате ИТМО (КТ). Исследование мы проводили в лаборатории «Машинное обучение» ИТМО совместно с ВКонтакте.

Ссылки на код, датасет и песочницу

Весь код вы можете найти здесь: AnverK.

Чтобы проанализировать связи между метриками, мы использовали датасет, включающий результаты более чем 6 000 реальных A/B-тестов, которые в разное время проводила команда ВКонтакте. Датасет тоже доступен в репозитории.

В песочнице можно посмотреть, как пользоваться предложенной обёрткой: на синтетических данных.
А здесь — как применять алгоритмы к датасету: на предложенном датасете.

Боремся с ложными корреляциями

Может показаться, что для решения нашей задачи достаточно посчитать корреляции между метриками. Но это не совсем так: корреляция — это не всегда причинно-следственная связь. Допустим, мы измеряем всего четыре метрики и их причинно-следственные связи выглядят так:

Не умаляя общности, предположим, что в направлении стрелки идёт положительное влияние: чем больше лайков, тем больше SPU. В таком случае можно будет установить, что комментарии к фото положительно влияют на SPU. И решить, что если «наращивать» эту метрику, увеличится SPU. Такое явление называют ложной корреляцией: коэффициент корреляции достаточно высокий, но причинно-следственной связи нет. Ложная корреляция проявляется не только у двух следствий одной причины. Из этого же графа можно было бы сделать неверный вывод и о том, что лайки положительно влияют на количество открытий фото.

Даже на таком простом примере становится очевидно, что простой анализ корреляций приведёт к множеству неверных выводов. Восстановить причинно-следственные связи из данных позволяет causal inference (методы вывода связей). Чтобы применить их в задаче, мы выбрали наиболее подходящие алгоритмы causal inference, реализовали для них python-интерфейсы, а также добавили модификации известных алгоритмов, которые лучше работают в наших условиях.

Классические алгоритмы вывода связей

Мы рассматривали несколько методов вывода связей (causal inference): PC (Peter and Clark), FCI (Fast Causal Inference) и FCI+ (похож на FCI с теоретической точки зрения, но намного быстрее). Почитать о них подробно можно в этих источниках:

• Causality (J. Pearl, 2009),
• Causation, Prediction and Search (P. Spirtes et al., 2000),
• Learning Sparse Causal Models is not NP-hard (T. Claassen et al., 2013).

Но важно понимать: первый метод (PC) предполагает, что мы наблюдаем все величины, влияющие на две метрики или более, — такая гипотеза называется Causal Sufficiency. Другие два алгоритма учитывают, что могут существовать ненаблюдаемые факторы, которые влияют на отслеживаемые метрики. То есть во втором случае каузальное представление считается более естественным и допускает наличие ненаблюдаемых факторов :

Все реализации этих алгоритмов представлены в библиотеке pcalg. Она прекрасная и гибкая, но с одним «недостатком» — написана на R (при разработке самых вычислительно тяжёлых функций используется пакет RCPP). Поэтому для перечисленных выше методов я написал обёртки в классе CausalGraphBuilder, добавив примеры его использования.

Опишу контракты функции вывода связей, то есть интерфейс и результат, который можно получить на выходе. Можно передать функцию тестирования на условную независимость. Это такой тест, который возвращает при нулевой гипотезе, что величины и условно независимы при известном множестве величин . По умолчанию используется тест, основанный на частной корреляции. Я выбрал функцию с этим тестом, потому что она используется по умолчанию в pcalg и реализована на RCPP — это делает её быстрой на практике. Также можно передать , начиная с которого вершины будут считаться зависимыми. Для алгоритмов PC и FCI также можно задать количество CPU-ядер, если не нужно писать лог работы библиотеки. Для FCI+ такой опции нет, но я рекомендую использовать именно этот алгоритм — он выигрывает по скорости. Ещё нюанс: FCI+ на данный момент не поддерживает предложенный алгоритм ориентации рёбер — дело в ограничениях библиотеки pcalg.

По итогам работы всех алгоритмов строится PAG (partial ancestral graph) в виде списка рёбер. При алгоритме PC его стоит интерпретировать как каузальный граф в классическом понимании (или байесовскую сеть): ребро, ориентированное из в , означает влияние на . Если ребро ненаправленное или двунаправленное, то мы не можем однозначно его ориентировать, а значит:

• или имеющихся данных недостаточно, чтобы установить направление,
• или это невозможно, потому что истинный каузальный граф, используя только наблюдаемые данные, можно установить лишь с точностью до класса эквивалентности.

Результатом работы FCI-алгоритмов будет тоже PAG, но в нём появится новый тип рёбер — с «о» на конце. Это означает, что стрелка там может как быть, так и отсутствовать. При этом важнейшее отличие FCI-алгоритмов от PC в том, что двунаправленное (с двумя стрелками) ребро даёт понять, что связываемые им вершины — следствия некой ненаблюдаемой вершины. Соответственно, двойное ребро в PC-алгоритме теперь выглядит как ребро с двумя «о» на концах. Иллюстрация для такого случая есть в песочнице с синтетическими примерами.

Модифицируем алгоритм ориентации рёбер

У классических методов есть один существенный недостаток. Они допускают, что могут быть неизвестные факторы, но при этом опираются на ещё одно слишком серьёзное предположение. Его суть в том, что функция тестирования на условную независимость должна быть идеальной. Иначе алгоритм за себя не отвечает и не гарантирует ни корректность, ни полноту графа (то, что больше рёбер сориентировать нельзя, не нарушая корректность). Много ли вы знаете идеальных тестов на условную независимость при конечной выборке? Я нет.

Несмотря на этот недостаток, скелеты графов строятся довольно убедительно, но ориентируются слишком агрессивно. Поэтому я предложил модификацию к алгоритму ориентации рёбер. Бонус: она позволяет неявным образом регулировать количество ориентированных рёбер. Чтобы понятно объяснить её суть, пришлось бы подробно говорить здесь о самих алгоритмах вывода каузальных связей. Поэтому теорию по этому алгоритму и предложенной модификации я приложу отдельно — ссылка на материал будет в конце поста.

Сравниваем модели — 1: оценка правдоподобия графа

Одну из серьёзных трудностей при выводе каузальных связей представляет, как ни странно, сравнение и оценка моделей. Как так вышло? Дело в том, что обычно истинное каузальное представление реальных данных неизвестно. И тем более мы не можем знать его с точки зрения распределения настолько точно, чтобы генерировать из него реальные данные. То есть неизвестен ground truth для большинства наборов данных. Поэтому возникает дилемма: использовать (полу-) синтетические данные с известным ground truth или пытаться обходиться без ground truth, но тестировать на реальных данных. В своей работе я попробовал реализовать два подхода к тестированию.

Первый из них — оценка правдоподобия графа:

Здесь — множество родителей вершины , — совместная информация величин и , а — энтропия величины . На самом деле второе слагаемое не зависит от структуры графа, поэтому считают, как правило, только первое. Но можно заметить, что правдоподобие не убывает от добавления новых рёбер — это необходимо учитывать при сравнении.

Важно понимать, что такая оценка работает только для сравнения байесовских сетей (выхода алгоритма PC), потому что в настоящих PAG (выход алгоритмов FCI, FCI+) у двойных рёбер совсем иная семантика.

Поэтому я сравнил ориентацию рёбер моим алгоритмом и классическим PC:

Модифицированная ориентация рёбер позволила значительно увеличить правдоподобие по сравнению с классическим алгоритмом. Но теперь важно сравнить количество рёбер:

Их стало даже меньше — это ожидаемо. Так что даже с меньшим числом рёбер удаётся восстанавливать более правдоподобную структуру графа! Здесь вы можете возразить, что правдоподобие не убывает с увеличением количества рёбер. Дело в том, что полученный граф в общем случае — это не подграф графа, полученного классическим PC-алгоритмом. Двойные рёбра могут появиться вместо одиночных, а одиночные — изменить направление. Так что никакого рукомашества!

Сравниваем модели — 2: используем подход из классификации

Перейдём ко второму способу сравнения. Будем строить PC-алгоритмом каузальный граф и выбирать из него случайный ациклический граф. После этого сгенерируем данные в каждой вершине как линейную комбинацию значений в родительских вершинах с коэффициентами с добавлением гауссова шума. Идею для такой генерации я взял из статьи «Towards Robust and Versatile Causal Discovery for Business Applications» (Borboudakis et al., 2016). Вершины, которые не имеют родителей, генерировались из нормального распределения — с параметрами, как в наборе данных для соответствующей вершины.

Когда данные получены, применяем к ним алгоритмы, которые хотим оценить. При этом у нас уже есть истинный каузальный граф. Осталось только понять, как сравнивать полученные графы с истинным. В «Robust reconstruction of causal graphical models based on conditional 2-point and 3-point information» (Affeldt et al. , 2015) предложили использовать терминологию классификации. Будем считать, что проведённое ребро — это Positive-класс, а непроведённое — Negative. Тогда True Positive () — это когда мы провели то же ребро, что и в истинном каузальном графе, а False Positive () — если провели ребро, которого в истинном каузальном графе нет. Оценивать эти величины будем с точки зрения скелета.

Чтобы учитывать направления, введём для рёбер, которые выведены верно, но с неправильно выбранным направлением. После этого будем считать так:

Затем можно считать -меру как для скелета, так и с учётом ориентации (очевидно, в этом случае она будет не выше такой меры для скелета). Однако в случае PC-алгоритма двойное ребро добавляет к только , а не , потому что одно из реальных рёбер всё-таки выведено (без Causal Sufficiency это было бы неверно).

Наконец, сравним алгоритмы:

Первые два графика — это сравнение скелетов PC-алгоритма: классического и с новой ориентацией рёбер. Они нужны, чтобы показывать верхнюю границу -меры. Вторые два — сравнение этих алгоритмов с учётом ориентации. Как видим, выигрыша нет.

Сравниваем модели — 3: выключаем Causal Sufficiency

Теперь «закроем» некоторые переменные в истинном графе и в синтетических данных после генерации. Так мы «выключим» Causal Sufficiency. Но сравнивать результаты надо будет уже не с истинным графом, а с полученным следующим образом:

• рёбра от родителей скрытой вершины будем проводить к её детям,
• всех детей скрытой вершины соединим двойным ребром.

Сравнивать уже будем алгоритмы FCI+ (с модифицированной ориентацией рёбер и с классической):

И теперь, когда Causal Sufficiency не выполняется, результат новой ориентации становится значительно лучше.

Появилось ещё одно важное наблюдение — алгоритмы PC и FCI строят на практике почти одинаковые скелеты. Поэтому я сравнил их выход с той ориентацией рёбер, которую предложил в своей работе.

Получилось, что алгоритмы практически не отличаются по качеству. При этом PC — шаг алгоритма построения скелета внутри FCI. Таким образом, использование алгоритма PC с ориентацией, как в FCI-алгоритме, — хорошее решение, чтобы увеличить скорость вывода связей.

Вывод

Сформулирую кратко, о чём мы поговорили в этой статье:

1. Как задача вывода каузальных связей может возникнуть в крупной IT-компании.
2. Что такое ложные корреляции и как они могут мешать Feature Selection.
3. Какие алгоритмы вывода связей существуют и используются наиболее часто.
4. Какие трудности могут возникать при выводе каузальных графов.
5. Что такое сравнение каузальных графов и как с этим бороться.

Если вас заинтересовала тема вывода каузальных связей, загляните и в другую мою статью — в ней больше теории. Там я подробно пишу о базовых терминах, которые используются в выводе связей, а также о том, как работают классические алгоритмы и предложенная мной ориентация рёбер.

Причина и следствие / Хабр

Мы привыкли, что Machine Learning предоставляет нам большое количество предиктивных методов, которые с каждым годом предсказывают события лучше и лучше. Деревья, леса, бустинги, нейронные сети, обучение с подкреплением и другие алгоритмы машинного обучения позволяют предвидеть будущее все более отчетливо. Казалось бы, что нужно еще? Просто улучшать методы и тогда мы рано или поздно будем жить в будущем так же спокойно, как и в настоящем. Однако не все так просто.

Когда мы рассматриваем бизнес задачи, мы часто сталкиваемся с двумя моментами. Во-первых, мы хотим понять что к чему относится и что с чем связано. Нам важна интерпретация. Чем сложнее модели мы используем, тем более нелинейные они. Тем больше они похожи на черную коробку, в которой очень сложно выявить связи, понятные человеческому разуму. Все же мы привыкли мыслить довольно линейно или близко к тому. Во-вторых, мы хотим понять — если мы подергаем вот эту «ручку», изменится ли результат в будущем и насколько? То есть, мы хотим увидеть причинно-следственную связь между нашим целевым событием и некоторым фактором. Как сказал Рубин — без манипуляции нет причинно следственной связи. Мы часто ошибочно принимаем обыкновенную корреляцию за эту связь. В этой серии статей мы сконцентрируемся на причинах и следствиях.

Но что не так с привычными нам методами ML? Мы строим модель, а значит, предсказывая значение целевого события мы можем менять значение одного из факторов — одной из фич и тогда мы получим соответствующее изменение таргета. Вот нам и предсказание. Все не так просто. По конструкции, большинство ML методов отлично выявляют корреляцию между признаком и таргетом, но ничего не говорят о том, произошло ли изменение целевого события именно из-за изменения значения фичи. То есть, ничего не говорят нам о том — что здесь было причиной, а что следствием.

Чтобы прояснить о чем я, давайте посмотрим на задачу с другой стороны — чуть более формальной. Часто можно встретить следующую запись для модели машинного обучения:

Здесь y — наше целевое событие, a(X) — некоторый ML алгоритм, — неустранимая ошибка. На самом деле a(X) в уравнении выше мы не знаем и часть просто предполагаем, что он именно такой, исходя из известных нам свойств целевого события и признакового пространства.

После «обучения» модели, мы получаем оценку алгоритма , с помощью которого получаем предсказания:

При этом, существует некоторая ошибка нашей оценки , которую мы можем найти. Наш алгоритм строится с целью минимизации различных функций потерь от предсказания и фактического значения целевой переменной.

Вернемся к основному вопросу. Предположим, среди наших X присутствует некоторый признак, через который мы можем влиять на таргет, что мы очень хотим делать. Назовем его T. Оставшееся множество признаков обозначим

Для того, чтобы это вписать в нашу формулу, предлагаю записать множество признаков следующим образом: . Тогда наше предсказание выглядит:

Под «воздействием» мы понимаем следующее: действительно ли, меняя T в реальности, я изменю y? Обозначим

Записывая строго (и предпологая определенный вид распределения ошибки и данных), мы хотим, чтобы следующее утверждение было верно:

То есть, мы хотим, чтобы изменив T мы получили результат и были уверены в нем также, как если бы он был изменен естественным образом. Однако, оказывается, что модели машинного обучения часто так не работают. Они находят корреляции, но это не значит, что изменив наше воздействие мы изменим результат.

Иллюстрацию этого удобно привести с помощью графа причинно-следственных связей. Подробности этого мы оставим за пределами этой статьи, но то, что я покажу будет понятно на интуитивном уровне. Предположим, наши данные описываются следующим образом:

Здесь стандартно: Y — таргет, X — признаки объекта, T — наше воздействие. За C мы принимаем здесь так называемый Confounder — переменную, воздействующую на T и на Y. Если переменная C является не наблюдаемой для нас, то стандартная модель машинного обучения, глядя на корреляцию между изменениями T и Y сможет заметить эту связь. Однако, очевидно что изменяя T мы не изменим Y — для этого должна измениться C! Здесь мы увидели частный случай проблемы эндогенности — проблема упущенной переменной. Видно, что когда мы пытаемся не просто найти корреляции между переменными и прогнозировать изменения в таргете, исходя из наблюдений, а пытаемся влиять на таргет — все становится немного сложнее.

Давайте попробуем также посмотреть на проблемы причинно-следственной связи с точки зрения их отличий от проблем Machine Learning и Statistical Learning. Отличная иллюстрация приводится в книге Elements of Causal Inference: Foundations and Learning Algorithms (Peters et al., 2017):

Ещё одна иллюстрация, которая помогает понять эволюцию мысли от корреляции к причинно-следственной связи (из книги The Book of Why: The New Science of Cause and Effect (Judea Pearl, Dana Mackenzie)):

Но давайте вернемся к эндогенности. Следующий раздел для того, чтобы узнать или вспомнить что же это такое.

Эндогенность

Строго говоря, эндогенность — это корреляция объясняющей переменной (признака) с ошибкой. В математической записи это выглядит следующим образом:

Если говорить о предыдущем примере, то в нем как раз это и происходит, за счет того, что . Давайте посмотрим — какие еще бывают варианты эндогенности.

Принято выделять следующие проблемы:

• Проблема упущенной переменной (omitted variable)

• Обратная причинно-следственная связь (reverse causality)

• Ошибка в измерениях (measurement error)

Все эти типы эндогенности отличаются присутствием корреляции ошибки и одного из признаков.

Выглядит очень теоретически. К чему это приводит на практике? Сейчас приготовьтесь испытать дежавю (особенно, если вы смотрели телевизор в последние несколько лет):

Поставим себя на место парламентария — законотворца, который к нашему всеобщему сожалению не освоил отличие корреляций от причинно-следственных связей. Дабы укрепить семейные связи в первом случае наш герой может принять решение запретить маргарин к примеру. Это будет логично. Во втором случае, для спасения жизней своих сограждан он, пожалуй, предложит наложить эмбарго на продажу японских автомобилей, что вызовет политическую напряженность, но главное, что благое дело сделано. И, наконец, он избавит граждан США от заразы науки и технологий, тем самым пытаясь значительно снизить смертность. Что ж, может быть и не стоит изучать причинно-следственные связи, в конце концов срок депутата ограничен.

Задача

Что ж, надеюсь, что вы как минимум порадовались, посмотрев на красивые картинки, теперь перейдем к задаче, которую мы излагали в докладе. Перед нами стояла проблема улучшения системы ценообразования для товаров (мобильной техники и аксессуаров) с целью повышения прибыли бизнеса с партии этих товаров. Давайте разберем эту формулировку по словам, чтобы понять — что же от нас хотят. Начнем с конца:

• Партия товаров

  Я предлагаю рассматривать некоторый аксессуар. Например, некоторое универсальное зарядное устройство для смартфонов. Для простоты, пусть его технология не будет подвержена старению, хотя бы на горизонте года. Пусть его продажи несильно зависят от выхода новых моделей смартфонов. Партия (stock) это заранее известный объем закупки. Мы можем воспринимать её как набор зарядных устройств, который мы купили, скажем, в январе и следующая поставка будет через год.

• Повышение прибыли

  Прибыль давайте также понимать довольно просто. Это наша выручка (цена, умноженная на количество проданного товара) минус наши издержки (стоимость закупки). Цену хранения единицы товара будем считать пренебрежимо малой. В конце концов, для зарядных устройств это очень близко к правде. Записывая формально:

  Здесь — прибыль, — розничная цена, — количество проданного товара, -оптовая цена закупки товара.

• Улучшение системы ценообразования Из предыдущего упрощенного уравнения не понятно — причем здесь цена? Максимум для здесь достигается за счет увеличения цены до бесконечности. Но на то она и упрощенная. Давайте сделаем её чуть реалистичней:

  Здесь мы отразили немного больше зависимостей. Очевидно, объем проданного товара зависит от цены. При этом, чем выше цена, тем меньше объем продаж. При этом, закупка у нас фиксирована и мы имеем закупленную партию как факт, так что цена закупки — константа.

Казалось бы, давайте просто решим простейшую задачу оптимизации и выставим оптимальную цену. Но, все не так просто. Во-первых у нас целый год. Все, что не будет продано за год будет продаваться с большим дисконтом и приносить убыток, хранить это станет также дорого. Мы можем считать, что все, что не продано за год — выброшено.

Во-вторых, есть конкуренты и, повышая цену, мы теряем в продажах гораздо больше, чем было бы, будь мы монополистами. В-третьих, у нас может быть очень мало истории колебания цен, чтобы выявить зависимость q(p) при больших изменениях цены.

Начнем с казалось бы более простых задач и попробуем решить все проблемы, которые описали выше и некоторые другие.

Оптимальная цена

Начнем с выставления оптимальной в моменте цены. Как выставить эту цену?

На помощь здесь конечно придет простейшая теория оптимизации и основы микроэкономики. Решим задачу оптимизации, дабы найти оптимальную цену. Из FOC:

$$ $$

И что мы видим? Нам позарез нужно понять зависимость q(p) для решения уравнения. Для начала мы решили оценить её с помощью простой модели линейной регрессии:

Здесь X — набор признаков, и, соответственно, коэффициентов при нем тоже несколько, надеюсь, никого не запутает такая нотация. предполагаем i.i.d (это очень сильное предположение, особенно учитывая автокорреляцию ошибок, если мы смотрим во времени, но, чтобы не размывать целей примера, здесь я не буду углубляться в решение этой задачи).

В результате решения этой задачи мы можем получить некую оценку , которая показывает нам каким образом количество продаж товара зависит от цены. Звучит это просто, но на деле конечно нас ждут не дождутся проблемы:

• На каждый товар не так много наблюдений, потому есть большой риск не увидеть статистической значимости в нашем коэффициенте

• Есть товары, цена которых исторически не менялась, а значит наша модель не сработает для них в целом (нарушены базовые предположения OLS)

• Есть товары, для которых мы видим положительную оценку (как бы вы интерпретировали её?)

Так как мы являемся последователями стоической философии, то мы представляли даже худшие варианты развития событий — такие как столкновение с метеоритом или чума, так что то, что мы увидели нас даже обрадовало. Какие идеи у нас возникли для решения этих задач?

Число наблюдений

Очевидным способом борьбы с этой бедой кажется объединение товаров в одну выборку. Но каким образом различать их? Предположим, что зависимости не универсальны и не отличаются от товара к товару. Первой попыткой может быть добавить dummy переменные (или fixed effects) на различные товары. Но тогда мы добавим огромное число переменных и выигрыш от объединения будет крайне невелик.

Есть другой вариант — в рамках одного класса товаров, давайте опишем их некоторыми признаками, присутствие которых обусловленно классом товара, а их значения могут отличаться от одного товара к другому. Например, если это зарядные устройства, то они могут различаться типом, производителем, мощностью. Таким образом мы, вводя некоторые вполне валидные предположения, выиграем от роста количества наблюдений.

Отсутствие изменения цены

Здесь мы можем пойти двумя путями. Первый уже произошел автоматически. В результате перехода от индивидуальных товаров к их группе, мы уже добавили вариацию в цену (предполагая единую зависимость от цены для всей группы). Второй путь — рандомизация. Для тех товаров, которые не имели исторических изменений в цене, мы можем волевым усилием устроить случайные изменения цены в разумных пределах.

Положительная корреляция цены и продаж

Эта проблема интересна, особенно в контексте нашей прошлой дискуссии о причинно-следственной связи и проблеме эндогенности. Давайте подумаем — может ли быть такое, что повышая цену мы начинаем продавать больше товара? Вполне возможно, но рост продаж вряд ли будет объясняться ростом цены, особенно в контексте наших товаров. Переводя на графический язык, положительный коэффициент говорит нам о следующей зависимости между ценой и продажами:

Думаю этот график довольно наглядно показывает, что как бы нам ни хотелось ничего не делать с этим коэффициентом — не выйдет. Маловероятно, что повышая цену мы добьемся этим увеличения продаж. В противном случае, нам стоило бы поставить цену на данное зарядное устройство равной бесконечности и перепрофилировать бизнес.

И снова эндогенность

Мы задумались. То ли половина наших товаров “неправильные”, то ли здесь где-то зарыта какая-то другая собака 🐕 . Тут мы вспоминаем про проблемы эндогенности, которые мы недавно разбирали в теории и думаем — возможно ли что где-то здесь мы столкнулись с одной из них? Вполне. Давайте посмотрим что это могло быть. Огласим весь список снова:

1. Упущенная переменная

2. Обратно причинно-следственная связь

3. Ошибка измерений

Предположим, что третье мы можем исключить. Мы верим нашим данным — там все хорошо и нет систематически искажающей результаты ошибки. Что насчет остальных?

Упущенная переменная. Вполне может быть. Что если мы в рамках года взяли только осень и забыли включить сезонную компоненту в анализ? Мы увидим повышение цен на товары (которое мы проводили) и повышение спроса. Более того, здесь мы чувствуем сразу присутствие и второй проблемы — мы повысили цену зная, что будет повышение спроса, а значит, повысятся продажи, а значит мы можем безболезненно поднять цену, чтобы подогнать оптимальную под возросший спрос. Вот вам и обратная причинно-следственная связь.

Еще? Давайте подумаем. Конкуренты. Что если в момент повышения наших цен — конкуренты подняли цены ещё больше. Все покупатели конечно расстроились, что такое вот происходит, но пришли к нам, так как у нас стало дешевле. Тогда можно сказать, что цены конкурентов являются упущенной переменной. Включив её, мы скорректируем нашу ошибку, наш bias.

Можно продолжить. Но зачем? Эти упражнения полезны и интересны для кого-то, но помогают ли они нам решить проблему на практике? Как получить адекватную и близкую к реальной зависимость спроса от предложения? Очень просто. Omitted variable, которую мы можем таки отыскать, мы можем просто включить в регрессионную модель, тем самым скорректировав отклонение. Однако кто гарантирует, что мы не забыли что-нибудь? Кто гарантирует, что мы включили все упущенные переменные, а тем более — кто гарантирует, что мы не забыли где-нибудь обратную причинно следственную связь? Что с ней делать?

Здесь нам на помощь приходят инструментальные переменные.

Стандартно инструментальные переменные обозначаются как Z. На картинке выше видно, что инструментальная переменная должна быть подобрана так, чтобы воздействовать на итоговую зависимую переменную только через treatment переменную, которую мы хотим избавить от эндогенности (в случае на картинке — от unobserved confounder).

Давайте посмотрим как выглядит наша проблема в более строгой формулировке.

Второе слагаемое и есть bias, который мы получаем за счет эндогенности. Если существует переменная, коррелирующая с Y и X, соответственно

Классический пример использования инструментальной переменной — 2-stage least squares (2SLS) оценка. Название может подсказать нам, что этот метод имеет нечто общее с OLS (ordinary least squares) или МНК оценкой.

Шаги здесь следующие и довольно простые. Пусть у нас есть парочка инструментальных переменных . Также есть наша переменная являющаяся эндогенной (в нашем примере — это цена). Тогда два этапа выглядят так:

1. Оценить OLS:

   где — экзогенные иксы , а — инструментальные переменные для . В итоге получим некоторую .

2. Наша оценка получается из подстановки результата предыдущего этапа вместо Так как экзогенная по определению, то при выполнении некоторых предположений несмещенной оценкой является :

Мы здесь опустили некоторые предположения касательно инструментов, но это все же статья не только об инструментальных переменных и не такая техническая, как это возможно, поэтому интересующихся отсылаю к наилучшему источнику по теме: J.M. Wooldridge, Econometric Analysis of Cross Section and Panel Data, Chapter 5.

А не слабовато?

Вкратце — все конечно зависит от инструментов, но в целом, часто мы получаем достаточно маломощные оценки интересующего нас эффекта. В случае нашей задачи — оценки эластичности цены. Чем мощнее эта оценка, тем точнее мы можем оптимизировать цену и тем меньше изначальная выборка нам требуется для этой оптимизации.

Method of Direct Estimation

Данный метод был представлен в статье M. Ratkovic, D. Tingley, Causal Inference Through the Method of Direct Estimation. Он позволяет проводить оценку причинно-следственных связей, фокусируясь на мгновенном причинно-следственном эффекте (instantaneous causal effect), который иначе можно рассматривать как причинно-следственный эффект на уровне одного наблюдения. В своей статье Ratkovic and Tingley строят регрессию с высокой степенью нелинейности между ковариатами и treatment переменной (это например наша цена), которую затем используют для предсказания альтернативных исходов (counterfactuals). Другими словами, они строят регрессию, а затем, подставляя другие значения treatment переменной пытаются понять что с этим наблюдением было б если бы все было иначе.

Пока это выглядит немного смазанно. Давайте посмотрим подробнее на алгоритм, думаю станет понятней.

Пусть наша цена — treatment и обозначим её за T. Также, спрос (который у нас является таргетом) обозначим за Y(T). Причинно-следственный эффект изменения цены на спрос можно тогда обозначить за

здесь , a , где дельта — небольшое изменение нашей цены. В пределе мы хотим оценить частную производную:

Здесь видно, что если мы оценим линейной моделью, то получим просто коэффициент при эффекте воздействия. Однако мы не хотим делать предположения о линейной зависимости и добавляем нелинейные взаимодействия тритмента и переменных. В статье предлагается вид:

— параметры модели, — B-spline базис. Далее предлагается отфильтровать нелинейные компоненты при помощи L1 регуляризатора. Полученное подмножество называем . В дальнейшем после оценки параметров регрессии мы получаем искомый предел как:

Казалось бы, все просто. Однако здесь нигде не учитывается эндогенность. Как мы оценим то же самое, если включим инструментальные переменные?

В статье предлагается аналог 2SLS оценки, называемый LICE (Local Instantaneous Causal Effect). Во-первых, оценивается так называемый instantaneous encouragement — эффект от небольшого изменения инструмента на одном наблюдении. Он показывает эффект от изменения инструмента на тритмент (переменную воздействия):

Вторая часть оценки LICE — instantaneous intent to treat on the treated — показывает эффект от изменения инструмента на целевую переменную:

Итак, в итоге:

Можно показать, что:

Отсюда видно, что для фиксированных параметров наблюдения мы можем предсказать эффект от воздействия на него, имея наше воздействие T и инструментальную переменную Z.

ML модификация MDE

Мы не удовлетворились имеющимися моделями линейной регрессии и решили обобщить метод на работу с произвольным алгоритмом следующим образом. Давайте для начала посмотрим как выглядят модели линейной регрессии в статье:

Заменим линейную регрессию на произвольный алгоритм:

В качестве алгоритмов мы выбрали модели случайного леса. И конечно это лишь звучит просто, в дальнейшем возникло много особенностей ввиду того, что в общем случае решение, выдаваемое лесом не является гладким, так что нам пришлось аппроксимировать его гладкой функцией. Но об этом в другой раз.

Во второй части этой статьи вы узнаете как мы в итоге решили проблему негладкости решения, а также как реализовали систему динамической оптимизации цены. Надеюсь эта статья была вам полезна, ну или хотя бы расширила ваш кругозор. Спасибо!

7.2 Причинно-следственные связи – научные исследования в социальной работе

Цели обучения

• Дать определение идиографической и номотетической причинно-следственной связи и привести пример
• Опишите роль причинно-следственной связи в количественных исследованиях по сравнению с качественными исследованиями
• Определите, определите и опишите каждый из основных критериев номотетических причинно-следственных связей
• Опишите разницу между независимыми, зависимыми и управляющими переменными и приведите примеры
• Определить гипотезу, быть в состоянии сформулировать четкую гипотезу и обсудить соответствующие роли количественных и качественных исследований, когда речь идет о гипотезах

Большинство социологических исследований пытаются дать какое-то причинно-следственное объяснение. Исследование вмешательства по предотвращению жестокого обращения с детьми пытается установить связь между вмешательством и изменениями в жестоком обращении с детьми. Причинность относится к идее о том, что одно событие, поведение или убеждение приведет к возникновению другого, последующего события, поведения или убеждения. Другими словами, речь идет о причине и следствии. Это кажется простым, но вы можете быть удивлены, узнав, что существует более одного способа объяснить, как одна вещь вызывает другую. Как это может быть? Как может быть много способов понять причинность?

Вспомните нашу главу о парадигмах, которые были аналитическими линзами, состоящими из предположений о мире. Вы помните позитивистскую парадигму как ту, которая верит в объективность, и социальную конструкционистскую парадигму, как ту, которая верит в субъективность. Обе парадигмы являются правильными, хотя и неполными, точками зрения на социальный мир и социальные науки.

Исследователь, работающий в парадигме социального конструкционизма, считал бы истину субъективной. Применительно к причинно-следственной связи это означает, что для того, чтобы попытаться понять, что стало причиной чего, нам нужно было бы сообщать о том, что говорят нам люди. Ну, это кажется довольно простым, не так ли? А что, если два разных человека увидели одно и то же событие с одной и той же точки зрения и предложили два совершенно разных объяснения того, что к чему привело? Социальный конструкционист сказал бы, что оба человека правы. Существует не одна единственная истина, истинная для всех, а множество истин, созданных и разделяемых людьми.

Когда социальные конструкционисты занимаются наукой, они пытаются установить один тип причинности — идеографическую причинность. идиографическое причинное объяснение означает, что вы попытаетесь исчерпывающе объяснить или описать свое явление, основываясь на субъективном понимании ваших участников. Эти объяснения связаны с нарративами, которые люди создают о своей жизни и опыте, и встроены в культурный, исторический и экологический контекст. Идиографические причинные объяснения настолько сильны, потому что они передают глубокое понимание явления и его контекста. С социальной конструкционистской точки зрения правда беспорядочна. Идиографическое исследование включает в себя поиск закономерностей и тем в причинно-следственных связях, установленных участниками вашего исследования.

Если это не похоже на то, что вы обычно называете «наукой», вы не одиноки. Хотя идеи, лежащие в основе идиографических исследований, довольно стары в философии, они были применены к наукам только в начале прошлого века. Если мы вспомним таких известных ученых, как Ньютон или Дарвин, они никогда не считали истину субъективной. Существовали объективно истинные законы науки, применимые во всех ситуациях. Другая парадигма была доминирующей и продолжает господствовать сегодня, позитивистская парадигма. Когда позитивисты пытаются установить причинно-следственную связь, они, как Ньютон и Дарвин, пытаются найти широкое, всеобъемлющее объяснение, универсально верное для всех людей. Это отличительная черта номотетическое причинное объяснение .

Номотетические причинные объяснения также невероятно сильны. Они позволяют ученым делать прогнозы о том, что произойдет в будущем, с определенной погрешностью. Более того, они позволяют ученым обобщать , то есть делать заявления о большом населении на основе меньшей выборки людей или предметов. Обобщение важно. У нас явно нет времени спрашивать у всех их мнение по теме, а также у нас нет возможности следить за каждым взаимодействием в социальном мире. Нам нужен тип причинно-следственного объяснения, который поможет нам предсказать и оценить истину во всех ситуациях.

Если это все еще кажется малопонятными философскими терминами, давайте рассмотрим пример. Представьте, что вы работаете в общественной некоммерческой организации, обслуживающей людей с ограниченными возможностями. Вы составляете отчет, чтобы помочь правительству штата лоббировать дополнительное финансирование программ поддержки сообщества, и вам необходимо поддержать свой аргумент в пользу дополнительного финансирования в вашем агентстве. Если вы посмотрите на номотетические исследования, вы можете узнать, как предыдущие исследования показали, что, в целом, общественные программы, подобные вашей, связаны с улучшением состояния здоровья и занятости для людей с ограниченными возможностями. Номотетическое исследование пытается объяснить, что программы на базе сообщества лучше для всем с ограниченными возможностями. Если вы посмотрите на идиографические исследования, вы получите истории и опыт людей, участвующих в общественных программах. Эти отдельные истории полны подробностей о жизненном опыте участия в общественной программе. Используя идиографическое исследование, вы можете понять, что значит быть человеком с инвалидностью, а затем сообщить об этом правительству штата. Например, человек может сказать: «В этом агентстве я чувствую себя как дома, потому что они относятся ко мне как к члену семьи» или «Это агентство помогло мне получить мою первую зарплату».

Ни одно из причинных объяснений не лучше другого. Решение провести идиографическое исследование означает, что вы попытаетесь исчерпывающе объяснить или описать свой феномен, обращая внимание на культурный контекст и субъективные интерпретации. С другой стороны, решение провести номотетическое исследование означает, что вы попытаетесь объяснить, что верно для всех, и предсказать, что будет верно в будущем. Короче говоря, идиографические объяснения имеют большую глубину, а номотетические объяснения — большую широту. Что еще более важно, социальные работники понимают ценность обоих подходов к пониманию социального мира. Социальный работник, помогающий клиенту с проблемами, связанными со злоупотреблением психоактивными веществами, ищет идиографические знания, когда он расспрашивает об истории жизни этого клиента, исследует его уникальное физическое окружение или выясняет, как он понимает свою зависимость. В то же время социальный работник также использует номотетические знания для руководства своими действиями. Номотетические исследования могут помочь им свести к минимуму факторы риска и максимизировать защитные факторы или использовать доказательную терапию, опираясь на знания о том, что в целом помогает людям с проблемами злоупотребления психоактивными веществами.

Один из моих любимых моментов в классе произошел на заре моей учительской карьеры. Студенты давали обратную связь по исследовательским вопросам. Я слышал, как одна группа помогала кому-то перефразировать вопрос исследования. Студент спросил: «Вы пытаетесь обобщить или нет?» Преподавание полно забавных моментов, подобных этому.

Ответив на один вопрос, вы сможете понять, как концептуализировать и разработать свой исследовательский проект. Если вы пытаетесь обобщить или создать номотетическую причинно-следственную связь, то остальные утверждения, скорее всего, будут верны: вы будете использовать количественные методы, рассуждать дедуктивно и заниматься объяснительными исследованиями. Как я могу все это знать? Разберём по частям.

Поскольку номотетические причинно-следственные связи пытаются обобщить, они должны уметь сводить явления к универсальному языку, математике. Математика позволяет нам точно измерять в универсальных терминах явления в социальном мире. Не все количественные исследования являются объяснительными. Например, описательное исследование может выявить количество людей, не имеющих жилья в вашем округе, но не скажет вам, почему они бездомные. Но почти все объяснительные исследования количественные. Поскольку исследователям-объяснениям нужно ясное объяснение «x вызывает y», им необходимо использовать универсальный язык математики для достижения своей цели. Вот почему номотетические причинно-следственные связи используют количественные методы.

Здесь мы говорили об отношениях между переменными. Когда одна переменная вызывает другую, мы имеем то, что исследователи называют независимыми и зависимыми переменными. В нашем примере с поркой и агрессивным поведением шлепки будут независимой переменной, а склонность к агрессивному поведению будет зависимой переменной. Независимая переменная является причиной, а зависимая переменная является следствием. Почему они так называются? Зависимые переменные зависят от независимых переменных. Если все это сбивает с толку, просто запомните это графическое соотношение:

Прочность связи — еще один важный фактор, который необходимо учитывать при попытке сделать причинно-следственные связи, когда ваш исследовательский подход является номотетической. Я не говорю о силе вашей дружбы или брака. В этом контексте сила связи относится к статистической значимости. Чем более статистически значима взаимосвязь между двумя переменными, тем больше мы можем быть уверены в силе этой взаимосвязи. Вы помните из нашего обсуждения статистической значимости в главе 3, что она обычно представляется в статистике как p Значение .

Гипотеза — это утверждение, описывающее ожидания исследователя в отношении того, что он ожидает найти. Гипотезы в количественных исследованиях представляют собой номотетические причинно-следственные связи, которые исследователь рассчитывает продемонстрировать. Он написан для описания ожидаемой связи между независимыми и зависимыми переменными. Ваш прогноз должен быть взят из теории или модели социального мира. Например, вы можете предположить, что обращение с клиническими клиентами с теплотой и позитивным отношением, вероятно, поможет им достичь своих терапевтических целей. Эта гипотеза будет использовать гуманистические теории Карла Роджерса. Использование предыдущих теорий для выдвижения гипотез является примером дедуктивного исследования. Если теория безусловного положительного отношения Роджерса верна, ваша гипотеза должна быть верна. Вот откуда мы знаем, что все номотетические причинно-следственные связи должны использовать дедуктивное рассуждение.

Давайте рассмотрим пару примеров. В исследовании сексуальных домогательств (Uggen & Blackstone, 2004),  ^[1] можно было бы предположить, основываясь на феминистских теориях сексуальных домогательств, что женщины чаще, чем мужчины, подвергаются определенному сексуальному домогательству. Какая здесь предсказывается причинно-следственная связь? Какая независимая, а какая зависимая переменная? В этом случае мы предположили, что пол человека (независимая переменная) будет предсказывать вероятность того, что он подвергнется сексуальным домогательствам (зависимая переменная).

Иногда исследователи предполагают, что отношения примут определенное направление. В результате можно сказать, что увеличение или уменьшение в одной области вызывает увеличение или уменьшение в другой. Например, вы можете изучить взаимосвязь между возрастом и поддержкой легализации марихуаны. Возможно, вы посещали уроки социологии и, основываясь на прочитанных теориях, предполагаете, что возраст негативно влияет на поддержку легализации марихуаны. ^[2] Что вы только что предположили? Вы предположили, что по мере взросления вероятность поддержки легализации марихуаны снижается. Таким образом, когда возраст (ваша независимая переменная) движется в одном направлении (вверх), поддержка легализации марихуаны (ваша зависимая переменная) движется в другом направлении (вниз). Таким образом, положительные отношения включают две переменные, движущиеся в одном направлении, а отрицательные отношения включают две переменные, движущиеся в противоположных направлениях. Если написание гипотез кажется сложным, иногда полезно нарисовать их и изобразить каждую из двух гипотез, которые мы только что обсудили.

Важно отметить, что после начала исследования неэтично менять свою гипотезу, чтобы она соответствовала полученным данным. Например, что произойдет, если вы проведете исследование для проверки гипотезы из рис. 7.3 о поддержке легализации марихуаны, но не обнаружите связи между возрастом и поддержкой легализации? Это означает, что ваша гипотеза была ошибочной, но это все равно ценная информация. Это поставило бы под сомнение то, что говорится в существующей литературе по вашей теме, продемонстрировав, что необходимо провести дополнительные исследования, чтобы выяснить факторы, влияющие на поддержку легализации марихуаны. Не смущайтесь отрицательных результатов и определенно не меняйте свою гипотезу, чтобы она все время казалась верной!

Допустим, вы проводите исследование и находите доказательства, подтверждающие вашу гипотезу: с возрастом поддержка легализации марихуаны уменьшается. Успех! Причинно-следственное объяснение завершено, верно? Не совсем. Вы установили только один из критериев причинности. Основные критерии причинности связаны с ковариацией, правдоподобием, временностью и ложностью. В нашем примере на рис. 7.3 мы установили только один критерий — ковариацию. Когда переменные ковариируют , они изменяются вместе. В нашем исследовании различаются как возраст, так и поддержка легализации марихуаны. В нашей выборке есть люди разного возраста и разного уровня поддержки легализации марихуаны.

Тот факт, что между двумя переменными может существовать некоторая корреляция, не означает, что причинно-следственная связь между ними действительно правдоподобна. Правдоподобие означает, что для того, чтобы сделать заявление о том, что одно событие, поведение или убеждение вызывает другое, это утверждение должно иметь смысл. Имеет смысл, что люди из предыдущих поколений будут относиться к марихуане иначе, чем молодые поколения. Люди, выросшие во времена безумия рефрижераторов или хиппи, могут придерживаться иных взглядов, чем те, кто вырос в эпоху легализации марихуаны в медицинских и рекреационных целях.

После того, как мы установили правдоподобную взаимосвязь между двумя переменными, нам также необходимо установить, возникла ли причина до следствия, критерий временности . Возраст человека — это качество, которое проявляется задолго до любых мнений о наркополитике, поэтому во времени причина предшествует следствию. Говорить о том, что поддержка легализации марихуаны способствует увеличению возраста, бессмысленно. Даже если бы вы могли предсказать чей-то возраст, основываясь на его поддержке легализации марихуаны, вы не могли бы сказать, что чей-то возраст был вызван их поддержкой легализации.

Наконец, ученые должны установить неложность. Ложная связь — это связь, в которой связь между двумя переменными кажется причинно-следственной, но на самом деле может быть объяснена какой-то третьей переменной. Например, мы могли бы указать на тот факт, что пожилые когорты реже употребляли марихуану. Может быть, именно употребление марихуаны заставляет людей быть более открытыми для легализации, а не их возраст. Это часто называют проблемой третьей переменной, когда кажущаяся истинной причинно-следственная связь на самом деле вызвана третьей переменной, не включенной в гипотезу. В этом примере связь между возрастом и поддержкой легализации может быть больше связана с тем, что человек пробовал марихуану, чем с возрастом человека.

Количественные исследователи чувствительны к последствиям потенциально ложных отношений. Они являются важной формой критики научной работы. В результате они часто измеряют эти третьи переменные в своем исследовании, чтобы контролировать их влияние. Они называются управляющими переменными и относятся к переменным, влияние которых контролируется математически в процессе анализа данных. Контрольные переменные могут немного сбивать с толку, но подумайте об этом как о споре между вами, исследователем и критиком.

Исследователь: «Чем старше человек, тем меньше вероятность того, что он поддержит легализацию марихуаны».

Критик: «На самом деле, это больше о том, употреблял ли человек марихуану раньше. Это то, что действительно определяет, поддерживает ли кто-то легализацию марихуаны».

Исследователь: «Ну, я измерил предыдущее употребление марихуаны в своем исследовании и математически проконтролировал ее эффекты в своем анализе. Связь между возрастом и поддержкой легализации марихуаны по-прежнему статистически значима и является наиболее важной связью здесь».

Давайте рассмотрим еще несколько реальных примеров ложных сигналов. Знаете ли вы, например, что высокий уровень продаж мороженого приводит к утоплению? Конечно, это не совсем так, но между ними есть положительная связь. В этом случае третьей переменной, которая вызывает как высокие продажи мороженого, так и увеличение смертности от утопления, является время года, поскольку в летний сезон наблюдается увеличение обоих показателей (Babbie, 2010). ^[4] Вот еще один хороший факт: это правда, что по мере того, как растут зарплаты пресвитерианских служителей в Массачусетсе, растут и цены на ром в Гаване, Куба. Ну, да, может быть, вы говорите себе. Все знают, как сильно министры в Массачусетсе любят свой ром, верно? Не так быстро. Да, выросли и зарплаты, и цены на ром, но выросли цены практически на все остальное (Huff & Geis, 19 лет).93). ^[5] Наконец, исследования показывают, что чем больше пожарных присутствует на месте пожара, тем больше ущерба наносится на месте происшествия. Это утверждение, конечно же, упускает из виду то, что по мере увеличения размера пожара увеличивается и размер причиненного ущерба, а также количество пожарных, призванных на помощь (Frankfort-Nachmias & Leon-Guerrero, 2011). ^[6] В каждом из этих примеров наличие третьей переменной объясняет очевидную взаимосвязь между двумя исходными переменными.

В целом, следующие критерии должны быть соблюдены, чтобы корреляция считалась причинно-следственной:

• Две переменные должны изменяться вместе.
• Связь должна быть правдоподобной.
• Причина должна предшествовать следствию во времени.
• Связь не должна быть ложной (не должна быть связана с третьей переменной).

Как только эти критерии соблюдены, исследователь может сказать, что он получил номотетическое причинное объяснение, которое объективно верно. Перед исследователями стоит непростая задача. Вы почти никогда не услышите, чтобы исследователи говорили, что у них есть доказали свои гипотезы. Утверждение, которое выделено жирным шрифтом, подразумевает, что взаимосвязь существует с абсолютной уверенностью и что нет никаких шансов, что существуют условия, при которых гипотеза не была бы верна. Вместо этого исследователи склонны говорить, что их гипотезы подтвердились (или нет). Этот более осторожный способ обсуждения результатов допускает возможность обнаружения новых доказательств или новых способов изучения отношений. Исследователи также могут обсуждать нулевую гипотезу. В главе 3 мы рассмотрели, что нулевая гипотеза — это гипотеза, предсказывающая отсутствие связи между изучаемыми переменными. Если исследователь отвергает нулевую гипотезу, он говорит, что рассматриваемые переменные каким-то образом связаны друг с другом.

Помните наш вопрос: «Вы пытаетесь обобщить или нет?» Если вы ответили «нет», вы пытаетесь установить идиографическую причинно-следственную связь. Я могу предположить, что если вы пытаетесь установить идиографическую причинно-следственную связь, вы, вероятно, будете использовать качественные методы, рассуждать индуктивно и участвовать в исследовательском или описательном исследовании. Мы можем понять эти предположения, пройдясь по ним одно за другим.

Исследователи, ищущие идиографические причинно-следственные связи, не пытаются обобщать, поэтому им не нужно сводить явления к математике. На самом деле, использование языка математики для сведения социального мира к минимуму — это плохо, поскольку оно лишает причинно-следственную связь ее значения и контекста. Идиографические причинно-следственные связи связаны с рассказами и интерпретациями людей. Обычно они выражаются словами. Не во всех качественных исследованиях используются словесные данные, поскольку в некоторых могут использоваться интерпретации визуального или исполнительского искусства, хотя в подавляющем большинстве исследований в области социальных наук используются словесные данные.

Но подождите, я предсказал, что идиографическая причинно-следственная связь потребует описательного или исследовательского исследования. Как мы можем построить причинно-следственные связи, если мы просто описываем или исследуем тему? Разве нам не нужно проводить объяснительные исследования, чтобы построить какое-либо причинно-следственное объяснение? Объяснительные исследования пытаются установить номотетические причинно-следственные связи — показано, что независимая переменная вызывает изменения зависимой переменной. Исследовательские и описательные качественные исследования содержат некоторые причинно-следственные связи, но на самом деле они являются описанием причинно-следственных связей, установленных участниками вашего исследования. Вместо того, чтобы говорить «x вызывает y», ваши участники будут описывать свой опыт с «x», который, по их словам, был вызван и повлиял на множество других факторов, в зависимости от времени, окружающей среды и субъективного опыта. Как мы уже говорили ранее, идиографические причинные объяснения беспорядочны. Ваша работа как исследователя социальных наук состоит в том, чтобы точно описать закономерности в том, что говорят вам ваши участники.

Давайте рассмотрим пример. Если бы я спросил вас, почему вы решили стать социальным работником, что бы вы ответили? Что касается меня, я бы сказал, что я хотел быть клиницистом по психическому здоровью, когда учился в старшей школе. Мне было интересно, как люди думают. Во время моей второй стажировки по программе бакалавриата мне посоветовали стать социальным работником, потому что лицензия давала больше полномочий для возмещения страховых расходов и гибкости для смены карьеры. Это совсем не простое объяснение! Но она дает описание более глубокого понимания многих факторов, которые привели меня к тому, чтобы стать социальным работником. Если бы мы опросили многих социальных работников об их решениях стать социальными работниками, мы могли бы начать замечать закономерности. Мы можем обнаружить, что многие социальные работники начинают свою карьеру на основе множества факторов, таких как: личный опыт с инвалидностью или социальной несправедливостью, положительный опыт работы с социальными работниками или желание помочь другим. Ни один фактор не является «наиболее важным фактором», как в случае номотетических причинно-следственных связей. Вместо этого в наборе данных появляется сложная сеть факторов, зависящих от контекста, когда вы интерпретируете то, что сказали люди.

Нахождение закономерностей в данных, как вы помните из главы 6, — это суть индуктивных рассуждений. Исследователь собирает данные, обычно словесные данные, и замечает закономерности. Эти паттерны формируют теории, которые мы используем в социальной работе. Во многом идиографические причинно-следственные связи, которые вы создаете в качественных исследованиях, подобны социальным теориям, которые мы рассмотрели в главе 6 (например, теория социального обмена), и другим теориям, которые вы используете в своих практических и теоретических курсах. Теории — это объяснения того, как различные понятия связаны друг с другом, как эта сеть отношений работает в реальном мире. В то время как вы можете думать о таких теориях, как теория систем, как о теории (с большой буквы «Т»), индуктивные причинно-следственные связи подобны теории с маленькой «т». Они могут применяться только к участникам, среде и моменту времени, когда вы собирали свои данные. Тем не менее, они вносят важную информацию в совокупность знаний по изучаемой вами теме.