Email or username:

Password:

Forgot your password?
Risto

Системная ложь статистики

В Интернете регулярно появляются посты и комментарии о том, что #опросы показывают поддержку россиянами Путина и войны, и даже её рост на фоне санкций. Как человек, лично проводивший сквозные #соцопросы по телефону, — да-да, я тот самый персонаж, который «У вас не найдётся пять минут…» — я хотел бы рассказать, как на практике, проходят такие опросы и почему их результат не будет другим даже во время штурма Кремля разъярённой толпой.

Ложь первая: возрастная выборка

Обзванивается на автомате сквозная база, из которой удалены только телефоны несовершеннолетних и компаний, про которые компания, ведущая обзвон, уже знает. То есть мы тупо один раз туда уже позвонили и поставили этот номер в блок на 6 месяцев.

Опросы длинные. Даже тот, который «займёт не более минут вашего времени» на практике занимает от десяти до пятнадцати минут, а более подробный — от получаса.

Про пять минут, кстати, не ложь: как и во всей остальной статистике, включая результаты наших опросов, тут важно не что мы считаем, а как. Пять минут занимает разговор по этому опроснику в среднем, включая незаконченные опросы, посылы в туман и брошенные трубки.

Теоретически, можно быстрее, но на практике интервьируемые думают над вопросами, переспрашивают, сомневаются, не понимают, что имелось в виду и т.д.

До конца опроса доходят, как следствие, только #пенсионеры, да и то не все, а кому скучно и нечего делать. Незаконченные опросы в статистику не идут.

То есть, все эти опросы выходят с неравной возрастной выборкой: де факто, они не учитывают мнение лиц моложе 50 лет и, при этом, имеют примерно экспоненциальную зависимость числа опрашиваемых от их возраста.

Ложь вторая: я вам правды не скажу

Но и это ещё только цветочки: Многие опросы предлагают ответить на открытый вопрос о доверии политикам: «Назовите до пяти человек, которым вы доверяете», а потом на вопрос «Доверяете ли вы В.В. Путину?».

При этом на первый вопрос от нас требовали выжимать из опрашиваемого хотя бы три фамилии — именно отсюда берутся рейтинги #Шойгу и Лаврова — их называют сторонники Путина, которых попросили назвать ещё хотя бы двух человек. Причём, если у Шойгу ещё есть собственные сторонники [теперь уже нет, но статья писалась два года назад, а опросы проводились четыре года назад], то рейтинг Лаврова — это реальный рейтинг Путина — ниже расскажу, почему.

И что вы думаете — #старики, на первый вопрос Путина даже не назвавшие, на второй быстро отвечаю «Да!», «Конечно поддерживаю!», а одна старушка вообще выдала «Я за Партию!».

Вообще, мы не должны были задавать уточняющих вопросов, — запомните это, кстати — но менеджер в тот день была одна на два десятка операторов и я рискнул уточнить у нескольких таких человек:

- Как же вы говорите, что ему доверяете, если даже не назвали его в ответе на предыдущий вопрос?

А дальше их ответы:

- Молодой человек, но мы же взрослые люди, я же знаю, что вы всё за мной записываете.

- Ой… Допишите, пожалуйста, прошу вас, я забыла! Вы можете как-то об этом не говорить?

- Ничего я вам больше не скажу, волки позорные! (бросает трубку)

То есть, люди в возрасте, которые не доверяют власти её же и бояться, а в то, что это соцопрос либо не верят, — и правильно, кстати, делают, об этом ниже, — либо вообще не понимают, что это такое.

И что же сделали аффилированные с властью « #социологи », когда #рейтинг Путина по первому вопросу упал до 30%? Правильно, они просто стали считать рейтинг по вопросу о доверии лично ему! И рейтинг чудесным образом вырос в полтора-два раза, в зависимости от опроса. Занавес.

Ложь третья: И это неправильный ответ!

А теперь о том, почему я больше не буду делать опросы — разве что меня позовёт #Левада. А не буду потому, что опросы от всех остальных заказчиков — государственная #пропаганда по телефону, под видом опроса.

Помните, я вам говорил, что опрашивающий не должен задавать уточняющих вопросов? Так вот, это правило только для Левады. Для остальных заказчиков задавать не просто уточняющие, а наводящие на нужный ответ вопросы не просто можно, а прямо требовалось от нас по «методике опроса».

Задаём мы вопросы об отношении к новой Конституции России и там был вопрос об отношении к каждому конкретному изменению. Во-первых, ни обнуления сроков Путина, ни увеличения полномочий президента, ни его пожизненной неприкосновенности в этом списке просто не было. А во-вторых от нас требовали переспрашивать ответ и пояснять отдельные пункты, в случае если ответ по ним был «не поддерживаю». То есть вся цель этого «опроса» была в том, чтобы убедить собеседника поддержать изменения.

Заключение

Таким образом, опросы — как минимум, опросы телефонные, но я не думаю, что с иными типами опросов ситуация сильно лучше — не дают репрезентативной выборки, содержат правдивые ответы только от тех, кто доверяет власти — что в принципе лишает эти опросы смысла, даже проведённые Левадой, — проводятся так, чтобы получить нужные заказчику ответы, а потом ещё обрабатываются в нужном заказчику ключе.

Верить этим опросам нельзя, а серьёзно обсуждать их результаты — бессмысленная трата времени. Единственная реальная причина результатов этих опросов в том, что основной их заказчик — государство.
_
Статья моя, перенесена с #TJournal. Архивная копия статьи на #WebArchive: web.archive.org/web/2022032004
#Россия #статистика #Путин #Лавров #президент #Конституция #Callцентр #статьи #война

13 comments
Старый По Литикан

@risto к слову, есть и #социология про то, что поддержка - гораздо ниже, чем пытается показать пропаганда.

Risto

@limping не очень понял, как Alt текст соотносится с графиком, там нигде не показано, что это лоялисты.

В целом же да, большинство за прекращение войны как можно скорее, причём большинство это было с самого начала. Но такой опрос не отвечает на вопросы:
- Считают ли эти люди эту войну оправданной, или были против самого факта её начала?
- Поддерживают ли они Путина, Единую Россию и текущий курс государства?

Я позже выложу ещё одну статью, которая громит другой - украинский - опрос, силившийся доказать, что все россияне в едином порыве за войну. Там же будет разбор, какие вопросы должны быть в опроснике, который, в теории, мог бы показать реальное отношение наскления к войне и Украине.

@limping не очень понял, как Alt текст соотносится с графиком, там нигде не показано, что это лоялисты.

В целом же да, большинство за прекращение войны как можно скорее, причём большинство это было с самого начала. Но такой опрос не отвечает на вопросы:
- Считают ли эти люди эту войну оправданной, или были против самого факта её начала?
- Поддерживают ли они Путина, Единую Россию и текущий курс государства?

Шуро

Самое главное в любом исследовании - сначала поставить задачу, которую оно призвано решить, на какие вопросы на самом деле хочется получить ответ.

Например, вопрос "считаете ли вы войну оправданной" вообще крайне смутен и широк, его поймут в силу своей испорченности и в ответ сложат самые разные смыслы, а самое главное - ну будет результат 60% (например) и какие выводы можно сделать? Да никаких, разве что покричать.

Вот вопрос на картинке выше куда более конкретен и позволяет сделать практические выводы.

Самое главное в любом исследовании - сначала поставить задачу, которую оно призвано решить, на какие вопросы на самом деле хочется получить ответ.

Например, вопрос "считаете ли вы войну оправданной" вообще крайне смутен и широк, его поймут в силу своей испорченности и в ответ сложат самые разные смыслы, а самое главное - ну будет результат 60% (например) и какие выводы можно сделать? Да никаких, разве что покричать.

Iron Bug
я тут недавно пыталась пояснить одному персонажу, что "среднее" значение "негативного/позитивного" отношения к России по странам не имеет никакого смысла. сразу по многим причинам. потому что опрашивали население, а дальше пошла медиана по количеству стран. эти маленькие пошлые фокусы я, как математик, вижу за километр. плюс само понятие "отношение к России" - это какой-то кот в мешке и каждый может понимать это, как хочет. но люди-то не понимают, что это не статистика, а манипулирование. и сейчас такого шлака просто навалом. со всех сторон. лажу генерят все, тут нет "плохишей". цели пропаганды понятны. методы совершенно грязные. но основная масса-то ведётся - вот в чём печаль.
я тут недавно пыталась пояснить одному персонажу, что "среднее" значение "негативного/позитивного" отношения к России по странам не имеет никакого смысла. сразу по многим причинам. потому что опрашивали население, а дальше пошла медиана по количеству стран. эти маленькие пошлые фокусы я, как математик, вижу за километр. плюс само понятие "отношение к России" - это какой-то кот в мешке и каждый может понимать это, как хочет. но люди-то не понимают, что это не статистика, а манипулирование. и сейчас...
Iron Bug
тут ведь важно понять, как интерпретируется "поддержка". они ведь напишут, что "51 процент поддерживает путлера". вот тебе и "статистика" и "социология".
я, например, затрудняюсь ответить на такой вопрос. потому что я вообще не поддерживаю путлера, он нелегитимен и там нечего "поддерживать". но я за то, чтобы война закончилась и за международный трибунал. вот эти серые 5% - это те, кто подумал, прежде чем сказать "да" или "нет".
Dmitry ☮️

@risto

Сталкивался с составлением опросов и оценкой результатов опросов.
Поддерживаю, соответствует действительности.

П.с.
У Левады, кстати, тоже рыльце в пушку.

Iron Bug
что ж, весьма самокритично. но никто и не сомневался, в общем-то. особенно в условиях развитого тоталитаризма.

статистика - вообще такая вещь, что можно найти способ посчитать так, чтобы получить нужные цифры из любой выборки. и начинают выковыривать из носа всякие хитрые "средние значения", которые вовсе не являются тем, за что их выдают. это действительно пропаганда и её уже внаглую пихают везде. от этого только становится тошно и уж точно не хочется принимать в этом участие. это как интервью с журналистом: что бы ты не сказал, напишут всё равно то, "что нужно", извратив твои слова до неузнаваемости. и от этого факт участия становится абсолютно иррелевантным.

далее, двусмысленные вопросы, на которые сложно ответить однозначно: да или нет. призванные ввести опрашиваемого в заблуждение и вытянуть из него "правильный ответ". типа, "вы уже прекратили пить коньяк по утрам, да или нет?".

плюс тот факт, что "абсолютной правды" не существует. она у каждого своя, субъективная. поэтому даже оценить релевантность сложно.

в общем, даже если бы и не было давления на людей, даже если бы опросы составлялись честно, вряд ли можно было бы получить объективную картину.
что ж, весьма самокритично. но никто и не сомневался, в общем-то. особенно в условиях развитого тоталитаризма.

статистика - вообще такая вещь, что можно найти способ посчитать так, чтобы получить нужные цифры из любой выборки. и начинают выковыривать из носа всякие хитрые "средние значения", которые вовсе не являются тем, за что их выдают. это действительно пропаганда и её уже внаглую пихают везде....
H.O.F.

@risto Звучит как "их гнусная пропаганда" против "нашей святой правды".

Статистику не зря называют одной из трех академических проституток (в ряду с историей и еще чем-то там). При желании можно нарисовать любую правдоподобную картинку, которая не будет ложью.

Да, кстати, я понимаю, что сейчас популярно насгущать красок (это же продается, не так ли?), но слово "ложь" не совсем корректно для описания ситуации с ограниченной возрастной выборкой. В данном случае это не ложь, а манипуляция. Ложь — это намеренное искажение правды, когда факты говорят одно, а утверждается противоположное.

Тоже самое касается и остальных пунктов. Автор пытается манипулировать, сгущая краски о манипуляции... можно сказать, что автор лжет, по примеру того, как это сделал автор, но это тоже будет манипуляцией и ложью.

@risto Звучит как "их гнусная пропаганда" против "нашей святой правды".

Статистику не зря называют одной из трех академических проституток (в ряду с историей и еще чем-то там). При желании можно нарисовать любую правдоподобную картинку, которая не будет ложью.

Да, кстати, я понимаю, что сейчас популярно насгущать красок (это же продается, не так ли?), но слово "ложь" не совсем корректно для описания ситуации с ограниченной возрастной выборкой. В данном случае это не ложь, а манипуляция. Ложь — это...

Dmitry ☮️

@oleg_ru
Статистика используется не только в социологических опросах. Проституткой ее называют те кто не изучал статистику как науку для практического применения в точных науках и экономике.

П.с.
Выдавать не репрезентативный опрос за репрезентативный - что же это, если не ложь? "Это другое"?
@risto

PanicRack

@dmitry84 @oleg_ru @risto Кто сказал что власть не берет в расчет что срез получен по определенной страте? Получить статистику по молодежи можно одним способом, по мигрантам - третьим. Обобщить. При этом к обобщенной статистике доступа у диванных аналитиков не будет. Очень удобно.

Dmitry ☮️

@PanicRack
А я и не писал ничего такого...
@oleg_ru @risto

Risto

@dmitry84 по-моему, @PanicRack промазал и ответил не на тот комментарий. @oleg_ru

Go Up