Про новостную ленту

[vit_r]

Только что говорил по телефону с приятелем — руководителем крупной розничной сети. Радуется победе Трампа — благодаря ему, придумал, как выправить бюджет фирмы на следующий год — сократил в 2 раза расходы на социологические исследования.

отсюда

Думаю, все уже отфрендили кого хотели и не хотели, отрадовались победе Путина, оплакали Украину, посмеялись над жителями колоний и перепостили все карикатуры. Если выключить эмоции и вынести точку зрения куда-нибудь в сторону Марса, остаются два интересных момента. Проявляются они в информационном поле по-разному и только лёгким пунктиром. Для примера приведу здесь ksonin.

Во-первых, он объясняет, что социологи не ошиблись, и бывают всякие случайности, и всё в зоне погрешности, да и среди прогнозистов можно найти такого, у которого почти совпало. Всё выглядит очень убедительно, как и подобает тексту профессионала.

Меня же как инженера интересует, в каком месте была системная ошибка?

Вынуждала ли диктатура политкорректности врать людей при опросах? Возникли ли какие-то новые беспрецедентные факторы, понятные простым людям, но невероятные для профессионалов, которые не удосужились учесть их в своих формулах? Или же мы имеем дело с ещё одной продажной девкой империализма?

Кончено, скоро мы увидим вал статей и немного погодя толстые книги с подробнейшим разбором. Проблема в том, что анализ всего этого будут проводить сами обвиняемые.

Второй момент - это метастазы альтернативной реальности. Вот здесь тот же автор обоснованно и подробно объясняет уверенную победу президента Хиллари Клинтон.

Понятно, что СМИ подготовились к обоим вариантам. В печать, в сеть и в эфир вышли правильные версии, альтернативная реальность ушла в архив.

Аналитикам деньги платят за прогнозы, а не за факты. Похоже, заготовок на признание своих ошибок у них не было. В основном идёт панический выхлоп.

Альтернативный первый день после точки бифуркации сейчас распылён по закрытым архивам. (Надеюсь, у них хватит мужества не уничтожать следы. Память сейчас стоит копейки и информация может храниться вечно.) Интересно было бы собрать все эти свидетельства из параллельного мира в одну книгу.

Comments

[vlkamov.livejournal.com]

Меня же как инженера интересует, в каком месте была системная ошибка?

В Сети ходит текст про обследование российской деревни, там источник ошибки описывается, хотя и поверхностно.

Примерно 2007...2009 гг.

[vit-r.livejournal.com]

Угу. И мудрые американские аналитики об этом не знали.

[anonim-legion.livejournal.com]

"Двойной зажим Блейера", именно.

[oude-rus.livejournal.com]

С моей т.з., ошибки были в 2 вещах:
0. DNA
1. систематическая ошибка в прогнозах: то ли выборки были перекошены, то ли респонденты врали.
2. неучет нестабильности проблемы: небольшие вариации начальных условий ведут к катастрофическим последствиям. Грубо говоря, если условная Флорида дает +1% Хили с ошибкой (пуассона) в 3%, то варианты "29 выборщиков уходят Хили" или "29 выборщиков уходят Трампампаму" надо считать равновероятными -- или, точнее, просчитывать варианты +4% и -2%. В итоге "вероятность победы Хили" должна была цитироваться как "71 плюс 10 минус 30%", что делает подобное предсказание аналогичным "брось монетку". А это как бы сводит на нет всю щеконадувательность социологии.

[vit-r.livejournal.com]

Не думаю, что выборки могут быть перекошены. Всё-таки это профессионалы и технологии отработаны. Также сомнительно, что кто-то забыл про нестабильность. Другое дело, её можно использовать, загоняя неудобный вариант обратно в "погрешность предсказания".

[oude-rus.livejournal.com]

Как инженер вы должны знать, какие невероятные ошибки таки делаются.
http://oude-rus.livejournal.com/938717.html?thread=10748381#t10748381

[vit-r.livejournal.com]

Как инженер, я в первую очередь учитываю людей в системе. Говорить про ошибки и давать ссылку на пропагандистский сайт как-то не очень солидно. В крайнем случае, там есть редактор, который может выбрать из разных экспертов самого подходящего.

[oude-rus.livejournal.com]

пардон, это какой такой пропагандистский сайт?

[vit-r.livejournal.com]

nytimes.com

У меня, кстати, туда доступа нет, потому что я не хочу отключать плагины безопасности.

[oude-rus.livejournal.com]

если бы вы действительно "учитывали людей в системе", то вы не могли не понять сарказма этой ссылки.
если все равно не поняли, то она была приведена как пример вопиющей ошибки "Hillary Clinton has an 85% chance to win".

[vit-r.livejournal.com]

Диспут перешёл в область терминологии. Для меня ошибка - это, когда случайно не получилось как правильно. Когда специально получилось как не правильно, стоит использовать другой термин.

[oude-rus.livejournal.com]

Я все-таки сторонник решения проблемы по шагам.
Правильно ли я понял, что обвинение в "Говорить про ошибки и давать ссылку на пропагандистский сайт как-то не очень солидно" снимается?

[vit-r.livejournal.com]

Если мы говорим про ошибки, не стоит приводить в качестве примера то, что больше похоже на сознательную манипуляцию со статистикой.

[oude-rus.livejournal.com]

вы можете это доказать?
поскольку если нет, то это безответственный треп.

[vit-r.livejournal.com]

Пардон, всё в этом журнале - безответственный трёп. Мы не на суде. Чтобы это доказать, надо получить доступ ко внутренней документации.

Потом, слово "похоже" подразумевает значение "согласно моей интуитивной оценке...".

[oude-rus.livejournal.com]

понятно, спасибо.
Подводя итог, в главном мы вроде как согласны. Отличие в том, что не хочу возводить на людей напраслину (т.е. подозревать их в злонамеренности) при отсутствии весомых аргументов. Хотя подозрения тоже имеются, скрывать не буду.

[sab123.livejournal.com]

Так их как минимум _некоторые_ целенаправленно перекашивали. О чем на викиликс вывалились документы с партийными указаниями, как правильно перекашивать.

Остальные, видимо, перекашивали в ту сторону, в которую им очень хотелось верить.

[vit-r.livejournal.com]

Как-то им всем в одну сторону перекашивалось. В нормальной системе были бы варианты, заходящие на другую сторону.

[sab123.livejournal.com]

С учетом предыстории, наверное правильной оценкой вероятности было бы что-нибудь типа 55% в сторону Клинтонши (по крайней мере, до последних недель, когда стало скорее 50%), которое перекашивали до 85% (смешно было, как на Бинге Трамп побеждал, а оценка вероятности все еще висела 85% в пользу Клинтонши). Перекашивать в ту же сторону психологически проще.

[vit-r.livejournal.com]

Я почему-то предполагаю, что те, у кого получался Трамп, просто предпочитали попридержать. Короче, я ещё верю в социологию как науку ;-)

[sab123.livejournal.com]

Смешно выглядело на Бинге с их предвыборной страничкой: они выкладывали результаты трех опросов, и в последние дни как только получалось, что 2 из трех опросов показывали в пользу Трампа, один из этих опросов заменялся на друой, который показывал в пользу Клинтонши. Так что дело не в том, что не было опросов.

[shalcker.livejournal.com]

Но выборки действительно же были смещены в сторону Демократов.

И связано это было насколько я понимаю с большей активностью сторонников демократов на прошлых выборах (когда они выбирали Обаму) и интерполяцией этого эффекта на следующие выборы.

"Внезапно" оказалось что демократам нравится Обама, а Хиллари не нравится, и их пришло на выборы меньше чем в прошлые разы. Заметно меньше проголосовало негров, например, причем видел цифры - в паре штатов размер этого падения полностью и с запасом покрывает разницу между голосами за Трампа и Хиллари.

А белые и республиканцы на этот раз пришли в относительно большем количестве и проголосовали за Трампа.

Ещё забавная цифра - за Ромни в прошлые выборы проголосовали миллиона на три больше людей чем за Трампа, и он всё-равно проиграл.

[vit-r.livejournal.com]

Если не учитывать такие "внезапно", любое событие окажется чёрным лебедем.

[shalcker.livejournal.com]

Просто поправочные коэффициенты на "антирейтинг" оказались неправильными, кто социологию делал таких цифр никогда при своей жизни не видел.

Ну и нельзя сказать что Клинтон с положительными результатами опросов "почивала на лаврах" - старались изо всех сил. По предварительному голосованию уже было видно что негры меньше голосуют. Чуть-чуть не хватило ресурсов (несмотря на в разы большие затраты чем у Трампа).

[oude-rus.livejournal.com]

Вот это как раз и есть "социологи обосратушки".
Вопрос тут только в том, произошло ли это из-за излишней самоуверенности (=дурости обыкновенной) или заговора.

[vit-r.livejournal.com]

Это определить невозможно, потому что мозг изначально так работает, чтобы фильтровать неприятную информацию.

Другое дело, тут то же что и с кредитным кризисом: все понимали, что что-то не так, но никто не хотел говорить об этом первым.

[oude-rus.livejournal.com]

Это какой-то неправильный мозг. Если я получаю данные (=информацию) с установки, как я могу ее фильтровать? Это называется data manipulation and/or cherry picking, и за это я студентов жестко бью по попе. Хотя отнюдь не вся информация мне нравится.

А вот второе, скорее всего, имело место быть. "Все так делают, а я что, лысый что ли?"

[vit-r.livejournal.com]

Ну это же не прибор. Там забыли, здесь не учли, ограничились двумя вариантами вместо трёх, проворонили тренд, не разбили на подгруппы... Короче, тщательно мыли чашки Петри, обнаружив что эксперимент не получился, там где зацвела плесень.

[oude-rus.livejournal.com]

именно!
//1. систематическая ошибка в прогнозах: то ли выборки были перекошены, то ли респонденты врали. //

то ли там забыли а здесь не учли, то ли проворонили тренд, то ли не разбили на подгруппы...

[vit-r.livejournal.com]

Вот этим "забыли, не учли, проворонили" и управляет мозг, выключая внимание там, где это приводит к нежелательным результатам.

[oude-rus.livejournal.com]

да ладно, обычное распиздяйство.

[vit-r.livejournal.com]

Этого термина в психологии нет.

[oude-rus.livejournal.com]

я в психологии не силен, уж извините.

[sab123.livejournal.com]

Тут зависит от того, кто и где проголосовал. Например, в ЖЖ можно наблюдать полно записей типа "в нашем сраном Массачессутсе/Калифорнии все равно выиграет Клинтонша, поэтому пойду проголосую за Джонсона чтобы послать сигнал". А если бы был шанс выиграть Трампу - эти голоса пошли бы за него.

[vanderdecken-lj.livejournal.com]

Очевидно, что для части социума чужое мнение важно при отсутствии своего. Т.е. публикация ложной социологии вполне себе инструмент ее формирования, приближения результата к желаемому. Отсюда и желание де Ниро набить морду Трампу, и обещание срулить в Канаду С.Л.Джексона.
Ряд оценок носили достаточно агрессивный характер, аппелировали к ценностям, которым приписывается абсолютность. Правда это были ценности меньшинства, агрессивного, но защищаемого законом и стоящего у руля медиа. Не разделяющие этих ценностей подвергаются обструкции, и закон в этой ситуации отказывается их защищать.
В таких условиях предъявлять открыто свое мнение идеологическим противникам несколько наивно.

[andrey balyn (from livejournal.com)]

>Меня же как инженера интересует, в каком месте была системная ошибка?

Та как обычно - пару неявных, малозначимых в предыдущие периоды, связей в модели упустили и адью. А теперь будут долго и отчаянно оправдыватся)

[vit-r.livejournal.com]

Ну да, спутали молодого улыбчивого темнокожего с белой лживой старухой. А потом разводят руками "Ну кто бы мог подумать!"