Изучение теории ошибок поможет избежать ложных интерпретаций данных социологов

Разговоры об ошибках социологов — привычная тема общественных дискуссий. Прежде всего, этому способствуют провалы электоральных прогнозов. Достаточно вспомнить нашумевший скандал о том, что никакие опросные фирмы не смогли предсказать выборы мэра Москвы, а команда Алексея Навального, члены которой не являются профессиональными социологами, приблизилась к оценкам наиболее близко.

Теория ошибок подразделяет все возможные смещения на два основных типа. Первый относится к ошибкам измерения и связан с тем, как себя ведет опросный инструмент в той или иной ситуации. Второй тип — это ошибки репрезентаций. То есть то, каким образом мы попадаем или не попадаем в ту или иную социальную группу.

Ошибки измерения часто связаны с формулировками вопросов, так называемым «вордингом», который исследователи предлагают для оценки респондентам.

Людям можно задавать нейтральные вопросы, а можно, например, спросить: «Как вы думаете, насколько адекватны действия украинских властей против экстремистов Майдана?»

Сюда же можно отнести вопросы, которые формируют определенные представления, или те, в которых просто не предусмотрены варианты ответов. Такие формулировки используются для создания некоторого благоприятного впечатления о том или ином кандидате, проведенной работе или плане действий, для чего негативные оценки из анкеты просто выкидываются. Весьма показательный пример — вопрос, предложенный Федеральной антимонопольной службой (ФАС России) весной этого года для оценки своих планов: «Считаете ли Вы план деятельности эффективным инструментом реализации цели по защите и развитию конкуренции на товарных и финансовых рынках — (1) да, это эффективный инструмент; (2) да, но требуется его ежегодная корректировка, учитывающая изменения в экономике, законодательстве и другие внешние факторы; (3) существуют и другие эффективные инструменты». Весьма неуклюжая формулировка дополняется и отсутствием неудобных для «исследователя» альтернатив. ФАС просто не хочет видеть критические замечания, блокируя их посредством формулировок допустимых ответов.

Кроме того, существует очень любопытный эффект поиска правды. Его обнаружил социолог Кирилл Новиков, когда занимался исследованием опросного инструмента трех ведущих российских компаний: ВЦИОМа, ФОМа и Левада-Центра. Он увидел, что некоторые из их вопросов буквально провоцируют респондента на тот или иной ответ. Новиков показал, что в большей степени это вызвано стремлением найти правду, уберечь респондента ото лжи. На этом пути конструируются однозначные, полярные позиции шкалы, отражающие представления аналитиков, не озабоченных точностью и надежностью замеров. «Для вас США сейчас — это защитник мира, демократии, порядка во всем мире или агрессор, который стремится взять под контроль все страны мира?» Бинарная оппозиция понятий с яркой эмоциональной нагрузкой подводит респондента к «правдивому», однозначному ответу, ставит перед выбором. Задача исследователя — заставить этот выбор сделать, блокировать любое уклонение от ответа, любое сомнение, например в наличие демократии и порядка в мире.

Но есть и другая точка зрения на этот вопрос.

Российский социолог Сергей Чесноков считает, что респонденты никогда не лгут. При всей своей парадоксальности за этими словами стоит противоположный подход к сбору социальной информации. Он связан с тем, что сам факт состоявшегося разговора говорит нам о том, что респондент в конкретных обстоятельствах, в конкретной обстановке говорит то, что должен был сказать. И для социологов важно не пытаться понять, лжет он или не лжет, а полностью реконструировать этот контекст, показать, как он реализовывался. И здесь мы подходим к относительно новой для российской аудитории, но уже устоявшейся традиции когнитивного анализа опросного инструмента, когда исследователь не составляет заведомо правильные вопросы, а наблюдает за жизнью вопроса, который проходит некоторый ряд трансформаций от изначальных представлений исследователя до услышанной респондентом речевой конструкции.

Дмитрий Рогозин "Теория ошибок в массовых опросах"

После крымских событий, предшествующих и последующих замеров общественного мнения, в интеллектуальной среде развернулась острая дискуссия об этическом и профессиональном компонентах проведенных замеров. Камнем преткновения для многих стал высокий, абсолютно неожиданный уровень поддержки населением решения о присоединении Крыма. Одни писали, что «социологи» допустили грубейшие ошибки, другие — что пошли на поводу у власти. Пожалуй, наиболее эмоциональное высказывание, которое мне довелось увидеть, заключалось в прямой стигматизации целой дисциплины: «Социологии никогда не отмыться». За столь эмоциональным откликом на результаты рутинной работы по измерению общественного мнения виден колоссальный зазор между профессиональным и публичным бытованием методологии социальных обследований. В первом мы имеем дело с ошибками измерения и репрезентации, детальным наблюдением за тем, что происходило в поле, когда задавались вопросы и фиксировались ответы, формировалась выборка и проверялась ее реализация. Во втором — единственной реальностью становятся сами распределения, проценты, которые начинают трактоваться с отрывом от каких-либо коммуникативных реалий.

Точнее эти реалии наращиваются и создаются в ходе таких обсуждений.

В действительности «крымский» опрос (проведенный ФОМ и ВЦИОМ в марте этого года), как его окрестили в публичной среде, показавший беспрецедентную консолидацию российского общества, открыл новую технологическую эру в проведении опросов и может считаться модельным для последующего ряда замеров. Весь производственный цикл от получения заказа до предъявления итогового отчета занял три дня. За это время было опрошено около 50 000 респондентов на общероссийской выборке. Беспрецедентный, фантастический результат, который стал возможным благодаря внедрению автоматизированных технологий сбора данных, слаженной работе десятков региональных звонковых центров, оперативному проектированию и редактированию выборки. Точные замеры мнений, протестированные посредством методических наблюдениях, даже не рассматривались политическими деятелями, поскольку они слишком сильно ограничивали свободу интерпретаций, возможность конституирования собственной позиции по отношению к власти. Здесь мы видим реальный конфликт методической и политической составляющей опросов, который может разрешаться лишь в детальном изучении теории ошибок.

Почему социологические опросы вызывают недоверие