Эффект режима - Mode effect

Эффект режима - это широкий термин, обозначающий явление, когда конкретный режим администрирования обследования вызывает сбор разных данных. Например, при задании вопроса в двух разных режимах ( например, бумажный и по телефону) ответы в одном режиме могут значительно и существенно отличаться от ответов, даваемых в другом режиме. Эффекты режима - это методологический артефакт, ограничивающий возможность сравнения результатов из разных режимов сбора.

Теория

Определенные режимы опроса помещают респондентов в разные настроения, называемые мысленным «сценарием». Это может повлиять на результаты, которые они дают. Например:

• Очные опросы подсказывают «гостевой» сценарий. Респонденты с большей вероятностью будут относиться к интервьюерам, проводящим личные беседы, любезно и гостеприимно, что приведет к их большей доброжелательности и повлияет на их ответы. Различия между интервьюерами, проводящими опрос, также могут привести к целому ряду «эффектов интервьюера» на результаты опроса.
• Телефонные интервью подсказывают сценарий «солиситора» или «телемаркетера». Респонденты могут уделять меньше внимания телефонным интервью, что делает их более удовлетворительными (отвечая на вопросы с наименьшими усилиями), чтобы закончить интервью раньше. Настороженность в отношении того, кто может находиться на другом конце телефона, также может побудить респондентов дать более социально приемлемые ответы, чем в других режимах опроса.

Эффекты режима, вероятно, будут больше, когда различия между режимами больше. Личные интервью существенно отличаются от форм, заполняемых вручную на бумаге. Напротив, веб-опросы, ручная работа и другие формы для самостоятельного заполнения очень похожи (каждая требует, чтобы респонденты прочитали вопрос и ответили на него лично), и поэтому эффекты режима могут быть минимизированы.

Пользователи опросов должны учитывать возможность эффектов режима при сравнении результатов исследований в разных режимах. Однако это сложно, поскольку эффекты режима могут быть сложными и зависеть от взаимодействия между демографическими характеристиками респондентов, предметом обсуждения и режимом. До тех пор, пока эффекты режима не будут официально исследованы для инструмента обследования, трудно количественно оценить их размер, и вместо этого требуются качественные суждения экспертов, знакомых с предметом и соответствующими режимами.

Предубеждение социальной желательности

Исследования эффектов режима иногда противоречивы, но некоторые общие закономерности все же обнаруживаются. Например, предвзятость социальной желательности обычно бывает самой высокой для телефонных опросов и самой низкой для веб-опросов:

1. Телефонные опросы
2. Очные опросы
3. IVR опросы
4. Почтовые опросы
5. Интернет-опросы

Таким образом, поскольку данные, собранные по деликатным темам (таким как сексуальное поведение или незаконная деятельность), будут меняться в зависимости от режима администрирования, исследователям следует с осторожностью комбинировать данные или сравнивать результаты из разных режимов.

Различия в вопросах между режимами

Некоторые режимы требуют формулировки вопросов, отличных от других, чтобы соответствовать особенностям режима. Например, для самостоятельного заполнения форм могут использоваться списки примеров или подробные инструкции, помогающие респондентам ответить на относительно сложные вопросы. Напротив, в телефонных интервью респонденты часто ограничены своей рабочей памятью и вряд ли поймут длинный вопрос с несколькими подпунктами. Другой пример - «матрица» вопросов, обычно встречающаяся в самозаполненных формах, которую нелегко прочитать во время устного интервью; скорее матрица, как правило, должна быть написана в виде серии отдельных вопросов.

Различия в формулировках вопросов в разных режимах могут привести к сбору разных данных в разных режимах. Однако это не всегда так, и соответствующая адаптация вопросов к новому режиму может дать сопоставимые данные. Разработчики опроса должны учитывать условные обозначения режима при адаптации вопросов. Например, хотя может быть приемлемым потребовать от респондентов подсчитывать итоговые цифры самостоятельно в бумажной форме, респонденты могут посчитать обременительным, если это требуется в веб-форме (где респонденты могут ожидать, что итоговые суммы будут рассчитываться компьютером автоматически) . Это, в свою очередь, может изменить их отношение к форме, изменить их поведение и, в конечном итоге, изменить собранные данные.

Выявление и устранение эффектов режима

Эффекты режима можно определить, включив эксперимент в опрос, где определенная доля респондентов распределяется по каждому режиму. Различия в результатах для каждого режима должны определять «эффект режима» для данного конкретного опроса.

После количественной оценки эффекта режима можно будет использовать эту информацию для повторной обработки существующих данных и обеспечения возможности сравнения данных, собранных в различных режимах (например, путем ретроспективного анализа временного ряда, чтобы определить, какие прошлые результаты «были бы», если бы они были введены. в новом режиме).

Дифференциальный охват между режимами

Различные режимы введения могут по своей природе исключать некоторые части целевой популяции. Это потенциально смещает взятый образец и меняет данные по сравнению с данными, которые были бы собраны с использованием другого режима. Например, люди без домашнего телефона исключаются из опросов случайного набора цифр (RDD), а люди без доступа в Интернет вряд ли пройдут веб-опрос. Это означает, что при использовании разных режимов из совокупности берутся разные образцы. Если эксперименты не предназначены специально для исследования дифференциального покрытия, эффекты режима будут смешиваться с покрытием, и значительные различия между режимами / условиями эксперимента могут иметь несколько объяснений:

• свойства режима; com3
• разные «типы» людей, реагирующие на разные способы;
• как свойства режима, так и различные «типы» респондентов (в аддитивной форме);
• взаимодействие , где некоторые респонденты влияют свойства режима , но другие не являются.

Эта проблема усугубляется, когда при «живом» администрировании опроса используются несколько режимов. В некоторых опросах используется несколько режимов, что позволяет респондентам выбрать наиболее удобный для них метод. То есть ожидается, что разные «типы» респондентов будут выполнять разные формы на основе своего собственного выбора. В этом случае эффекты режима сложно оценить количественно, поскольку случайное распределение респондентов по условию не отражает их предпочтений. Такому эксперименту не хватает внешней достоверности, и его результаты нельзя напрямую обобщить на ситуации, предлагающие респондентам выбор. Неспособность случайным образом распределить участников по условию (т. Е. Дать им возможность выбора, тем самым сохраняя внешнюю достоверность) будет означать, что очевидные различия между режимами отражают комбинированный эффект а) разных типов респондентов, выбирающих каждый режим, и б) любых эффектов режима.

Ссылки