Контроль качества собираемых данных

Контроль за преднамеренными ошибками интервьюеров осуществляется двумя способами: путем надзора за их работой и путем проверки выполненной работы. Надзор осуществляется, например, путем незамет­ного подключения к телефонной линии, по которой берется интервью. При устном интервьюировании интервьюера может сопровождать прове­ряющее лицо.

Цель проверки проведенного опроса заключается в выявлении слу­чаев обмана и фальсификации со стороны интервьюеров.

Для этого можно установить повторный контакт с рядом ранее оп­рошенных респондентов и узнать, принимали ли они участие в опросе, и проверить выборочно их ответы на вопросы. Кроме того, опытный про­веряющий, просматривая заполненные ответы, может обнаружить какие-то несоответствия. Например, очень молодой человек оказался отцом многодетной семьи.

Уменьшение непреднамеренной ошибки интервьюеров осуществ­ляется путем проведения ориентационных сессий и путем разыгрывания ролей. В первом случае производится ознакомление интервьюеров с це­лями обследования, с вопросником, с инструкцией по его заполнению. Разыгрывание ролей предполагает пробное заполнение анкет, когда одни из участников сессии исполняют роли интервьюеров, а другие — респон­дентов.

Контроль за преднамеренными ошибками респондентов направлен на снижение числа случаев лжи и отказа участвовать в обследовании. Для этого прежде всего необходимо сохранять анонимность и конфиденци­альность (данные личного характера, останутся известными только рес­понденту). Далее, используются различные меры стимулирования участия респондентов в обследовании (денежная оплата, подарки, сувениры). Проверка достоверности ответов заключается в поиске ложных ответов путем их просмотра. Например, может быть обнаружено, что выглядящий немолодым респондент называет молодой возраст, потрепанно одетый — укажет высокий заработок. В ряде случаев для преодоления нежелания правдиво отвечать на вопросы последние задаются от третьего лица. На­пример, мужчине средних лет может быть задан вопрос: «Как вы думаете, будет ли использовать человек вроде вас данное средство от облысения?»

Контроль за непреднамеренными ошибками респондентов осуще­ствляется в различных формах. Необходимо тщательно составлять во­просники и инструкции к ним, использовать разнонаправленные шкалы измерений. Для уменьшения числа ответов-предположений в шкалы вво­дятся такие градации, как «не имею мнения», «не могу вспомнить», «не уверен». Нецелесообразно в шкалах для всех вопросов с одной стороны располагать негативные оценки, а с другой — только положительные. Надо менять полярность вопросов, что повышает внимательность рес­пондентов, заставляет их больше думать над ответами. Наконец, в во­просниках для поддержания внимания респондентов и доведения обсле­дования до конца могут использоваться такие фразы, как «Опрос близит­ся к концу», «Вы ответили на самые трудные вопросы».

Можно выделить три типа ошибок, обусловленных нежеланием респондента отвечать на вопросы: из-за отказа вообще принять участие в обследовании, из-за прекращения участия и из-за отказа отвечать на оп­ределенные вопросы.

Так, респондент может отказаться от участия в опросе из-за отсут­ствия интереса к данному обследованию или принципиальной отрица­тельной позиции по отношению к любому обследованию подобного рода, из-за своей занятости, ему может не понравится голос интервьюера, ма­нера задавания вопросов и т.п.

Причины прекращения ответов на вопросы также являются весьма различными. Возможно, что ответы потребовали больших затрат времени, чем ожидалось; некоторые вопросы носят чрезмерно личностный харак­тер; пояснения к ответу на ряд вопросов оказались непонятными; ответы прервал телефонный звонок, возвращение из школы ребенка и т.п.

Наконец, респондент просто может не ответить только на некото­рые вопросы — чрезмерно личностного характера или вызывающие не­приятие по тем или иным причинам. Поэтому в шкалу в ряде случаев специально вводят градацию «отказываюсь отвечать».

Для уменьшения ошибки, обусловленной отказом отвечать на во­просы, необходимо прежде всего ее измерить. Если величина ошибки является существенной, то надо предпринять меры для ее уменьшения. Для этого используются два метода: взвешенных средних и формирова­ния выборки больших размеров.

Первый метод предполагает использование весов для точного представления отдельных подгрупп изучаемой совокупности. Таким путем учитывается разное число «отказников» для разных подгрупп. Взве­шенная средняя рассчитывается по следующей формуле:

где х — взвешенная средняя оценка для выборки;

x_a, x_b... — средние оценки для разных подгрупп выборки;

W_a, W_b… — веса отдельных подгрупп, характеризующие долю каждой подгруппы в совокупности.

Например, изучается мнение потребителей относительно крема для загара определенной марки. Демографические данные говорят о том, что целевой рынок включает 50% мужчин и 50% женщин. Однако на вопро­сы почтового опроса ответило 25% мужчин и 75% женщин. В этом случае возможно уточнение полученных данных путем введения весов, характе­ризующих пропорцию 50:50. На вопрос анкеты: «Сколько бы вы запла­тили за флакон крема?» — мужчины в среднем ответили 2 доллара, а женщины — 3 доллара. В этом случае средняя оценка (пропорция 25:75) составит 2,75 доллара. Однако если использовать истинную пропорцию 50:50, то средняя цена составит 2,50 доллара.

Второй метод заключается в сознательном формировании выборки больших размеров, чем требуется для анализа. Из этой выборки выбира­ются подгруппы, по размерам соответствующие представлениям о струк­туре целевой выборки.

Скажем, в нашем примере относительно крема для загара вопросы были посланы 10 000 респондентам, из которых только 2000 дали ответы. При этом имела место некорректная пропорция 25:75. Возможно вместо использования весовых коэффициентов просто не принимать в расчет 1000 ответов женщин, приведя таким образом пропорцию к истинному значению 50:50, т.е. учитывая ответы 500 мужчин и 500 женщин. Хотя, конечно, лучше использовать другие методы уменьшения числа «отказни­ков», рассмотренные выше.

Перед тем как табулировать и анализировать данные проведенного обследования, целесообразно провести их предварительную проверку и выявить ошибки респондентов.

Для этого прежде всего следует проверить анкеты на полноту и точность их заполнения, выявить возможную ненадежность (разные под­ходы к ответам на подобные вопросы) и односторонность ответов (например, только «да», «нет», «нет мнения»). Осуществляется это на систематической и несистематической основе. В первом случае анкеты выбираются случайным образом, и осуществляется их проверка на основе выборочных процедур; во втором — анкеты для проверки отбираются произвольным образом.

Если такие ошибки являются весьма существенными, то анкеты изымаются из дальнейшего анализа. Если возможно, то производится уточнение ответов. Жестких правил в данной области не существует, и они основаны на традициях, опыте и т.п., т.е. на неформальных подходах к определению, какие анкеты пригодны для последующего анализа, а какие — нет. Поэтому лучше ужесточить контроль сбора данных, умень­шив таким образом проблемы предварительной оценки собранных дан­ных.