Надежность и достоверность измерения маркетинговой информации

Описанные выше способы построения шкал не дают полного пред­ставления о свойствах полученных оценок. Необходимы дополнительные процедуры для выявления присущих этим оценкам ошибок. Назовем это проблемой надежности измерения. Данная проблема решается путем вы­явления правильности измерения, устойчивости и обоснованности.

При изучении правильности устанавливается общая приемлемость данного способа измерения (шкалы или системы шкал). Непосредствен­но понятие правильности связано с возможностью учета в результате измерения различного рода систематических ошибок. Систематические ошибки имеют некоторую стабильную природу возникновения: либо они являются постоянными, либо меняются по определенному закону.

Устойчивость характеризует степень совпадения результатов изме­рения при повторных применениях измерительной процедуры и описы­вается величиной случайной ошибки. Она определяется постоянством подхода респондента к ответам на одинаковые или подобные вопросы.

Например, вы являетесь одним из опрашиваемых, отвечающих на вопросы анкеты табл. 4.14 относительно деятельности какого-то рестора­на. Из-за медленного обслуживания в данном ресторане вы опоздали на деловую встречу, поэтому вы дали самую низкую оценку по данному по­казателю. Спустя неделю вам позвонили и просили подтвердить, что вы действительно приняли участие в проведенном обследовании. Затем вас попросили по телефону ответить на ряд дополнительных вопросов, среди которых был вопрос о быстроте обслуживания по шкале от 1 до 7, где 7 означало самое быстрое обслуживание. Вы поставили 2, продемонстрировав высокий уровень идентичности оценок и, следовательно, — устойчи­вость ваших оценок.

Наиболее сложный вопрос надежности измерения — его обосно­ванность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее.

При установлении надежности следует иметь в виду, что в процес­се измерения участвуют три составляющие: объект измерения (респон­дент), измеряющие средства, с помощью которых производится отобра­жение свойств объекта на числовую систему, и субъект (интервьюер), производящий измерение. Предпосылки надежного измерения кроются в каждой отдельной составляющей.

Прежде всего сам объект в отношении измеряемого свойства мо­жет обладать значительной степенью неопределенности. Так, зачастую у респондента нет четкой иерархии жизненных ценностей, а следователь­но, нельзя получить и абсолютно точные данные, характеризующие важ­ность для него тех или иных явлений. Он может быть плохо мотивиро­ван, вследствие чего невнимательно отвечает на вопросы. Однако только в последнюю очередь следует искать причину ненадежности оценок в самом респонденте.

С другой стороны, может быть, что способ получения оценки не в состоянии дать максимально точных значений измеряемого свойства. Например, у респондента существует определенная иерархия ценностей, а для получения информации используется номинальная оценка с вариа­циями ответов от «очень важно» до «совсем неважно». Как правило, из приведенного набора все ценности помечаются ответами «очень важно», «важно», хотя реально у респондента имеется большее число уровней значимости.

Наконец, при наличии высокой точности первых двух составляю­щих измерения субъект, производящий измерение, допускает грубые ошибки; нечетко составлены инструкции к анкете; интервьюер каждый раз по-разному формулирует один и тот же вопрос, используя различную терминологию. Например, в процессе интервью, в ходе которого должна быть выявлена система ценностей опрашиваемого, интервьюер не смог довести до респондента суть опроса, не смог добиться доброжелательного отношения к исследованию и пр.

Каждая составляющая процесса измерения может быть источником ошибки, связанной либо с устойчивостью, либо с правильностью, либо с обоснованностью. Однако, как правило, исследователь не в состоянии разделить эти ошибки по источникам их происхождения и поэтому изу­чает ошибки устойчивости, правильности и обоснованности всего изме­рительного комплекса в совокупности. При этом правильность (как от­сутствие систематических ошибок) и устойчивость информации — эле­ментарные предпосылки надежности. Наличие существенной ошибки в этом отношении уже сводит на нет проверку данных измерения на обос­нованность.

В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового показателя, критерии обоснованности определяются либо на основе логических рас­суждений, либо на основе косвенных показателей. Обычно применяется сравнение данных одной методики с данными других методик или иссле­дований.

Прежде чем приступать к изучению таких компонентов надежно­сти, как устойчивость и обоснованность, необходимо убедиться в пра­вильности выбранного инструмента измерения.

Возможно, что последующие этапы окажутся излишними, если в самом начале выяснится полная неспособность данного инструмента на требуемом уровне дифференцировать изучаемую совокупность, иначе говоря, если окажется, что систематически не используется какая-то часть шкалы либо та или иная градация шкалы или вопроса. И наконец, возможно, что исходный признак не обладает дифференцирующей спо­собностью в отношении результирующего показателя — индекса. В пер­вую очередь нужно ликвидировать или уменьшить такого рода недостатки шкалы и только затем использовать ее в исследовании.

К числу недостатков используемой шкалы прежде всего следует отнестиотсутствие разброса ответов по значениям шкалы. Попадание от­ветов в один пункт свидетельствует о полной непригодности измеритель­ного инструмента — шкалы. Такая ситуация может возникнуть или из-за «нормативного» давления в сторону общепринятого мнения, или из-за того, что градации (значения) шкалы не имеют отношения к распределе­нию данного свойства у рассматриваемых объектов (нерелевантны).

Например, если все опрашиваемые респонденты согласны с утвер­ждением «хорошо, когда строительный инструмент является универсаль­ным» и нет ни одного ответа «не согласен», то подобная шкала не помо­жет дифференцировать отношение респондентов к разным типам строи­тельных инструментов.

Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обширной зоной.

Так, если респондентам для оценки предлагается шкала, имеющая положительный и отрицательный полюса, в частности от +3 до —3, то при оценивании какой-то заведомо положительной ситуации респонден­ты не используют отрицательные оценки, а дифференцируют свое мне­ние лишь с помощью положительных. Для того чтобы вычислить значе­ние относительной ошибки измерения, исследователь должен знать оп­ределенно, какой же метрикой пользуется респондент — всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова дейст­вительная вариация мнений.

Для вопросов, имеющих качественные градации ответов, можно применять подобное требование в отношении каждого пункта шкалы: каждый из них должен набирать не менее 5% ответов, в противном слу­чае считаем этот пункт шкалы неработающим. Требование 5%-ного уров­ня наполнения каждой градации шкалы не следует рассматривать как строго обязательное; в зависимости от задач исследования могут быть выдвинуты большие или меньшие значения этих уровней.

Неравномерное использование отдельных пунктов шкалы. Случается, особенно при использовании упорядоченных шкал, что некоторое значе­ние переменной (признака) систематически выпадает из поля зрения респондентов, хотя соседние градации, характеризующие более низкую и более высокую степень выраженности признака, имеют существенное наполнение.

Так, если конфигурация распределения ответов на вопрос с че­тырьмя упорядоченными градациями такова, как на рис. 4.4, градации данной шкалы, видимо, неудачно сформулированы. Значительное напол­нение двух соседних по отношению к пункту 2 пунктов (1 и 3) свидетель­ствует о «захвате» части голосов из плохо сформулированного пункта 2.