Обоснованность измерения.

Проверка обоснованности шкалы предпринимается лишь после того, как установлены достаточные правильность и устойчивость измерения исходных данных. Как уже отмечалось, проверка обоснованности — достаточно сложный про­цесс я, как правило, не до конца разрешимый, И поэтому нецелесообразно сначала применять трудоемкую технику для выявления обоснованности, а после- Этого убеждаться в неприемлемости дан­ных вследствие их низкой устойчивости.

Обоснованность данных измерения — это доказательство соответ­ствия между тем, что измерено, и тем, что должно было быть измерено. Некоторые исследователи предпочитают исходить из так называемой наличной обоснованности, т. е. обоснованности в понятиях использованной процедуры. Например, считают, что удовлет­воренность работой— это то свойство, которое содержится в /от­ветах -на вопрос: «Удовлетворены ли Вы работой?» В серьезном социологическом исследовании, имеющем целью проверку некоторые теоретических гипотез, такой сугубо эмпирический подход не­приемлем.

Остановимся на возможных формальных подходах к выяснению уровня обоснованности методики. Их можно разделить на три группы: 1) конструирование, типологии в соответствии с целями иссле­дования на базе нескольких признаков; 2) использование парал­лельных данных; 3) судейские процедуры.

Первый вариант нельзя считать формальным методом — это все­го лишь некоторая схематизация логических рассуждений, начало процедуры обоснования, которая может быть на этом и закончена, а может быть подкреплена более мощными средствами.

Второй вариант требует использования по крайней мере двух источников для выявления одного и того же свойства. Обоснованность определяется степенью согласованности соответствующих данных.

В последнем случае мы полагаемся на компетентность судей, которым предлагается определить, измеряем > ли мы нужное Вам свойство или что-то иное.

Рассмотрим предложенные варианты последовательно. Конструированная типологиях Один из способов —использова­ние контрольных вопросов, которые _в совокупности- с основными дают большее приближение к содержанию изучаемого свойства, раскрывая различные его стороны.

Например, можно определять удовлетворенность работой лобо­вым вопросом: «Устраивает ли вас Ваша нынешняя работа?» Комбинация его с двумя другими косвенными: «Хотите ли Вы перейти на другую работу?» и «Предположим, что Вы по каким-то причинам временно не работаете. Вернулись бы Вы на свое прежнее месте работы?» позволяет произвести более надежную дифферен­циацию респондентов. Типология по пяти упорядоченным группам от наиболее удовлетворенных работой до наименее удовлетворенных проводится с помощью «логического квадрата.

Обоснованность в подобного рода типологии не доказывается каким-либо формальным критерием и опирается на логические доводы.

Единственное требование, которое может быть выдвинуто при конструировании такого рода типологии,— это положительная кор­реляция между составляющими ее признаками. Отсутствие положительной взаимосвязи между вопросами может свидетельствовать о том, что мы не понижаем сущности измеряемого явления.

Так, попытка построить типологию самостоятельности инженера в работе на базе двух вопросов — сложность получаемых инже­нером заданий (плюс за сложность) и обращение его за консуль­тациями (плюс за самостоятельное решение) — оказалась неудач­ной, ибо вопросы коррелировали отрицательным образом и как раз сложность задания предполагала обращение к консультациям.

Параллельные данные. Нередко целесообразно разработать два равноправных приема измерения заданного признака, что позволяет установить обоснованность методов относительно друг друга, т.е. повысить общую обоснованность путем сопоставления двух неза­висимых результатов.

Классифицируем параллельные процедуры в зависимости от соотношения методов и исполнителей: а) несколько методов — один исполнитель. б) один метод — несколько исполнителей; в) несколь­ко методов — несколько исполнителей.

Несколько методов — один исполнитель. Здесь один и тот же исполнитель использует два или более различных метода для изме­рения одного и того же свойства.

Рассмотрим различные способы использования этого метода, и прежде всего — эквивалентные шкалы. Понятие эквивалентности тесно связано здесь с психологическим явлением социальной установки. Всевозможные акты поведения, обусловленные некоторой установкой, или состояние (Предрасположенности к определенному поведений: составляют целостность (универсум) данной предрасположенности. Универсум можно описать совокупностью признаков.

Возможны равнозначные выборки признаков для описания — измерения социальной установки. Эти выборки и образуют парал­лельные шкалы, обеспечивая параллельную надежность.

Каждую шкалу рассматриваем как способ измерения некоторого свойства в зависимости от числа параллельных шкал имеем ряд способов измерения. В качестве исполнителя выступает респондент, дающий ответы одновременно по всем параллельным шкалам. Все ответы сортируем в зависимости от принадлежности ki шкале и та­ким образом получаем параллельные данные.

При обработке такого рода данных следует выяснить два момента: 1) непротиворечивость пунктов отдельной шкалы; 2) согласо­ванность оценок по разным шкалам.

Первая проблема возникает в связи о тем, что модели ответов не представляют идеальной картины: ответы нередко, противоречат ДРУГ другу, Такая противоречивость свойственна как кумулятивным, так я некумулятивным шкалам. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале.

Вторая проблема непосредственно касается сопоставления па­раллельных данных,

Рассмотрим пример неудавшейся попытки повысить надежность измерения признака «удовлетворенность инженера профессией» с помощью трех параллельных порядковых шкал. Приведем две из них:

15 суждений (в порядке, обозначенном слева) предъявляются респонденту общим списком, и он должен выразить свое согласие или несогласие с каждым из них. Каждому суждению присваива­ется оценка, соответствующая его рангу в указанной шкале (спра­ва). (Например, согласие с суждением 4 дает оценку «1», согласие с суждением 11 —оценку «5» и т. д.).

Рассматриваемый здесь способ предъявления суждений списком дает возможность проанализировать пункты шкалы на непротиво­речивость. При использовании упорядоченных номинальных шкал обычно считается, что пункты, образующие шкалу, взаимно исклю­чают друг друга и респондент легко, найдет тот из них, который ему подходит.

Изучение распределений ответов показывает, что респонденты выражают согласие с противоречивыми (с точки зрения исходной гипотезы) суждениями. Например, по шкале «S» 42 человека из 100 одновременно согласились с суждениями 13 и 12, т. е. с двумя противоположными суждениями.

Наличие в ответе противоречивых суждений приводит к необходимости вычислять ошибку противоречивости. Это будет разница в рангах, наиболее противоположных для данной шкалы суждений в ответе респондента.

Итак, средние ошибки, характеризующие противоречивость для рассматриваемых шкал, оказались равными

D_а=0,37; D_b=1,57

Ошибка в 1,57 балла при пятибалльной оценке, видимо, слишком велика, чтобы считать шкалу приемлемой.

Для эквивалентных шкал итоговая оценка респондента рассчи­тывается как суммарная (или усредненная) оценка по разным шка­лам. Однако для правомерности такой процедуры необходимо уста­новить соответствие оценок респондента по всем рассматриваемым шкалам.

В вышеприведенном примере такого соответствия не наблюда­лось, что сказалось на коэффициенте корреляции r= -0,02.

Поиск эквивалентной процедуры для повышения надежности шкалы весьма утомительная и кропотливая операция. Поэтому данный прием можно рекомендовать лишь при разработке ответ­ственных психологических тестов или методик, предназначенных для массового употребления или панельных исследований.

Один метод — несколько исполнителей. Если метод надежен, то разные исполнители дадут совпадающую информацию, но если Их результаты плохо согласуются, то либо измерения ненадежны, ли­бо результаты отдельных исполнителей нельзя считать равноцен­ными. В последнем случае надо установить, нельзя ли считать ка­кую-либо группу результатов заслуживающей большего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматри­ваемых методов (например, использование самооценок против оце­нок). Анализ параллельных данных с помощью описанных ниже процедур позволит установить правильность такого предположения.

Для количественных признаков при решении вопроса о согласо­ванности оценок нескольких исполнителей предлагается выявить ошибки соответствия одним из приемов, рассмотренных при изуче­нии устойчивости. Прежде всего, поскольку мы имеем здесь слу­чай прямых групповых наблюдений, наиболее адекватной оценкой совпадения данных является средняя квадратическая ошибка.

Пусть каждый раз измерение производят два человека, и респонденту приписывается значение в виде средней (х) из двух ис­ходных. Оценку точности такого измерения следует производить по формуле

Пример.Двое судей оценивают опытность инженера в работе по семибальной шкале. Предположим, что 13 респондентов получили такие оценки:

Итак, средняя ошибка при таком способе оценивания респондента составляет почти 1 балл. В том случае, если число измерений каждого объекта равно 3, формула для расчета ошибки будет

где n – число респондентов (объектов).

s²_i – дисперсия оценок i-го респондента.

Допустим, что рассмотренную выше совокупность из 13 респон­дентов оценивают не двое, а трое судей, т. е. добавляется еще одна строчка данных и следующие расчеты:

Как видно, оценивание с помощью трех лиц значительно надеж­нее, чем с помощью двух (соответствующие ошибки 0,69 и 0,97).

Обоснование измеряемого свойства путем определения уровня согласованности нескольких шифровальщиков — классический при­ем, используемый в контент-анализе документов. Этот метод, вы­явления надежности особенно необходим здесь, ибо, как правило, анализируемый документ не имеет в тексте четких границ измеря­емого признака, референты которого расплывчаты и толкуются неоднозначно, самые детальные инструкции по шифровке все же не дают исчерпывающих указаний.

Тем же способом можно изучать совпадения оценок и самооце­нок. Если согласованность оценок со стороны «судей» и соответ­ствующих самооценок респондентов будет достаточно высокой, это может означать, что методика достаточно обоснованна. Во всяком случае, одновременное использование оценок и самооценок дает возможность глубже понять сущность измеряемых признаков, уточнить их смысл.

Несколько методов и, несколько исполнителей. Одним из спосо­бов установления обоснованности измерения некоторого качества у одного и того же респондента (объекта) .является фиксирование данного свойства разными исполнителями, владеющими разными .методами. Как и предыдущих случаях, здесь нельзя установить некую абсолютную, обоснованность, поэтому рассматривается лишь, обоснованность одного способа относительно другого.

Такая ситуация наблюдает, например, в случае, если руководитель ранжирует своих подчиненных по какому-то качеству а ис­следователь ранжирует этих же людей на основании их опроса по специально разработанной методике. Скорее всего надежность пер­вого способа ранжирования значительно выше, и обоснованность второго метода следует проверять по его согласованности с первым.

Используя параллельные методы измерения одного и того же свойства, исследователь сталкивается с целым рядом трудностей.

Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных крите­риев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода.

Во-вторых, если обнаруживается, что параллельные процедуры измеряют общее свойство (данные существенно не различаются), остается вопрос о теоретико-содержательном соответствии этих процедур, .

Нельзя не признать, что сам принцип использования парал­лельных процедур оказывается, не формальным, а скорее содержа­тельным принципом, и решение остается за теоретико-методологи­ческой концепцией исследования.

Именно теоретическая позиция исследователя, теоретическая обоснованность метода измерения оказываются решающими фак­торами при решении вопроса о предпочтительности той или иной процедуры. Такое заключение необходимо сделать по отношению к параллельным процедурам, когда ни одна из них не обладает большей достоверностью по сравнению с другой.

Метод судейства при обосновании процедур измерения. Один из широко распространенных подходов к установлению обоснован­ности — это использование так называемых судей. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве судей или компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого явления, и просят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого явления. В качестве набора признаков мо­жет выступить список отдельных суждений, серия предметов, со­вокупность обследуемых лиц и т. д.

Процедуры судейства многообразны. Способ выявления отноше­ния признаков к измеряемому свойству определяет сущность ме­тода. Это могут быть методы парных сравнений, ранжирования, последовательных интервалов и т. д. В каждом случае, выбирая ту или иную технику судейства, необходимо учитывать ее специ­фические возможности, влияющие на уровень обоснования судей­ских оценок.

Вопрос о том, кого следует считать судьями, достаточно дискуссионен. Судьи, выбираемые в качестве представителей изучаемой совокупности так или иначе должны представлять ее микромо­дель: по оценкам судей исследователь определяет, насколько адек­ватно будут истолкованы респондентами пункты опросной процеду­ры или другие обращенные к респонденту стимулы.

Однако при отборе судей возникает трудноразрешимый вопрос, каково влияние собственных установок судей на их оценки, ведь эти установки Могут существенно отличаться от установок обследу­емых в отношении того же самого объекта.

Ясно, что в каждом конкретном случае следует осуществлять контроль такого рода ошибок применительно к данной выборке судей.

Так, используя мужчин и женщин в качестве судей для оценки потенциальных творческих возможностей различных занятий на досуге, нашли, что установки судей-мужчин существенно отлича­ются от установок судей-женщин. Более того, их установки зави­сят от того, увлекается ли сам судящий данным видом досуга. На­пример, женщины, которые занимаются рукоделием, значительно выше оценивают творческие возможности этого занятия, чем те, которые им не занимаются.

В общем виде решение, проблемы состоит в том, чтобы: а) вни­мательно проанализировать состав судей с точки зрения адекват­ности их жизненного опыта и признаков социального статуса соответствующим показателям обследуемой генеральной совокупно­сти; б) выявить эффект индивидуальных уклонений в оценках судей относительно общего распределения оценок. Наконец, следу­ет оценить не только качество, но и объем выборочной совокупно­сти судей. Здесь также нет единодушия между специалистами. Рекомендуется брать то 25—30 человек, то 200—300 и более. Серьезных обоснований в обоих случаях не приводится.

Рассмотрим эту проблему на языке измерения. Поскольку судьи должны измерить некоторое свойство, которое содержится в данном признаке, процедуру судейства можно понимать таким обра­зом: каждый судья i (1 = 1, 2, ..., N), измеряя одно и то же свой­ство, дает признаку некоторую оценку х и помещает его в неко­торый класс значений. Имея оценки N судей, получаем N измере­ний одного и того же признака. Если признаков k, то имеем Nk измерений. Количество судей надо поставить в прямую зависимость от вариаций их мнений и, таким образом, от однозначности изме­ряемого объекта.

С одной стороны, это количество определяется согласованностью: если согласованность мнений судей достаточно высокая и соответ­ственно ошибка измерения мала, численность судей может быть небольшой. Нужно задать значение допустимой ошибки и на ос­новании ее рассчитать требуемый объем выборки.

При обнаружении полной неопределенности объекта, т. е. в слу­чае, когда мнения судей распределятся равномерно по всем кате­гориям оценки, никакое увеличение объема выборки судей не спа­сет ситуацию и не выведет объект из состояния неопределенности.

С другой стороны, количество измерений и соответственно чис­ло судей должны быть целесообразными. Очевидно, что 1000 судей дадут более надежные данные, но разумнее ограничиться мень­шим количеством, особенно если требования к точности измерения являются не слишком высокими.

Здесь возникает проблема точности (устойчивости) измерения. Рассмотрим с этой точки зрения принципиально разные варианты судейства:

1) производится классификация состояний объекта (сам объект имеет качественные градации);

2) находится количественная оценка изменяющихся состояний объекта, представляющих собой континуум.

В первом случае при определении объема выборки судей необходимо задать некоторый уровень определенности в их мнениях, т. е. энтропия распределения оценок должна быть не выше некоторого порогового значения. Во втором задается уровень допустимой ошибки. Далее возникает вопрос о численности градаций в судей­ских оценках, что относится к чувствительности любой измеритель­ной процедуры. В общем случае речь идет не о чем ином, как о чувствительности измерения, зависящей и от изменчивости объек­та, и от устойчивости инструмента измерения. Основной способ определения дробности судейских оценок — выявление их устойчи­вости путем двух последовательных (современным интервалом) судейств по единой процедуре. Эта операция уже рассматривалась выше в разделе об устойчивости.

Если объект достаточно не определен, то большое число града­ций только внесет дополнительные помехи в работу судей и не принесет более точной информации. Нужно выявить устойчивость судейских мнений с помощью повторной пробы и соответственно сузить число градаций.

Выбор того или иного конкретного способа, метода или техники проверки на обоснованность зависит от многих обстоятельств.

Прежде всего следует четко установить, возможны ли какие-то существенные отклонения от запланированного предмета измере­ния. Как правило, интерпретация полученных данных вследствие различных погрешностей измерения не отвечает полностью эмпи­рической интерпретации понятий или свойств, которыми, согласно гипотезе, обладает этот объект. Бели программа исследования ста­вит чрезвычайно жесткие рамки следует использовать не один, а несколько приемов проверки данных на обоснованность, с тем чтобы четко определить границы достоверности заключения по ги­потезе. Если же она не столь жестко ограничивает содержание объекта, уточнение уровня обоснованности поможет интерпретиро­вать данные в несколько иных направлениях в соответствии с ре­зультатами проверки на обоснованность исходного измерения.

Во-вторых, нужно иметь в виду, что уровни устойчивости и обоснованности данных тесно взаимосвязаны. Неустойчивая инфор­мация уже в силу недостаточной надежности при этому критерию не требует, слишком строгой проверки на обоснованность. Следует обеспечить достаточную устойчивость и уже затем принять соот­ветствующие меры для уточнения границ интерпретации данных

Наконец, надо сказать, что для оперативных Исследований, про­грамма которых разработана лишь в общем виде: (т. е, имеется скорее общий набросок логики исследования, общий замысел), мож­но ограничиться проверкой данных на устойчивость, используя эту информацию. Для некоторых, хотя бы гипотетических, суждений относительно обоснованности.

Выбор конкретной Техники проверки данных на обоснован­ность— задача скорее содержательная, чем формальная. Мы пока­зали, как решается эта задача в зависимости от особенностей методики, подлежащей проверке на обоснованность, того места, которое она занимает в рамках всего исследования, и, главное, в соответствии со спецификой объекта измерения.

Многочисленные эксперименты по выявлению уровня надежно­сти исходной информации, в частности рассмотренные в этой гла­ве, позволяют заключить, что в процессе отработки инструментов измерения со стороны их надежности целесообразна следующая последовательность основных этапов работы:

1. Предварительный контроль обоснованности методов измере­ния первичных, данных на стадии проб методики. Здесь проверяется, насколько - информация отвечает своему назначению по суще­ству и каковы пределы последующей интерпретации данных. Для этой цели достаточны небольшие выборки в 10-20 наблюдений с последующей корректировкой структуры методики.

2. Пилотаж методики и тщательная проверка устойчивости ис­ходных данных, в особенности итоговых показателей, индексов, мно­гомерных шкал и т. п. На этом этапе нужна выборка не менее 100 человек, представляющая микромодель реальной совокупности об­следуемых с учетом представительства по существенным характе­ристикам объекта исследования.

3. В период общего пилотажа осуществляются все необходимые операции, относящиеся к проверке, уровня обоснованности. Резуль­таты анализа данных генерального пилотажа приводят к усовер­шенствованию методики, к доработке всех ее деталей и в итоге — к- получению окончательного варианта методики для основного исследования.

4. В начале основного исследования желательно провести проверку используемого варианта методики на устойчивость с тем, чтобы рассчитать точные показатели ее устойчивости. Доследую­щее уточнение границ обоснованности проходит через весь анализ самого исследования.

Литература для дополнительного чтения

Аванесов В. С. Тесты в социологическом исследовании. М.: Наука, 1982. 199 с.

Бородкин Ф. М., Маркин Б. Г. Эмпирические, описания в социологии.— В кн.: Математика и социология. Новосибирск: Наука. Сиб. отд-ние, 1972, с. 3—41

Воронов Ю. П., Ершова Н. П. Общие принципы социологического измерения.— В кн.: Намерение и моделирование в социологии. Новосибирск: Наука. Сиб. отд-ние, 1969, с. 3—15.

Грин Ф. Б. Измерение установки.— В кн.: Математические методы в. современной буржуазной социологии. М.: Прогресс, 1966, с. 227—287.

Докторов Б. 3. О надежности измерения в социологическом исследовании. Л.: Наука, 1979. 128 с.

Жуков Ю. М. Применение шкалирования в социально-психологических иссле­дованиях.— В кн.: Методология и методы социальной психологии. М.: Наука, 1977, с. 126—135.

Зайцева М. Л. Методы шкалирования при измерении установки.— В кн.: Со­циальные исследования. М.: Наука, 1970, вып. 5, с. 220—242.

Клигер С. А., Косолапое М. С., Толстова Ю. И. Шкалирование при сборе и анализе социологической информации. М.: Наука, 1978. 112 с.

Лазарсфельд П. Ф. Измерение в социологии.— В кн.: Американская социоло­гия: Перспективы, проблемы, методы. М.: Прогресс, 1972, с. 134—149.

Осипов Г. В.. Андреев Э. П. Методы измерения в социологии. М.: Наука, 1977. 183 с.

Процесс социального исследования. Прогресс. 1975, разд. 1,4,2. Саганенко Г. И. социологическая информация: Статистическая оценка надеж­ности исходных данных социологического исследования. Л.: Наука, 1979. 142с.

Статистическое измерение качественных характеристик. М.: Статистика, 1972. . 173 с.

Суппес П. Зинес Дж. Основы теории измерений.— В кн.: Психологические из­мерения. М.: Мир, 1967, с. 9—110.