Влияние валидности теста на оценку показателей заболеваемости в популяции

Только тест обладающий 100% чувствительность и специфичностью может без ошибочно определить показатели заболеваемости (инцидентности, превалентности). На практике когда тесты используются для оценки заболеваемости определенной болезнью, их низкая валидность означает, что часть лиц будет неправильно классифицирована на больных и здоровых. Низкая чувствительность означает, что люди с данной болезнью будут ошибочно отнесены к разряду лиц, ее не имеющих. Это приведет к недооценке превалентности или инцидентности. Низкая специфичность, с другой стороны, означает, что некоторые люди будут ошибочно отнесены к разряду лиц, имеющих эту болезнь. Это приведет к переоценке превалентности или инцидентности. В обоих случаях возникнет ошибка классификации (разновидность информационной (или связанной с измерением) систематической ошибки).

Направление ошибки зависит от того, чего больше: ложноположительных или ложноотрицательных результатов. Количество этих ложных результатов определяется и чувствительностью, и специфичностью, а также количеством людей с заболеванием и без него в популяции. Количество ложноположительных результатов – это ложноположительный показатель, умноженный на количество людей, не имеющих заболевания, а количество ложноотрицательных результатов – это ложноотрицательный показатель, умноженный на количество лиц с заболеванием.

Если метод измерения обладает одинаковой чувствительностью и специфичностью в обеих группах – т.е. если его достоверность(валидность) не различается – то такая ошибочная классификация называется недифференцированной. То есть при этом ошибка классификации будет одинаковой (не различаться, не дифференцироваться) в сравниваемых группах. При сравнении двух групп с помощью метода, специфичность и чувствительность которого одинаковы в обеих группах, ошибочная классификация всегда уменьшит разницу между этими группами.

Под дифференцированной ошибочной классификацией – понимают последствия применения в сравниваемых группах тестов с разной валидностью (чувствительностью, специфичностью или и тем, и другим). Если чувствительность и специфичность теста различны в сравниваемых группах, то смещение может быть любой направленности. При этом истинное различие между группами обследуемых может быть искусственно занижено, завуалировано или увеличено, или может изменяться его направление; может быть выявлено различие, которого нет на самом деле. Ошибочная классификация может также проявляться по-разному при использовании одного и того же теста, если, по какой-либо причине, его валидность различна в сравниваемых группах.

Воспроизводимость теста.

Воспроизводимость (repeatability) теста – это его способность одинаково измерять какие-либо явления, процессы, состояния в серии повторных измерений. Абсолютно одинаковые оценки, каких-либо параметров здоровья, при повторных обследованиях встречаются относительно редко. Причины (различий вариабельности) показателей связаны с истинной (объективной, биологической) и с субъективной вариабельностью.

Истинная вариабельность результатов связана с особенностями процесса жизнедеятельности организма обследуемого. Известно, что даже у здоровых лиц, многие показатели варьируют в течение небольшого промежутка времени между исследованиями.

Субъективная вариабельность объясняется погрешностями персонала или погрешностями теста (техники).

Как сильно могут влиять погрешности персонала на вариабельность результатов, наглядно показывает проверка умения измерять АД на специальных тренажерах, задающих определенные и постоянные параметры АД. Практически всегда, лица, не прошедшие специальную тренировку, по-разному измеряли заданные параметры АД. Даже у одного врача в серии измерений получались существенные варьирующие результаты. Еще больший разброс результатов измерения одного признака, наблюдается при применении разных технических средств, например разных аппаратов измерения АД.

Субъективная вариабельность порождает случайные и систематические ошибки измерений. Для оценки степени воспроизводимости теста проводят серию испытаний с изучением вариабельности полученных результатов.

Чтобы свести к минимуму субъективную вариабельность, соответствующий персонал, участвующий в проведении эпидемиологического исследования, должен быть тщательно подготовлен. Подготовка персонала, прежде всего, предусматривает его обучение особенностям использования соответствующих стандартизованных методов. Обучение должны проводить высококвалифицированные специалисты.

Окончательная проверка и закрепление полученных навыков происходит при применении выбранного метода обследования в отношении специально подобранной группы лиц. «Специально подобранные» в данном случае означает, что они по набору индивидуальных характеристик будут сходны с теми, кого предстоит обследовать в планируемом эпидемиологическом исследовании.

Кроме обучения технике метода, персонал должен быть, если это необходимо, подготовлен относительно стандартных условий применения метода, например, температуры помещения, положения тела обследуемого, его физической активности и т.д.

Субъективная вариабельность бывает особенно велика, когда погрешности персонала соединяются с погрешностями метода (теста).

Рис. 5.4. Концентрация креатинина в одной порции крови по результатам 10 шведских лабораторий, проанализировавших одну и ту же пробу 16 раз.

Источник: А.Альбом, С Норелл. «Введение в современную эпидемиологию» 1996.

На рис. 5.4. продемонстрированы результаты биохимического анализа на концентрацию креатинина в крови. Как следует из представленных данных, большинство лабораторий завышают результаты по сравнению с эталоном. При этом в лабораториях № 8 и 9 отмечается большой разброс полученных результатов. Результаты проведенного исследования показывают, как важно стандартизировать методики теста и условия его проведения.

Поскольку от результатов теста зависит постановка диагноза, валидность тестов может существенно повлиять на результаты эпидемиологического исследования.

Валидность теста.

Чувствительность, специфичность и воспроизводимость теста определяют его достоверность или валидность (validity).

Достоверность или валидность отдельного теста означает:

· способность теста дать истинную оценку тех параметров организма индивидуума или окружающей среды, которые необходимо измерить; То есть достоверный (валидный) тест должен измерить то, что требуется измерить и ничего более. Это относиться не только к лабораторным исследованиям, а в равной мере касается и методов опроса, которые должны содержать только необходимые для диагностики вопросы;

· соответствие данных отдельного теста объективным симптомам болезни и данным анамнеза;

· согласованность данных одного теста с данными традиционных лабораторных тестов.

К сожалению, точная оценка составляющих валидности и ее самой в целом, чаще всего, представляет значительные трудности или невозможна. При проведении эпидемиологических исследований следует твердо придерживаться правила не изменять валидность применяемых методов. В противном случае, уменьшение или увеличение валидности приведет к значительной вариабельности результатов и, как следствие, к ошибочным выводам.

В заключение отметим, что неполная и недостоверная информация, независимо от объективных или субъективных обстоятельств ее получения, не может служить оправданием низкого качества выводов данного исследования.