Оценка эффективности диагностических

исследований¹

Лучевая диагностика, в распоряжении которой широкий ассортимент методов исследования — дешевых и дорогостоящих, инвазивных и необре­менительных для больного, высокоинформативных и ограниченной ин­формативности,— ставит врача-диагноста перед выбором: как обеспечить наиболее высокую эффективность диагностического процесса, каким мето­дам отдать предпочтение, в какой комбинации и последовательности их применить. Очевидно, что подходы к диагностике будут значительно разли­чаться в зависимости от того, имеет место острое или хроническое заболе-

¹ Подробнее см.: Власов В.В. Эффективность диагностических исследований. — М: Медицина, 1988.

Рис. 1.13. Структура телекоммуникационной радиологической сети.

вание, проводят плановое обследование или оказывают неотложную меди­цинскую помощь, выполняют детальное и углубленное обследование или организуют скрининг, охватывающий значительную часть населения. Во всех этих ситуациях необходимо уметь правильно оценивать эффектив­ность метода диагностики, причем сделать это нужно на объективной, на­учной основе.

Для оценки эффективности диагностических исследований существует большое число критериев. Многие из них универсальны, т.е. применимы во всех областях клинической медицины, другие, характеризующие медицин­ские изображения, имеют специфическое для лучевой диагностики зна­чение.

Под диагностической эффективностью метода исследования следует по­нимать способность данного метода (теста) выявить заболевание и оха­рактеризовать состояние организма при экономической доступности ме­тода.

В лучевой диагностике выделяют качественную, или описательную, и ко­личественную характеристики результатов. Последняя включает в себя различные виды измерений: радиоактивности биологических проб, величи­ны органов, изображенных на экране дисплея, рентгеновской пленке, ком­пьютерной томограмме и др. Все эти измерения, как бы точны они ни были, обязательно имеют некоторую степень погрешности. Это связано как с ограниченной точностью инструментов, с помощью которых проводят

измерения (линейка, электронный прибор или другие технические средст­ва) такие вариабельностью измеряемого объекта: колебаниями биологи­ческих параметров человека во время исследования, флюктуациями радио­активного распада, неоднородностью потока электромагнитных квантов

Перечисленные выше погрешности имеют случайный характер. Их влияние на точность измерения может быть уменьшено, если увеличить ко­личество измерений объекта исследования или увеличить продолжитель­ность каждого измерения. Погрешности такого рода называют случайными, или рандомизированными, ошибками.

Погрешности другого типа возникают при неправильной работе аппа­ратуры, калибровке лабораторного оборудования, технологии приготовле­ния радиофармпрепаратов или химических растворов, вследствие ошибок, допущенных в расчетах. Конечные результаты подобных измерений во всех случаях оказываются либо завышенными, либо заниженными, т.е. всегда однозначно искаженными. Подобные погрешности носят название «систе­матические ошибки». Единственный способ избежать этих погрешностей — тщательно контролировать качество технических средств лучевой диагности­ки, следить за правильностью проведения диагностических процедур, кор­ректно выполнять расчеты.

Для оценки эффективности методов измерения в лучевой диагностике, как и в других разделах медицины и биологии, применяют ряд критериев, глав­ными из которых являются:

• точность измерения — соответствие результатов измерения истинно­му значению определяемой величины. Высокая точность измерения достигается при минимальных случайных и систематических по­грешностях;

• правильность измерения. Это качество измерения характеризует ве­личину систематических погрешностей. Чем они меньше, тем более правильным оказывается измерение;

• сходимость измерений. Данное качество измерений характеризует ве­личину случайных ошибок. Чем они меньше, тем лучше сходимость измерений. Этот критерий показывает, насколько близки друг к другу измерения, выполненные в одинаковых условиях, т.е. в одной и той же лаборатории и на одном и том же приборе;

• воспроизводимость измерений. Этот критерий показывает, насколько близки между собой результаты измерений, выполненных в различ­ных условиях, т.е. в разных лабораториях и на разных аппаратах.

Для того чтобы оценить диагностическую эффективность лучевого мето­да исследования, сравнивают его информативность, т.е. способность распо­знавать заболевание, с так называемым референтным, или эталонным, диа­гнозом. Этот диагноз устанавливают на основании результатов гисто­логического исследования или вскрытия либо с учетом точных биохи­мических или клинических признаков болезни. Патологоанатомические данные иногда называют «золотым стандартом» при верификации диаг-ноза.

Для оценки информативности метода результаты его применения у оп­ределенной группы пациентов сводят в таблицу, называемую матрицей ре­шений (табл. 1.2). При этом в зависимости от совпадения результатов луче-

вого исследования и фактического наличия заболевания, т.е. референтного диагноза, ответ может оказаться правильным или неправильным. Возмож­ны следующие варианты результатов оценки метода:

• интерпретация «положительный» у больных с наличием заболе­вания — истинно положительные случаи;

• интерпретация «отрицательный» у пациентов без заболевания (здоровые лица) — истинно отрицательные случаи;

• интерпретация «положительный» у пациентов, не имеющих за­болевания,— ложноположительные случаи (ошибки первого типа, или ошибки гипердиагностики, или «ложные тревоги»);

• интерпретация «отрицательный» у больных с заболеванием Щ ложноотрицательные случаи (ошибки второго типа, или ошибки ги под и а гностики, или «пропуски»).

Ложноположительные и ложноотрицательные ошибки представляют собой потери системы диагностики, они снижают диагностическую эффективность исследования.

Таблица 1.2. Матрица решений для вычислений операционных характе­ристик методов диагностики

В медицине информативность диагностических исследований оценива­ется следующими основными критериями.

Чувствительность (SJ — вероятность положительного результата теста у лиц с заболеванием:

Число пациентов с данным заболеванием и положительным результатом теста

Чувствительность, % =-------------------- ——------------------- -—Р х 100.

Число всех пациентов с данным заболеванием, подвергшихся тесту

Определив чувствительность метода, можно априори предположить, какова будет доля больных, у которых данное исследование даст положи­тельный результат, т.е. будет выявлен признак болезни. Чем выше чувстви­тельность метода, тем чаще с его помощью выявляют патологические изме­нения, тем, следовательно, он более эффективен. В то же время если такой высокочувствительный тест отрицателе», то наличие заболевания малове­роятно, поэтому высокочувствительные тесты в медицинской диагностике называют идентификаторами, или тестами на исключение заболевания.

Высокочувствительные тесты эффективны на первом этапе диагности­ки, когда врачу необходимо отбросить массу первоначальных предположе­ний ^ги тесты рекомендуется использовать при массовых проверочных ис­следованиях, особенно при выявлении социально опасных заболеваний.

Недостатком высокочувствительных методов является то, что при их использовании допускают значительное количество ложноположительных ошибок (ложные тревоги). В связи с этим возникает необходимость выпол­нять большое число дополнительных исследований, вследствие чего услож­няется диагностический процесс и увеличиваются экономические затраты, особенно при массовых исследованиях. Вот почему в медицинской диа­гностике следует стремиться не к максимальной, а к разумно достижимой чувствительности метода.

Специфичность (SJ — вероятность отрицательного результата у лиц без

заболевания:

Число пациентов без данного заболевания

с отрицательным результатом теста
Специфичность, % —--------------------------------------------------- х 100 •

Число всех пациентов без данного

заболевания, подвергшихся тесту

Определив специфичность метода, можно априори предположить, ка­кова будет доля здоровых лиц, у которых данное исследование даст отрица­тельный результат. Чем выше специфичность метода, тем надежнее с его помощью подтверждается заболевание, т.е. он более эффективен. Высоко­специфичные диагностические тесты называют дискриминаторами; они эффективны на втором этапе диагностики, когда крут предполагаемых за­болеваний сужен и необходимо с уверенностью доказать наличие болезни.

Точность (epsilon_x) — пропорция правильных результатов (положитель­ных и отрицательных) среди всех обследованных:

Число истинных решений
Точность =-------------------------- ———

Общее число обследованных

Иногда этот критерий называют показателем диагностической эффек­тивности.

Все три критерия — чувствительность, специфичность и точность — отражают априорную вероятность результатов диагностического иссле­дования — положительных и отрицательных. Они носят название «опера­ционные характеристики метода диагностики*. Применяя операцион­ные характеристики метода на практике, врач должен учитывать осо­бенности обследуемых больных. Если метод применяют при обследо­вании больных с клинически выраженным заболеванием, то операци­онные характеристики его будут высокими, и наоборот, в начальных и особенно доклинических стадиях болезни чувствительность и специ­фичность метода окажутся пониженными. Следовательно, для каждой стадии болезни будут свои операционные характеристики метода ис­следования.

Для правильной оценки диагностической эффективности методов ис­следования важное значение имеют критерии апостериорной вероятнос­ти - прогностичность положительного (PV+) и отрицательного (PV-) резуль­татов. Именно эти критерии показывают, какова вероятность заболевания (или его отсутствия) при известном результате исследования. Нетрудно по­нять, что апостериорные показатели имеют большее практическое значе­ние, чем априорные.

Критерий PV+ показывает, насколько велика вероятность болезни при положительных результатах исследования, а критерий PV- — насколь­ко велика вероятность отсутствия болезни при отрицательных резуль­татах.

Прогностичность положительного результата возрастает с увеличением частоты заболевания. Это означает, что один и тот же метод лучевого ис­следования, у которого определены операционные характеристики, будет по-разному «работать» в различных лечебных учреждениях: общего профи­ля, специализированных (с высокой частотой заболевания) и в условиях скрининга (низкая частота заболевания). Из сказанного следует важнейшее правило диагностики: эффективность диагностического исследования необ­ходимо оценивать только с учетом частоты выявляемого заболевания, т.е. конкретных условий применения данного метода исследования. Например, ин­формативность рентгенографии грудной клетки будет различной в зависи­мости от того, где и с какой целью ее проводят: при массовых проверочных исследованиях, в лечебном учреждении общего профиля или в онкологи­ческом диспансере.

Давая оценку диагностической эффективности метода исследования, обычно указывают на общее количество ошибочных заключений: чем их меньше, тем эффективнее метод. Однако, как уже отмечалось, одновремен­но уменьшить количество ложноположительных и ложноотрицательных ошибок нереально, поскольку они связаны между собой. Кроме того, при­нято считать, что ошибки первого типа — ложноположительные — не так опасны, как ошибки второго типа — ложноотрицательные. Это особенно относится к выявлению инфекционных и онкологических заболеваний: пропустить болезнь во много раз опаснее, чем диагностировать ее у здоро­вого человека.

6 тех случаях, когда результаты диагностического исследования выра­жают количественно, их классифицируют на норму и патологию условно (рис. 1.14). Часть значений теста, принимаемых за норму, будет наблюдать­ся у больных, и, наоборот, в зоне патологии окажутся некоторые измене­ния у здоровых. Это и понятно: ведь граница между здоровьем и начальной стадией болезни всегда условна. И все же в практической работе, анализи­руя цифровые показатели диагностического исследования, врач вынужден принимать альтернативные решения: отнести данного пациента к группе здоровых либо больных. При этом он пользуется разделительным значени­ем применяемого теста.

Изменение границы между нормой и патологией всегда сопровождает­ся изменением операционных характеристик метода. Если к методу предъ­являются более жесткие требования, т.е. граница между нормой и патоло­гией устанавливается на высоких значениях теста, увеличивается число

Совокупность заболевания

Рис. 1.14. Распределение вероятностей нормы и патологии.

а — ложноположительные решения; р — ложноотриндтельные решения, х — гра­ница между нормой и патологией.

ложноотрицательных заключений (пропусков заболеваний), что приводит к повышению специфичности теста, но одновременно к снижению его чув­ствительности. Если целесообразно смягчить требования к тесту, границу между нормой и патологией сдвигают в сторону нормальных значений, что сопровождается увеличением числа ложноположительных заключений (ложных тревог) и одновременно уменьшением числа ложноотрицательных (пропусков заболеваний). При этом повышается чувствительность метода, но снижается его специфичность.

Таким образом, проводя диагностические исследования и оценивая их результаты количественно, врач всегда находится в условиях выбора: то жертвует чувствительностью, чтобы повысить специфичность, то, наобо­рот, отдает предпочтение специфичности за счет снижения чувствитель­ности. Как правильно поступать в каждом конкретном случае, зависит от многих факторов: социальной значимости заболевания, его характера, со­стояния больного.

Из изложенного следует важнейший для современной медицинской диагностики, в том числе лучевой, вывод: количественный математический метод, каким бы совершенством ни отличались математический аппарат или используемые технические средства, всегда имеет ограниченное, прикладное значение, подчиняясь логическому мышлению врача и соотносясь с конкретной клинической и социальной ситуацией.

Для того чтобы оценить диагностическую эффективность метода с уче­том последствий ложных решений, используют характеристические кривые, отражающие взаимную зависимость ложноположительных и истинно положительных результатов. Полное название таких кри­вых — «операционные характеристические кривые наблюдателя» (Re­ceiver• operating characteristic curve, сокращенно ROC-curve), поэтому часто такие кривые называют ROC-кривыми, а выполняемые для их по­строения действия — ROC-анализом.

С целью построения характерис­тических кривых результаты обсле­дования верифицированной группы больных и здоровых распределяют в несколько групп. Если эти результа­ты имеют количественный характер, то их ранжируют по значению точки разделения на норму и патологию. Качественные же результаты приме­нения изучаемого метода (например, описание рентгенологической или сцинтиграфической картины) ран­жируют по степени уверенности врача в диагнозе. Полученные таким образом данные сводят в таблицы и по ним строят характеристические кривые — ROC-кривые (рис. 1.15). Чем больше изгиб характеристичес­кой кривой, т.е. чем ближе к верхне­му левому углу системы координат она расположена, тем выше эффек­тивность диагностического метода. Приближение же ROC-кривой к диагонали, проходящей через начало координат, свидетельствует о низкой эффективности метода исследования.

Характеристические кривые позволяют наглядно сопоставить диагнос­тическую эффективность различных методов исследования при обнаруже­нии одного и того же поражения. Кроме того, с их помощью можно оце­нить качество средств визуализации: рентгеновских экранов, дисплеев, твердых копий медицинских изображений (рентгенограмм, сцинтиграмм и др.). С этой целью организуют группу экспертов — специалистов в области лучевой диагностики, которым предъявляют для анализа серию верифици­рованных медицинских изображений. Ответы экспертов кодируют по ука­занной выше 5-балльной системе и на основании полученных данных стро­ят характеристические кривые каждого изучаемого метода. Тот метод, у которого ROC-кривая имеет больший изгиб и расположена ближе к верхнему левому углу системы координат, имеет более высокую диагностическую эф­фективность.

Интересно, что метод ROC-анализа и построение ROC-кривых дают возможность оценить профессиональные навыки и квалификацию спе­циалистов. С этой целью врачу предъявляют для опознания верифициро­ванный архив медицинских изображений (рентгенограмм, сцинтиграмм и др.). Так же как и в предыдущем случае, ответы врача соответствующим образом ранжируют и по полученным данным строят характеристические кривые. У квалифицированного специалиста ROC-кривая имеет крутой изгиб, она вплотную приближена к верхнему левому углу системы коор­динат.

Для того чтобы оценить вклад лучевой диагностики, как и диагностики вообще, в медицинскую практику, используют следующие комплексные критерии.

Результативность метода - это вероятность получения у отдельного пациента или популяции в целом положительного результата от примене­ния данной технологии в усредненных условиях*

Эффективность метода - оценка мастерства врача, с которым он ис­пользует имеющиеся ресурсы для решения данной проблемы. В частности, эффективность процедуры получения диагностического изображения счи­тают высокой, если наибольшее число истинно положительных и/или ис­тинно отрицательных результатов получено при наименьших затратах (име­ются в виду деньги, ресурсы, время).

Сила метода — это способность диагностического теста, примененного в оптимальных условиях, влиять на решение врача, касающееся диагноза и ведения больного (лечение, реабилитацию), т.е. влиять на здоровье как от­дельного пациента, так и населения в целом.

Понятно, что результативность метода всегда будет ниже, чем его сила, поскольку она зависит от мастерства специалиста, обеспечивающего полу­чение диагностического изображения, а также потому,*что инфраструктура в усредненных условиях отнюдь не соответствует таковой в оптимальных условиях.