Показатели качества и надежности программных средств.

В международном стандарте ISO 9126:1991 при отборе минимума стандартизируемых показателей выдвигались и учитывались следующие принципы:

• ясность и измеряемость значений
• отсутствие перекрытия между используемыми показателями
• соответствие установившимся понятиям и терминологии
• возможность последующего уточнения и детализации

Основные характеристики качества ПС:

Функциональная пригодность детализируется пригодностью применения , точностью, защищенностью, способностью к взаимодействию и согласованностью со стандартами и правилами проектирования.

Надежность рекомендуется характеризовать уровнем завершенности (отсутствия ошибок), устойчивостью к ошибкам и перезапускаемостью.

Применимость предлагается описывать понятностью, обучаемостью и простотой использования.

Эффективность рекомендуется характеризовать ресурсной и временной экономичностью.

Сопровождаемость характеризуется удобством для анализа, изменяемостью, стабильностью и тестируемостью.

Переносимость предлагается отражать адаптируемостью, структурирован -

ностью, замещаемостью и внедряемостью.

Функциональная пригодность — это набор атрибутов, опре­деляющий назначение, номенклатуру, основные необходимые и достаточные функции ПС, заданные техническим заданием заказ­чика или потенциального пользователя. В процессе проектиро­вания ПС атрибуты функциональной пригодности конкретизи­руются в спецификации на компоненты. Эти атрибуты можно численно представить точностью вычислений, относительным числом поэтапно изменяемых функций, числом спецификаций требований заказчиков и т.д. Кроме них функциональную при­годность отражает множество различных специализированных критериев, которые тесно связаны с конкретными функциями программ. Их можно рассматривать как частные критерии или как факторы, влияющие на основные показатели. В наиболее об­щем виде функциональная пригодность проявляется в коррект­ности и надежности ПС.

Понятие корректной (правильной) программы может рассмат­риваться статически вне ее исполнения во времени. Корректность программы не определена вне области изменения исходных дан­ных, заданных требованиями спецификации, и не зависит от ди­намики функционирования программы в реальном времени. Сте­пень некорректности программ определяется вероятностью по­падания реальных исходных данных в область, которая задана требованиями спецификации и технического задания (ТЗ), одна­ко не была проверена при тестировании и испытаниях. Значения этого показателя зависят от функциональной корректности при­меняемых компонентов и могут рассматриваться в зависимости от методов их достижения и оценивания: детерминировано, сто­хастически и в реальном времени. При анализе видов корректно­сти и способов их измерения, естественно, они связываются с видами и методами процесса тестирования и испытания программ.

Надежная программа, прежде всего, должна обеспечивать дос­таточно низкую вероятность отказа в процессе функционирова­ния в реальном времени. Быстрое реагирование на искажения программ, данных или вычислительного процесса и восстанов­ление работоспособности за время, меньшее, чем порог между сбоем и отказом, обеспечивают высокую надежность программ. При этом некорректная программа может функционировать аб­солютно надежно. В реальных условиях по различным причинам исходные данные могут попадать в области значений, вызываю­щих сбои, не проверенные при испытаниях, а также не заданные требованиями спецификации и технического задания. Если в этих ситуациях происходит достаточно быстрое восстановление, та­кое, что не фиксируется отказ, то такие события не влияют на основные показатели надежности — наработку на отказ и коэф­фициент готовности. Следовательно, надежность функциониро­вания программ является понятием динамическим, проявляющим­ся во времени, и существенно отличается от понятия корректно­сти программ.

При оценке качества программ по показателям надежности регистрируются только такие искажения в процессе динамичес­кого тестирования с исполнением программ, которые приводят к потере работоспособности ПС или их крупных компонентов. Первопричиной нарушения работоспособности программ при безотказности аппаратуры всегда является конфликт между ре­альными исходными данными, подлежащими обработке, и про­граммой, осуществляющей эту обработку. Работоспособность ПС можно гарантировать при конкретных исходных данных, кото­рые использовались при отладке и испытаниях. Реальные исход­ные данные могут иметь значения, отличающиеся от заданных техническим заданием и от использованных при применении про­грамм. При таких исходных данных функционирование программ трудно предсказать заранее и весьма вероятны различные анома­лии, завершающиеся отказами.

Основным принципом классификации сбоев и отказов в програм­мах при отсутствии их физического разрушения является разделе­ние по временному показателю длительности восстановления пос­ле любого искажения программ, данных или вычислительного про­цесса, регистрируемого как нарушение работоспособности. При длительности восстановления, меньшей заданного порога, дефек­ты и аномалии при функционировании программ следует отно­сить к сбоям, а при восстановлении, превышающем по длительно­сти пороговое значение, происходящее искажение соответствует отказу.

Восстанавливаемость характеризуется полнотой и длительнос­тью восстановления функционирования программ в процессе пере­запуска — рестарта. Перезапуск должен обеспечивать возобновле­ние нормального функционирования ПС, на что требуются ресур­сы ЭВМ и время. Поэтому полнота и длительность восстановления функционирования после сбоев отражают качество, надежность ПС и возможность его использования по прямому назначению.

Показатели надежности ПС в значительной степени адекватны аналогичным характеристикам, принятым для других технических систем. Наиболее широко используется критерий длительности наработки на отказ. Для определения этой величины измеряется время работоспособного состояния системы между двумя после­довательными отказами или началом нормального функциони­рования системы после них. Вероятностные характеристики этой величины в нескольких формах используются как разновидности критериев надежности. Критерий надежности восстанавливаемых систем учитывает возможность многократных отказов и восста­новлений. Для оценки надежности таких систем, которыми чаще всего являются сложные ПС, кроме вероятностных характеристик наработки на отказ, важную роль играют характеристики функ­ционирования после отказа в процессе восстановления. Основным показателем процесса восстановления являются длительность вос­становления и ее вероятностные характеристики. Этот критерий учитывает возможность многократных отказов и восстановлений. Обобщение характеристик отказов и восстановлений производится в критерии коэффициент готовности. Этот показатель отражает вероятность иметь восстанавливаемую систему в работоспособ­ном состоянии в произвольный момент времени. Значение коэф­фициента готовности соответствует доле времени полезной рабо­ты системы на достаточно большом интервале, содержащем отка­зы и восстановления.

Наработка на отказ учитывает ситуации потери работоспо­собности, когда длительность восстановления достаточно вели­ка и превышает пороговое значение времени, разделяющее собы­тия сбоя и отказа. При этом большое значение имеют средства оперативного контроля и восстановления. Качество проведен­ной отладки программ более полно отражает значение длительности между потерями работоспособности программ — наработ­ка на отказовую ситуацию, или устойчивость, независимо от того, насколько быстро произошло восстановление. Средства опера­тивного контроля и восстановления не влияют на наработку на отказовую ситуацию, однако могут значительно улучшать пока­затели надежности программ. Поэтому при оценке необходимой отладки целесообразно измерять и контролировать наработку на отказовую ситуацию, а объем и длительность тестирования в ряде случаев устанавливать по наработке на отказ с учетом эф­фективности средств рестарта.