Оценка качества программных средств

Методологии и стандартизации оценки характеристик качества готовых программных средств и их компонентов (программного продукта) на различных этапах жизненного цикла посвящен международный стандарт ISO 14598.

Рекомендуется следующая общая схема процессов оценки характеристик качества программ:

· установка исходных требований для оценки — определение целей испытаний, идентификация типа метрик программного средства, выделение адекватных показателей и требуемых значений атрибутов качества;

· селекция метрик качества, установление рейтингов и уровней приоритета метрик субхарактеристик, выделение критериев для проведения экспертиз и измерений;

· планирование и проектирование процессов оценки характеристик качества в жизненном цикле программного средства;

· выполнение измерений для оценки, сравнение результатов с критериями и требованиями, обобщение и оценка результатов.

Для каждой характеристики качества рекомендуется формировать меры и шкалу измерений с выделением требуемых, допустимых и неудовлетворительных значений.

Реализация процессов оценки должна коррелировать с этапами жизненного цикла конкретного проекта программного средства в соответствии с применяемой, адаптированной версией стандарта ISO 12207.

Функциональная пригодность — наиболее неопределенная и объективно трудно оцениваемая характеристика программного средства.

Функциональная пригодность — это набор атрибутов, определяющий назначение, номенклатуру, основные необходимые и достаточные функции ПС, заданные техническим заданием заказчика или потенциального пользователя. В процессе проектирования ПС атрибуты функциональной пригодности конкретизируются в спецификации на компоненты. Эти атрибуты можно численно представить точностью вычислений, относительным числом поэтапно изменяемых функций, числом спецификаций требований заказчиков и т.д. Но области применения, номенклатура и функции комплексов программ настолько велики, что для оценки и сравнения этой характеристики в различных комплексах программ необходимо достаточно большое число атрибутов.

Оценка корректности программных средств состоит в формальном определении степени соответствия комплекса реализованных программ исходным требованиям контракта, технического задания и спецификаций на программное средство и его компоненты. Путем верификации должно быть определено соответствие исходным требованиям всей совокупности к компонентов комплекса программ, вплоть до модулей и текстов программ и описаний данных.

Оценка способности к взаимодействию состоит в определении качества совместной работы компонентов программных средств и баз данных с другими прикладными системами и компонентами на различных вычислительных платформах, а также взаимодействия с пользователями в стиле, удобном для перехода от одной вычислительной системы к другой с подобными функциями.

Оценка защищенности программных средстввключает определение полноты использования доступных методов и средств защиты программного средства от потенциальных угроз и достигнутой при этом безопасности функционирования информационной системы. Наиболее широко и детально методологические и системные задачи оценки комплексной защиты информационных систем изложены в трех частях стандарта ISO 15408:1999-1--3 "Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий".

Оценка надежности — измерение количественных метрик атрибутов характеристик в использовании: завершенности, устойчивости к дефектам, восстанавливаемости и доступности/готовности.

Потребность в ресурсах памяти и производительности компьютера в процессе решения задач значительно изменяется в зависимости от состава и объема исходных данных. Для корректного определения предельной пропускной способности информационной системы с данным программным средством нужно измерить экстремальные и средние значения длительностей исполнения функциональных групп программ и маршруты, на которых они достигаются. Если предварительно в процессе проектирования производительность компьютера не оценивалась, то, скорее всего, понадобится большая доработка или даже замена компьютера на более быстродействующий.

Оценка практичности программных средств проводится экспертами и включает определение понятности, простоты использования, изучаемости и привлекательности программного средства. В основном это качественная (и субъективная) оценка в баллах, однако некоторые атрибуты можно оценить количественно по трудоемкости и длительности выполнения операций при использовании программного средства, а также по объему документации, необходимой для их изучения.

Сопровождаемость можно оценивать полнотой и достоверностью документации о состояниях программного средства и его компонентов, всех предполагаемых и выполненных изменениях, позволяющей установить текущее состояние версий программ в любой момент времени и историю их развития. Она должна определять стратегию, стандарты, процедуры, распределение ресурсов и планы создания, изменения и применения документов на программы и данные.

Оценка мобильности —качественное определение экспертами адаптируемости, простоты установки, совместимости и замещаемости программ, выражаемое в баллах. Количественно эту характеристику программного средства и совокупность ее атрибутов можно (и целесообразно) оценить в экономических показателях: стоимости, трудоемкости и длительности реализации процедур переноса на иные платформы определенной совокупности программ и данных.

4.3 Надежность программных средств

Надежность – свойство программного средства сохранять работоспособность в течение определенного периода времени, в определенных условиях эксплуатации с учетом последствий для пользователя каждого отказа.

Работоспособным называется такое состояние программного средства, при котором оно способно выполнять заданные функции с параметрами, установленными требованиями технического задания.

Для оценки надежности используются три группы показателей: качественные, порядковые и количественные.

К основным количественным показателям надежности ПС относятся:

Вероятность безотказной работы – это вероятность того, что в пределах заданной наработки отказ системы не возникает. Наработка – продолжительность или объем работ.

Вероятность отказа – вероятность того, что в пределах, заданной наработки отказ системы возникает. Это показатель, обратный предыдущему.

Интенсивность отказа системы – это условная плотность вероятности возникновения отказа ПС в определенный момент времени при условии, что до этого времени отказ не возник. Если в процессе тестирования фиксируется число отказов за определенный интервал времени, то интенсивность – число отказов в единицу времени.

Средняя наработка до отказа – суммарное время безотказной работы до текущего момента, деленное на количество ошибок;

Среднее время восстановления. При этом данное время является суммарным временем, затраченным на обнаружение и восстановление возможной ошибки.

Надежная программа прежде всего должна обеспечивать достаточно низкую вероятность отказа в процессе функционирования в реальном времени, быстро реагировать на искажения программ и восстанавливать работоспособность за время, меньшее, чем порог между сбоем и отказом.

Основнымпринципом классификации сбоев и отказов в программах является разделение по временному показателю длительности восстановления после любого искажения программ.

При длительности восстановления, меньшей заданного порога, дефекты при функционировании программ следует относить ксбоям, а при восстановлении, превышающем по длительности пороговое значение, происходящее искажение соответствует отказу.

Устойчивость зависит от уровня неустраненных ошибок и способности ПС реагировать на их проявления так, чтобы это не отражалось на показателях надежности.

Восстанавливаемость характеризуется полнотой и длительностью восстановления функционирования программ в процессе перезапуска. Перезапуск должен обеспечивать возобновление нормального функционирования ПС, на что требуются ресурсы ЭВМ и время.

Показатели надежности ПС в значительной степени адекватны аналогичным характеристикам, принятым для других технических систем.

Наиболее широко используются:

1.критерии длительности наработки на отказ. Для определения этой величины измеряется время работоспособного состояния системы между двумя последовательными отказами или началом нормального функционирования системы после них. Вероятностные характеристики этой величины в нескольких формах используются как разновидности критериев надежности.

2. критерий длительность восстановления - основной показатель процесса восстановления.

3. критерии коэффициент готовности. – служит для обобщения характеристик отказов и восстановлений. Этот показатель отражает вероятность иметь восстанавливаемую систему в работоспособном состоянии в произвольный момент времени. Значение коэффициента готовности соответствует доле времени полезной работы системы на достаточно большом интервале, содержащем отказы и восстановления.

4.3.1 Дестабилизирующие факторы и методы обеспечения надежности функционирования ПС.