Серия стандартов ISO 9000

Одной из важнейших проблем обеспечения качества про­граммных средств является формализация характеристик качест­ва и методология их оценки. Для определения адекватности ка­чества функционирования, наличия технических возможностей программных средств к взаимодействию, совершенствованию и развитию необходимо использовать стандарты в области оценки характеристик их качества. Основой регламентирования показа­телей качества программных средств ранее являлся международ­ный стандарт ISO 9126:1991 (ГОСТ Р ИСО/МЭК 9126-93) «Ин­формационная технология. Оценка программного продукта. Ха­рактеристики качества и руководство по их применению». Завершается разработка и формализован последний проект со­стоящего из четырех частей стандарта ISO 9126-1—ISO 9126-4 для замены небольшой редакции 1991 г. Проект состоит из сле­дующих частей под общим заголовком «Информационная техно­логия — характеристики и метрики качества программного обес­печения»: «Часть 1. Характеристики и субхарактеристики качест­ва; Часть 2. Внешние метрики качества»; «Часть 3. Внутренние метрики качества»; «Часть 4. Метрики качества в использова­нии».

В России в области обеспечения жизненного цикла и качест­ва сложных комплексов программ в основном применяется группа устаревших ГОСТов, которые отстают от мирового уров­ня на 5—10 лет.

Первая часть стандарта — ISO 9126-1 — распределяет атри­буты качества программных средств по шести характеристикам, используемым в остальных частях стандарта. Исходя из принци­пиальных возможностей их измерения все характеристики могут быть объединены в три группы, к которым применимы разные категории метрик:

• категорийным, или описательным (номинальным), метри­кам наиболее адекватны функциональные возможности программных средств;

• количественные метрики применимы для измерения на­дежности и эффективности сложных комплексов про­грамм;

• качественные метрики в наибольшей степени соответству­ют практичности, сопровождаемости и мобильности про­граммных средств.

В части стандарта ISO 9126-1 даются определения с уточне­ниями из остальных его частей для каждой характеристики про­граммного средства, а также для субхарактеристик качества.

За последние несколько лет создано множество стандартов ISO, регламентирующих процессы и продукты жизненного цикла программных средств и баз данных, которые могут служить осно­вой для систем обеспечения качества программных продуктов.

Вторая и третья части стандарта — ISO 9126-2 и ISO 9126-3 — посвящены формализации соответственно внешних и внутрен­них метрик характеристик качества сложных программных средств. Все таблицы содержат унифицированную рубрикацию, где отражены имя и назначение метрики; метод ее применения; способ измерения, тип шкалы метрики; тип измеряемой величи­ны; исходные данные для измерения и сравнения; а также этапы жизненного цикла программного средства (по ISO 12207), к ко­торым применима метрика.

Четвертая часть стандарта — ISO 9126-4 — предназначена для покупателей, поставщиков, разработчиков, сопровождающих, пользователей и менеджеров качества программных средств. В ней обосновываются и комментируются выделенные показате­ли сферы (контекста) использования программных средств и группы выбранных метрик для пользователей.

Выбор показателей качества

Исходными данными и высшим приоритетом при выборе по­казателей качества в большинстве случаев являются назначение, функции и функциональная пригодность соответствующего про­граммного средства. Достаточно полное и корректное описание этих свойств должно служить базой для определения значений большинства остальных характеристик и атрибутов качества. Принципиальные и технические возможности и точность изме­рения значений атрибутов характеристик качества всегда ограни­чены в соответствии с их содержанием. Это определяет рацио­нальные диапазоны значений каждого атрибута, которые могут быть выбраны на основе здравого смысла, а также путем анализа прецедентов в спецификациях требований реальных проектов.

Процессы выбора и установления метрик и шкал для описа­ния характеристик качества программных средств можно разде­лить на два этапа:

• выбор и обоснование набора исходных данных, отражаю­щих общие особенности и этапы жизненного цикла проек­та программного средства и его потребителей, каждый из которых влияет на определенные характеристики качества комплекса программ;

• выбор, установление и утверждение конкретных метрик и шкал измерения характеристик и атрибутов качества про­екта для их последующей оценки и сопоставления с требо­ваниями спецификаций в процессе квалификационных ис­пытаний или сертификации на определенных этапах жиз­ненного цикла программного средства.

На первом этапе за основу следует брать всю базовую номенк­латуру характеристик, субхарактеристик и атрибутов, стандарти­зированных в ISO 9126. Их описания желательно предварительно упорядочить по приоритетам с учетом назначения и сферы при­менения конкретного проекта программного средства. Далее не­обходимо выделить и ранжировать по приоритетам потребителей, которым необходимы определенные показатели качества проекта программного средства с учетом их специализации и профессио­нальных интересов. Подготовка исходных данных завершается выделением номенклатуры базовых, приоритетных показателей качества, определяющих функциональную пригодность про­граммного средства для определенных потребителей.

На втором этапе, после фиксирования исходных данных, ко­торое должен выполнить потребитель оценок качества, процессы выбора номенклатуры и метрик начинаются с ранжирования ха­рактеристик и субхарактеристик для конкретного проекта и их потребителя. Далее этими специалистами для каждого из ото­бранных показателей должна быть установлена и согласована метрика и шкала оценок субхарактеристик и их атрибутов для проекта и потребителя результатов анализа. Для показателей, представляемых качественными признаками, желательно опре­делить и зафиксировать в спецификациях описания условий, при которых следует считать, что данная характеристика реали­зуется в программном средстве. Выбранные значения характери­стик качества и их атрибутов должны быть предварительно проверены разработчиками на их реализуемость с учетом доступных ресурсов конкретного проекта и при необходимости откорректи­рованы.

Оценка качества

Методологии и стандартизации оценки характеристик каче­ства готовых программных средств и их компонентов (про­граммного продукта) на различных этапах жизненного цикла по­священ международный стандарт ISO 14598, состоящий из шес­ти частей. Рекомендуется следующая общая схема процессов оценки характеристик качества программ:

• установка исходных требований для оценки — определение целей испытаний, идентификация типа метрик програм­много средства, выделение адекватных показателей и тре­буемых значений атрибутов качества;

• селекция метрик качества, установление рейтингов и уров­ней приоритета метрик субхарактеристик и атрибутов, вы­деление критериев для проведения экспертиз и измерений;

• планирование и проектирование процессов оценки харак­теристик и атрибутов качества в жизненном цикле про­граммного средства;

• выполнение измерений для оценки, сравнение результатов с критериями и требованиями, обобщение и оценка ре­зультатов.

Для каждой характеристики качества рекомендуется форми­ровать меры и шкалу измерений с выделением требуемых, допус­тимых и неудовлетворительных значений. Реализация процессов оценки должна коррелировать с этапами жизненного цикла кон­кретного проекта программного средства в соответствии с при­меняемой, адаптированной версией стандарта ISO 12207.

Функциональная пригодность — наиболее неопределенная и объективно трудно оцениваемая субхарактеристика программно­го средства. Области применения, номенклатура и функции комплексов программ охватывают столь разнообразные сферы деятельности человека, что невозможно выделить и унифициро­вать небольшое число атрибутов для оценки и сравнения этой субхарактеристики в различных комплексах программ.

Оценка корректности программных средств состоит в фор­мальном определении степени соответствия комплекса реализо­ванных программ исходным требованиям контракта, техниче­ского задания и спецификаций на программное средство и его компоненты. Путем верификации должно быть определено со­ответствие исходным требованиям всей совокупности компо­нентов комплекса программ, вплоть до модулей и текстов про­грамм и описаний данных.

Оценка способности к взаимодействию состоит в определении качества совместной работы компонентов программных средств и баз данных с другими прикладными системами и компонента­ми на различных вычислительных платформах, а также взаимо­действия с пользователями в стиле, удобном для перехода от од­ной вычислительной системы к другой с подобными функциями.

Оценка защищенности программных средств включает опреде­ление полноты использования доступных методов и средств за­щиты программного средства от потенциальных угроз и достиг­нутой при этом безопасности функционирования информацион­ной системы. Наиболее широко и детально методологические и системные задачи оценки комплексной защиты информацион­ных систем изложены в трех частях стандарта ISO 15408:1999-1 — ISO 15408:1999-3 «Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий».

Оценка надежности — измерение количественных метрик ат­рибутов субхарактеристик в использовании: завершенности, ус­тойчивости к дефектам, восстанавливаемости и доступности/го­товности.

Потребность в ресурсах памяти и производительности компью­тера в процессе решения задач значительно изменяется в зави­симости от состава и объема исходных данных. Для корректного определения предельной пропускной способности информаци­онной системы с данным программным средством нужно изме­рить экстремальные и средние значения длительностей исполне­ния функциональных групп программ и маршруты, на которых они достигаются. Если предварительно в процессе проектирова­ния производительность компьютера не оценивалась, то, скорее всего, понадобится большая доработка или даже замена компью­тера на более быстродействующий.

Оценка практичности программных средств проводится экс­пертами и включает определение понятности, простоты исполь­зования, изучаемости и привлекательности программного сред­ства. В основном это качественная (и субъективная) оценка в баллах, однако некоторые атрибуты можно оценить количест­венно по трудоемкости и длительности выполнения операций при использовании программного средства, а также по объему документации, необходимой для их изучения.

Сопровождаемость можно оценивать полнотой и достоверно­стью документации о состояниях программного средства и его компонентов, всех предполагаемых и выполненных изменениях, позволяющей установить текущее состояние версий программ в любой момент времени и историю их развития. Она должна оп­ределять стратегию, стандарты, процедуры, распределение ре­сурсов и планы создания, изменения и применения документов на программы и данные.

Оценка мобильности — качественное определение эксперта­ми адаптируемости, простоты установки, совместимости и замещаемости программ, выражаемое в баллах. Количественно эту характеристику программного средства и совокупность ее атри­бутов можно (и целесообразно) оценить в экономических пока­зателях: стоимости, трудоемкости и длительности реализации процедур переноса на иные платформы определенной совокуп­ности программ и данных.

Система управления качеством

Выбор характеристик и оценка качества программных средств — лишь одна из задач в области обеспечения качества продукции, выпускаемой компаниями — разработчиками ПО. Комплексное решение задач обеспечения качества программных средств предполагает разработку и внедрение той или иной систе­мы управления качеством. В мировой практике наибольшее рас­пространение получила система, основанная на международных стандартах серии ISO 9000, включающей десяток с лишним доку­ментов, в том числе стандарт, регламентирующий обеспечение качества ПО (ISO 9000/3). Эти стандарты должны служить руко­водством для ведущих специалистов компаний, разрабатываю­щих ПО на заказ.

Определения характеристик и субхарактеристик качества (ISO 9126-1):

Функциональные возможности — способность программного средства обеспечивать решение задач, удовлетворяющих сфор­мулированные потребности заказчиков и пользователей при применении комплекса программ в заданных условиях.

Функциональная пригодность — набор и описания субхарак­теристики и ее атрибутов, определяющие назначение, номенк­латуру, основные, необходимые и достаточные функции про­граммного средства, соответствующие техническому заданию и спецификациям требований заказчика или потенциального пользователя.

Правильность (корректность) — способность программного средства обеспечивать правильные или приемлемые для пользо­вателя результаты и внешние эффекты.

Способность к взаимодействию — свойство программных средств и их компонентов взаимодействовать с одной или боль­шим числом компонентов внутренней и внешней среды.

Защищенность — способность компонентов программного средства защищать программы и информацию от любых нега­тивных воздействий.

Надежность — обеспечение комплексом программ достаточ­но низкой вероятности отказа в процессе функционирования программного средства в реальном времени.

Эффективность — свойства программного средства, обеспе­чивающие требуемую производительность решения функцио­нальных задач, с учетом количества используемых вычислитель­ных ресурсов в установленных условиях.

Практичность (применимость) — свойства программного средства, обусловливающие сложность его понимания, изучения и использования, а также привлекательность для квалифициро­ванных пользователей при применении в указанных условиях.

Сопровождаемость — приспособленность программного сред­ства к модификации и изменению конфигурации и функций.

Мобильность — подготовленность программного средства к переносу из одной аппаратно-операционной среды в другую.