Сертификация ПО с участием пользователей

Если SCL и разработчики не могут выполнять адекватное тестирование продукта, то кто же может? Для решения этой за­дачи можно объединить пользователей, только надо сделать так, что пользователям это будет выгодно. После этого встает вопрос, как лучше всего использовать их возможности сделать реальны­ми гарантии на программное обеспечение.

Сертификация продуктов с помощью самих пользователей — это наилучший способ предоставить гарантии на ПО, поскольку при этом продукт оценивается в ситуациях, когда он применяет­ся в условиях реального мира.

Такой подход предполагает также сбор информации о харак­тере применения продукта. Можно измерить частоту, с которой вызываются определенные функции, и просто собирать файлы ввода, которые используются для создания профилей. Эти набо­ры информации будут служить в качестве основы для выпуска ограниченных гарантий на ПО.

Производитель программного обеспечения представляет ко­нечный продукт для включения в него резидентного инструмен­тария тестирования, в результате этого создается специальная, «инструментальная» копия. Производитель предоставляет копии SCL, которая передает инструментальную копию предваритель­но отобранным пользователям, работающим в разных отраслях. Эти тестировщики будут использовать продукт по согласованию с SCL. Предлагаемая Microsoft модель бета-тестирования — пре­красный пример того, как среди всех желающих отобрать только тех, кто действительно сможет предоставить самый большой объем полезной информации.

Заметим, что было бы возможно и потенциально предпочти­тельно для SCL самой встраивать необходимый инструменталь­ный код, не привлекая для этого производителя. Это можно было бы сделать, если бы специалисты SCL получили доступ к определенным файлам с исходными текстами или к интерфей­сам. По сути, независимая организация в первую очередь при­звана сделать так, чтобы производитель как можно меньше знал о пользователях, принимающих участие в тестировании, и не мог влиять на результаты процесса сертификации.

Периодически SCL собирает информацию от пользователей и суммирует ее. Это позволяет SCL предоставить разработчику статистические данные о том, как использовался продукт и как он вел себя во время испытаний. При этом SCL может собирать статистику от участников тестирования таким образом, чтобы восстановить личность конкретного пользователя было бы не­возможно.

SCL должна определить, получит ли данный продукт гаран­тию и что должно быть указано в этой гарантии: платформа, секторы рынка, операционные среды. Со временем, собрав до­полнительные данные, SCL могла бы предложить более широ­кую гарантию и снизить указанные в ней ограничения.

Особую сложность представляют системы, критичные к безо­пасности. Нельзя рассчитывать на то, что SCL найдет желающих полетать на самолете, на котором установлены несертифицированные программы управления полетами, или использовать ме­дицинские приборы с несертифицированными программами только потому, что необходимо выяснить, имеют ли эти програм­мы право на сертификат. По мнению авторов, SCL сначала долж­на сертифицировать программное обеспечение для областей, ко­торые не являются критически важными. После того как продукт получит сертификат для работы в таких условиях, он будет поль­зоваться большим доверием у производителей приложений для критичных к безопасности систем в том случае, если его утилиты ранее были сертифицированы для некритических сред, которые отражают условия критичных к безопасности приложений.

Если программное обеспечение прекрасно работает в кри­тичных к безопасности применениях и если SCL сумеет собрать достаточно доказательств этого, можно попробовать сертифици­ровать его для критически важных областей.