Тестирование производительности

В системах реального времени и встроенных системах недопустимо ПО, которое реализует требуемые функции, но не соответствует требованиям производительности.

Тестирование производительности проверяет скорость работы ПО в компьютерной системе. Производительность тестируется на всех шагах процесса тестирования. Даже на уровне элемента при проведении тестов «белого ящика» может оцениваться производительность индивидуального модуля. Тем не менее, пока все системные элементы не объединятся полностью, не может быть установлена истинная производительность системы. Иногда тестирование производительности сочетают со стрессовым тестированием. При этом нередко требуется специальный аппаратный и программный инструментарий. Например, часто требуется точное измерение используемого ресурса (процессорного цикла и т. д.). Внешний инструментарий регулярно отслеживает интервалы выполнения, регистрирует события (например, прерывания) и машинные состояния. С помощью инструментария испытатель может обнаружить состояния, которые приводят к деградации и возможным отказам системы.

Искусство отладки

Отладка – это локализация и устранение ошибок. Отладка является следствием успешного тестирования. Это значит, что если тестовый вариант обнаруживает ошибку, то процесс отладки уничтожает ее.

Итак, процессу отладки предшествует выполнение тестового варианта. Его результаты оцениваются, регистрируется несоответствие между ожидаемым и реальным результатами. Несоответствие является симптомом скрытой причины. Процесс отладки пытается сопоставить симптом с причиной, вследствие чего приводит к исправлению ошибки. Возможны два исхода процесса отладки:

1) причина найдена, исправлена, уничтожена;

2) причина не найдена.

Во втором случае отладчик может предполагать причину. Для проверки этой причины он просит разработать дополнительный тестовый вариант, который поможет проверить предположение. Таким образом, запускается итерационный процесс коррекции ошибки.

Возможные разные способы проявления ошибок:

1) программа завершается нормально, но выдает неверные результаты;

2) программа зависает;

3) программа завершается по прерыванию;

4) программа завершается, выдает ожидаемые результаты, но хранимые данные испорчены (это самый неприятный вариант).

Характер проявления ошибок также может меняться. Симптом ошибки может быть:

q постоянным;

q мерцающим;

q пороговым (проявляется при превышении некоторого порога в обработке – 200 самолетов на экране отслеживаются, а 201-й – нет);

q отложенным (проявляется только после исправления маскирующих ошибок).

В ходе отладки мы встречаем ошибки в широком диапазоне: от мелких неприятностей до катастроф. Следствием увеличения ошибок является усиление давления на отладчика – «найди ошибки быстрее!!!». Часто из-за этого давления разработчик устраняет одну ошибку и вносит две новые ошибки.

Английский термин debugging (отладка) дословно переводится как «ловля блох», который отражает специфику процесса – погоню за объектами отладки, «блохами». Рассмотрим, как может быть организован этот процесс «ловли блох» [3], [64].

Различают две группы методов отладки:

q аналитические;

q экспериментальные.

Аналитические методы базируются на анализе выходных данных для тестовых прогонов. Экспериментальные методы базируются на использовании вспомогательных средств отладки (отладочные печати, трассировки), позволяющих уточнить характер поведения программы при тех или иных исходных данных.

Общая стратегия отладки – обратное прохождение от замеченного симптома ошибки к исходной аномалии (месту в программе, где ошибка совершена).

В простейшем случае место проявления симптома и ошибочный фрагмент совпадают. Но чаще всего они далеко отстоят друг от друга.

Цель отладки – найти оператор программы, при исполнении которого правильные аргументы приводят к неправильным результатам. Если место проявления симптома ошибки не является искомой аномалией, то один из аргументов оператора должен быть неверным. Поэтому надо перейти к исследованию предыдущего оператора, выработавшего этот неверный аргумент. В итоге пошаговое обратное прослеживание приводит к искомому ошибочному месту.

В разных методах прослеживание организуется по-разному. В аналитических методах – на основе логических заключений о поведении программы. Цель – шаг за шагом уменьшать область программы, подозреваемую в наличии ошибки. Здесь определяется корреляция между значениями выходных данных и особенностями поведения.

Основное преимущество аналитических методов отладки состоит в том, что исходная программа остается без изменений.

В экспериментальных методах для прослеживания выполняется:

1. Выдача значений переменных в указанных точках.

2. Трассировка переменных (выдача их значений при каждом изменении).

3. Трассировка потоков управления (имен вызываемых процедур, меток, на которые передается управление, номеров операторов перехода).

Преимущество экспериментальных методов отладки состоит в том, что основная рутинная работа по анализу процесса вычислений перекладывается на компьютер. Многие трансляторы имеют встроенные средства отладки для получения информации о ходе выполнения программы.

Недостаток экспериментальных методов отладки – в программу вносятся изменения, при исключении которых могут появиться ошибки. Впрочем, некоторые системы программирования создают специальный отладочный экземпляр программы, а в основной экземпляр не вмешиваются.

Контрольные вопросы

1. Поясните суть методики тестирования программной системы.

2. Когда и зачем выполняется тестирование элементов? Какой этап конструирования оно проверяет?

3. Когда и зачем выполняется тестирование интеграции? Какой этап конструирования оно проверяет?

4. Когда и зачем выполняется тестирование правильности? Какой этап конструирования оно проверяет?

5. Когда и зачем выполняется системное тестирование? Какой этап конструирования оно проверяет?

6. Поясните суть тестирования элементов.

7. Перечислите наиболее общие ошибки вычислений.

8. Перечислите источники ошибок сравнения и неправильных потоков управления.

9. На какие ситуации ориентировано тестирование путей обработки ошибок?

10. Что такое драйвер тестирования?

11. Что такое заглушка?

12. Поясните порядок работы драйвера тестирования.

13. В чем цель тестирования интеграции?

14. Какие категории ошибок интерфейса вы знаете?

15. В чем суть нисходящего тестирования интеграции?

16. Поясните шаги процесса нисходящей интеграции.

17. Поясните достоинства и недостатки нисходящей интеграции.

18. Какие категории заглушек вы знаете?

19. В чем суть восходящего тестирования интеграции?

20. Поясните шаги процесса восходящей интеграции.

21. Поясните достоинства и недостатки восходящей интеграции.

22. Какие категории драйверов вы знаете?

23. Какова комбинированная стратегия интеграции?

24. Каковы признаки критического модуля?

25. Что такое регрессионное тестирование?

26. В чем суть тестирования правильности?

27. Какие элементы включает минимальная конфигурация программной системы?

28. Что такое альфа-тестирование?

29. Что такое бета-тестирование?

30. В чем суть системного тестирования?

31. Как защищаться от проблемы «указание причины»?

32. В чем суть тестирования восстановления?

33. В чем суть тестирования безопасности?

34. В чем суть стрессового тестирования?

35. В чем суть тестирования производительности?

36. Что такое отладка?

37. Какие способы проявления ошибок вы знаете?

38. Какие симптомы ошибки вы знаете?

39. В чем суть аналитических методов отладки?

40. Поясните достоинства и недостатки аналитических методов отладки.

41. В чем суть экспериментальных методов отладки?

42. Поясните достоинства и недостатки экспериментальных методов отладки.