Определение и принципы тестирования

Тестирование является одним из этапов жизненного цикла ПИ, направленным на повышение качественных характеристик. При создании типичного ПИ около 40% общего времени и более 40% общей стоимости расходуется на тестирование разрабатываемой программы.

Особенности тестирования ПИ:

• отсутствие эталона (программы), которому должна соот­ветствовать тестируемая программа;

• высокая сложность программ и принципиальная невозмож­ность исчерпывающего тестирования;

• практическая невозможность создания единой методики тестирования в силу большого разнообразия ПИ по их сложности, функциональному назначению, области использования и т.д.

Тестирование ПИ - процесс многократ­ного выполнения программы с целью обнаружения ошибок.

Цель тестирования - выявление как можно большего числа ошибок.

Принцип 1. Процесс тестирования более эффективен, если проводится не автором программы.

Из определения тестирования как процесса, направленного на выявление ошибок, ясно, что тестирование тем эффектив­ней, чем больше ошибок выявлено. Но обнаружение недостатков в своей деятельности про­тиворечит человеческой психологии. Это не означает, что программист не может тестировать свою программу. Речь идет о повышении эффективности тестиро­вания.

Принцип 2. Описание предполагаемых значений резуль­татов тестовых прогонов должно быть необходимой частью тестового набора данных.

Тестирование как процесс многократного выполнении про­граммы проводится на многочисленных входных наборах данных. Чтобы определить правильность полученных в резуль­тате очередного тестового прогона данных, необходимо знать ожидаемый результат, иначе правдоподобные результаты тесто­вого прогона могут быть признаны правильными. Таким образом, тестовый набор данных должен включать два компонента: описание входных данных и описание точного и корректного результата, соответствующего набору входных данных.

Принцип 3. Необходимо досконально изучать результаты применения каждого теста.

Значительная часть всех обнаружен­ных в конечном итоге ошибок могла быть выявлена в резуль­тате самых первых тестовых прогонов, но они были пропущены вследствие недостаточно тщательного анализа результатов первых тестовых прогонов.

Принцип 4. Тесты для неправильных и непредусмотрен­ных входных данных должны разрабатываться также тщатель­но, как для правильных, предусмотренных.

При обработке данных, выходящих за область допустимых значений, в тестируемой программе должна быть предусмотрена диагностика в виде сообщений. Если сообщение о причине невозможности обработки по пред­ложенному алгоритму отсутствует и программа завершается аварийно или ведет себя непредсказуемо, то такая программа не может считаться работоспособной и требует существенной доработки.

Принцип 5. Необходимо проверять не только, делает ли программа то, для чего она предназначена, но и не делает ли она то, что не должна делать.

Необходимо любую программу проверить на нежелательные побочные эффекты. Например, если программа обработки и печати какой-нибудь ведомости дублирует первую или послед­нюю строку, то она содержит ошибку.

Принцип 6. Вероятность наличия необнаруженных оши­бок в части программы пропорциональна числу ошибок, уже обнаруженных в этой части.

Части программы, где при тестировании обнаружено большее число ошибок, либо были слабо проработаны идеологически, либо разрабатывались программистами более низкой квалифи­кации. Вывод: если в какой-нибудь части программы обнаружено больше ошибок, чем в других, то ее необходимо тестировать более тщательно.