Требования к тестам производительностивы­чис­ле­ний, ориентированных на сце­на­рии

Про­бле­му адек­ват­ной оцен­ки про­из­во­ди­тель­но­сти вы­чис­ле­ний, ори­ен­ти­ро­ван­ных на сце­на­рии, можно раз­де­лить на выбор те­стов и раз­ра­бот­ку мет­рик.

Выбор теста — это про­бле­ма опре­де­ле­ния вы­чис­ли­тель­ной на­груз­ки в тер­ми­нах вход­ной ин­фор­ма­ции (про­грам­мы и дан­ные) и вре­ме­ни вы­пол­не­ния. Тесты, ориентирован­ные на сце­на­рии, долж­ны удо­вле­тво­рять сле­ду­ю­щим тре­бо­ва­ни­ям:

· Вклю­чать в себя вза­и­мо­дей­ствие про­грамм­но­го обес­пе­че­ния и оборудования. За­да­чи могут ожи­дать друг друга, вза­и­мо­дей­ство­вать, раз­мно­жать­ся и по­ки­дать си­сте­му. При этом на­груз­ка на компьютер может су­ще­ствен­но ме­нять­ся.

· Предо­став­лять чет­кую вре­мен­ную ин­фор­ма­цию для вхо­дов и вы­хо­дов. Посколь­ку всего один «клик» мыш­кой может за­пу­стить целую сеть вы­чис­ле­ний, важно четко знать их рас­по­ло­же­ние от­но­си­тель­но дру­гих со­бы­тий.

· Об­ра­ба­ты­вать кри­ти­че­ские слу­чаи. Сце­на­рии долж­ны изо­ли­ро­вать из­ло­мы кри­вых по­ка­за­те­лей про­из­во­ди­тель­но­сти. По­сколь­ку быст­ро­дей­ствие за­ви­сит от используе­мо­го обо­ру­до­ва­ния, дол­жен су­ще­ство­вать ме­ха­низм на­строй­ки тре­бо­ва­ний различ­ны­ми спо­со­ба­ми.

· Опи­сы­вать целые на­бо­ры мо­де­лей ис­поль­зо­ва­ния. Хотя они и на­прав­ле­ны на опре­де­лен­ные типы ис­поль­зо­ва­ния, сце­нар­но-ори­ен­ти­ро­ван­ные компьютеры могут приносить поль­зу и в дру­гих ре­жи­мах. Ко­ли­че­ствен­ная оцен­ка вза­и­мо­дей­ствий между основ­ной и вто­рич­ны­ми мо­де­ля­ми ис­поль­зо­ва­ния про­сто необ­хо­ди­ма. На­при­мер, что лучше — иметь от­лич­ный кар­ман­ный те­ле­ви­зор или по­жерт­во­вать неко­то­ры­ми его функци­я­ми, но по­лу­чить вза­мен воз­мож­ность ис­поль­зо­вать это же устрой­ство как телефон.

При кар­ди­наль­но из­ме­ненной струк­ту­ре те­сти­ро­ва­ния для компьютеров, ориентиро­ван­ных на сце­на­рии, со­от­вет­ствен­но, долж­ны из­ме­нить­ся и мет­ри­ки, которые, долж­ны удо­вле­тво­рять следую­щим кри­те­ри­ям:

· Раз­ли­чать эле­мен­ты при­ло­же­ний по их по­лез­но­сти. У поль­зо­ва­те­лей нет еди­ных тре­бо­ва­ний к функ­ци­о­ни­ро­ва­нию всех задач или даже к ча­стям одной за­да­чи.

· Учи­ты­вать нели­ней­ность. Слож­ная за­да­ча, вы­пол­ня­е­мая в ре­жи­ме ре­аль­но­го вре­ме­ни, долж­на уло­жить­ся в по­став­лен­ные сроки. После того как все сроки про­шли, смыс­ла в даль­ней­шем уско­ре­нии за­да­чи может про­сто не быть. Нечто по­хо­жее происходит с лю­дь­ми: ско­рость ре­ак­ции у че­ло­ве­ка огра­ни­че­на, и если со­бы­тия происходят быст­рее, они про­сто не вос­при­ни­ма­ют­ся. На­при­мер, гра­фи­че­ская за­да­ча бессмыс­лен­на, если об­ра­зы будут ме­нять­ся быст­рее, чем время от­кли­ка мо­ни­то­ра.

· Опи­сы­вать кри­ти­че­ские слу­чаи. По­ни­ма­ние в си­сте­ме всех вза­и­мо­дей­ствий, ори­ен­ти­ро­ван­ных на сце­на­рии, тре­бу­ет зна­ния того, в какой мо­мент, в какой функ­ции и в каком месте эти вза­и­мо­дей­ствия при­во­дят к сни­же­нию общей про­из­во­ди­тель­но­сти.

· Обес­пе­чи­вать ви­зу­аль­ное пред­став­ле­ние. Кар­тин­ки и гра­фи­ки — мощ­ное сред­ство для пред­став­ле­ния слож­ной ин­фор­ма­ции и вза­и­мо­дей­ствий. Це­ле­со­об­раз­но исполь­зо­вать диа­грам­мы со стол­би­ка­ми в со­че­та­нии с тестами SPEC, чтобы демонстрировать улуч­ше­ния в про­пуск­ной спо­соб­но­сти и умень­ше­ние за­дер­жек.

Разработ­чи­кам компьютеров, ори­ен­ти­ро­ван­ных на сце­на­рии, часто тре­бу­ет­ся выбрать один под­ход из мно­же­ства аль­тер­на­тив, когда оп­ти­маль­ный ва­ри­ант со­всем не очеви­ден. Надо до­бить­ся того, чтобы буду­щие тесты по­мо­га­ли при­ни­мать пра­виль­ные реше­ния.