Непри­год­ность су­ще­ству­ю­щих те­стов и мет­рик

Те­сто­вый набор пред­став­ля­ет собой несколь­ко при­ло­же­ний, поз­во­ля­ю­щих комплекс­но оце­нить ра­бо­ту компьютера. Тест SPEC CPU — ос­нов­ной тест, используемый созда­те­ля­ми ком­пью­те­ров,— вклю­ча­ет ряд ин­же­нер­ных и на­уч­ных при­ло­же­ний, специаль­но ото­бран­ных и мо­ди­фи­ци­ро­ван­ных для того, чтобы све­сти к ми­ни­му­му взаимодей­ствие с опе­ра­ци­он­ной си­сте­мой. Тест EEMBC со­дер­жит ядро и встро­ен­ные приложе­ния. Набор Stanford SPLASH из­ме­ря­ет время ра­бо­ты рас­па­рал­ле­ли­ва­е­мых алгорит­мов, поз­во­ля­ет ана­ло­гич­ным об­ра­зом оце­нить тра­ди­ци­он­ные мно­го­про­цес­сор­ные структу­ры. Все при­ло­же­ния в этих те­сто­вых на­бо­рах неза­ви­си­мы и вы­пол­ня­ют­ся по отдель­но­сти.

Про­из­во­ди­тель­ность в тесте SPEC из­ме­ря­ет­ся, как уско­ре­ние по от­но­ше­нию к эталон­ной си­сте­ме. По­сколь­ку цель любого ком­пью­тер­а со­сто­ит в том, чтобы обеспечить от­лич­ную про­из­во­ди­тель­ность при любой ра­бо­те, уско­ре­ние каждо­го приложе­ния трак­ту­ет­ся одинако­во, а общее уско­ре­ние опре­де­ля­ет­ся как геометри­че­ское сред­нее. Гео­мет­ри­че­ское сред­нее при­пи­сы­ва­ет боль­шие веса приложениям с мень­шей про­из­во­ди­тель­но­стью — если хотя бы один ре­зуль­тат равен нулю, то и общий по­ка­за­тель равен нулю, что озна­ча­ет бес­ко­неч­ный вес для кон­крет­но­го при­ло­же­ния. Таким об­ра­зом, луч­ший ре­зуль­тат покажут сба­лан­си­ро­ван­ные си­сте­мы, кото­рые боль­ше под­хо­дят для при­ло­же­ний об­ще­го на­зна­че­ния, но этот метод не оце­нит адек­ват­но функ­ци­о­ни­ро­ва­ние компьютеров, ориентированных на сце­на­рии.

В ком­плек­те тестов SPEC име­ет­ся набор SPEC_rate для из­ме­ре­ния про­пуск­ной способности мно­го­про­цес­сор­ных си­стем. Чтобы опре­де­лить по­ка­за­те­ли SPEC_rate, компью­тер одно­вре­мен­но вы­пол­ня­ет n копий каж­дой из задач, а затем опре­де­ля­ет все их времена выпол­не­ния. Такой под­ход ори­ен­ти­ро­ван на вы­пол­не­ние од­но­род­ных задач, скажем, на при­ло­же­ния типа ин­же­нер­но­го проектирования, Internet-хо­стинг, ра­бо­ту с база­ми данных и высоко­про­из­во­ди­тель­ные вы­чис­ле­ния. Компьютеры, ори­ен­ти­ро­ван­ные на сце­на­рии, на­про­тив, преду­смат­ри­ва­ют раз­лич­ные мо­де­ли ис­поль­зо­ва­ния.

Неко­то­рые те­сто­вые на­бо­ры, такие как SYSmark и 3Dmark, предназначены для оцен­ки ком­мер­че­ских ха­рак­те­ри­стик ком­пью­тер­а. В тесте SYSmark используются наиболее рас­про­стра­нен­ные ком­мер­че­ские при­ло­же­ния — Adobe Acrobat Reader, Macromedia Dreamweaver, McAfee VirusScan и Microsoft Office — в со­че­та­нии с вход­ной ин­фор­ма­ци­ей и дан­ны­ми, по­лу­ча­е­мы­ми от ре­аль­ных со­бы­тий. Различ­ные прило­же­ния выпол­ня­ют­ся сов­мест­но в раз­ных сце­на­ри­ях, на­при­мер, в коммуни­ка­ци­ях (элек­трон­ная почта и поиск в Internet) и ана­ли­зе дан­ных (за­про­сы в базы дан­ных и операции над таблица­ми). Для каж­до­го сце­на­рия вы­да­ет­ся свой отчет. Тест SYSmark оценива­ет время от­кли­ка, а не время счета, от­ра­жая тот факт, что мно­гие при­ло­же­ния зави­сят от происходя­щих со­бы­тий и могут на­хо­дить­ся в «уснув­шем» со­сто­я­нии, пока поль­зо­ва­тель с ними не вза­и­мо­дей­ству­ет.

Тест SYSmark в боль­шей сте­пе­ни, чем тест SPEC, под­хо­дит для оцен­ки современных приложе­ний, но и он не вклю­ча­ет про­грам­мы, ра­бо­та­ю­щие в ре­аль­ном време­ни, например, по­то­ко­вое видео или об­ра­бот­ку сиг­на­лов и рас­по­зна­ва­ние го­ло­са, что ограничи­ва­ет спо­соб­ность теста SYSmark опи­сы­вать мо­де­ли ис­поль­зо­ва­ния, ориентирован­ные на сце­на­рии.

Тест 3Dmark оце­ни­ва­ет про­из­во­ди­тель­ность устройств при вы­пол­не­нии иг­ро­вых приложе­ний. Этот тест из­ме­ря­ет ско­рость вы­пол­не­ния игр с очень ин­тен­сив­ной гра­фи­кой в ре­жи­ме ре­аль­но­го вре­ме­ни. Тест 3Dmark из­на­чаль­но был сфо­ку­си­ро­ван на ра­бо­те графических про­цес­со­ров, но в дальнейшем в него было до­бав­ле­ны и за­да­чи, позволяющие оценить про­из­во­ди­тель­ность и цен­траль­но­го про­цес­со­ра.

Таким об­ра­зом, несмот­ря на то, что ис­сле­до­ва­те­ли вкла­ды­ва­ют свой та­лант и творче­ство в раз­ра­бот­ку те­стов, этого еще недо­ста­точ­но для оцен­ки ком­пью­тер­ов, ориен­ти­ро­ван­ных на сце­на­рии по следующим причинам:

· Мет­ри­ки при­пи­сы­ва­ют оди­на­ко­вый вес всем приложениям. Это яв­ля­ет­ся насле­ди­ем компьютеров об­ще­го на­зна­че­ния, вы­пол­ня­ю­щих изо­ли­ро­ван­ные за­да­чи. При рабо­те в ин­тер­ак­тив­ном ре­жи­ме быст­рый ответ на неко­то­рые со­бы­тия более важен, чем время от­кли­ка на дру­гие.

· Мет­ри­ки опре­де­ля­ют про­из­во­ди­тель­ность ком­пью­те­ров по их спо­соб­но­сти уско­рять дей­ствие, а не от­кры­вать новые возможности. Поль­зо­ва­те­ли ожи­да­ют интегра­ции новых воз­мож­но­стей, таких как рас­по­зна­ва­ние речи, а не уско­ре­ния уже существу­ю­щих функ­ций на­по­до­бие про­вер­ки на­ли­чия син­так­си­че­ских оши­бок в тек­сте.

· Мет­ри­ки не учи­ты­ва­ют вза­и­мо­дей­ствия между приложениями. Когда несколь­ко при­ло­же­ний ра­бо­та­ют на общую цель, уско­ре­ние неко­то­рых из них не обязатель­но при­ве­дет к улуч­ше­нию ре­зуль­та­та, а на­о­бо­рот, может сни­зить общую произво­ди­тель­ность.

Се­год­ня ни одна из су­ще­ству­ю­щих мет­рик про­из­во­ди­тель­но­сти не поз­во­ля­ет оценивать ори­ен­ти­ро­ван­ны­е на сце­на­рии компьютеры. Ис­то­ри­че­ски ком­пью­тер­ная струк­ту­ра все­гда была ис­кус­ством вы­яв­ле­ния и устра­не­ния «узких» мест с по­мо­щью увели­че­ния кэш-па­мя­ти или пред­ска­за­ния ветв­ле­ний. Для бу­ду­щих ком­пью­тер­ных структур име­ют­ся свои ме­то­ды оп­ти­ми­за­ции функ­ци­о­ни­ро­ва­ния, но они при­ме­ня­ют­ся толь­ко для кри­ти­че­ских слу­ча­ев — когда при­ло­же­ние ра­бо­та­ет на грани воз­мож­но­стей обо­ру­до­ва­ния и про­из­во­ди­тель­ность резко де­гра­ди­ру­ет. Те­сто­вые на­бо­ры, ориентированные на сце­на­рии, долж­ны поз­во­лять иден­ти­фи­ци­ро­вать кри­ти­че­ские слу­чаи и по­мо­гать их раз­ре­шить.