Метод експертної оцінки

Термін «експертиза» походить від лат. expertus (франц. еxpertise) – досвідчений.

Експерти є фахівцями у певній сфері науки або практики. Експертиза спирається на інтуїцію експерта як на психоевристичний феномен, допомагає експерту зануритися в глибини несвідомого. Екс-пертиза дає змогу вирішувати три групи традиційних завдань: кількісної оцінки об’єктів за певною ознакою, упорядкування об’єктів і їх кла-сифікацію. Нетрадиційні завдання експертизи – написання сценаріїв, визначення ймовірності настання подій тощо.

Адекватна експертна оцінка заснована на вмінні розчленовувати систему на підсистеми, блоки, компоненти, ураховувати їх взаємо-зв'язки, а також в усвідомленні того, що цілісність системи породжує якісно нові властивості, які відсутні в їх компонентах.

Щодо класифікації експертизи, враховуючи її зв'язок із певними сторонами людської діяльності, можна стверджувати, що кількість їх типів буде відповідати кількості наукових напрямів.

1. Залежно від рівня організації: міждержавні, державні, гро-мадські, відомчі.

2. За формою: постійні та тимчасові.

3. Залежно від об'єкта експертизи: експертиза проекту й експертиза об'єкта. Об'єктів експертизи існує безліч. Їх класифікація може йти в напрямку розвитку кваліфікації систем: природничо-господарські, тех-нічні, інформаційні (наука, культура, юриспруденція), соціальні.

4. Залежно від світоглядних рівнів відображень існуючої реаль-ності (рефлексії) Ю.М. Федоров пропонує такий поділ експертизи: ноологічні (трансцендентальні, містичні, астрологічні); гуманітарні (філософські, філософсько-антропологічні); соцієтальні (політичні, соціологічні, економічні, юридичні, соціально-медичні); природничо-наукові (гідрологічні, геологічні, географічні, геоекологічні, біологічні, метеорологічні, медико-біологічні, технологічні, інженерно-будівельні).

У педагогіці область застосування науково-педагогічної експер-тизи досить широка. Вона пов'язана насамперед із необхідністю компетентно оцінити підручники та посібники, наукові дослідження, стандарти освіти, якість освітніх послуг у ракурсі конкретного закла-ду. Експертна оцінка є вихідним положенням для прогнозування шляхів розвитку системи освіти, прийняття державних і регіональних програм.

Сучасна наукова педагогічна думка пропонує виділяти ще гума-нітарну експертизу (С.Л. Братченко). Основне її трактування пов'язане з тим, що повноцінне вивчення освітнього середовища здійснюється за базовими, первинними – гуманітарними, загальнолюдськими кри-теріями, які в кожному окремому випадку повинні доповнюватися частковими, вторинними показниками: рівнем знань і вмінь, рівнем розвитку окремих психічних функцій тощо. Власне, доповнюватись, а не підмінюватись. Гуманітарна експертиза передбачає не тільки залу-чення компетентних та авторитетних осіб, а й використання ста-тистичних даних і точних діагностичних методик. При організації експертизи, у першу чергу, увага приділяється організації діалогу та дотримання етики. Вона не визнає абсолютної однозначності оцінок і категоричності висновків.

Експертний метод дослідження застосовується в тих випадках, коли:

¨ на основі відомих законів неможливо передбачити поведінку системи в майбутньому;

¨ коли неможливо провести експериментальну перевірку ходу процесу;

¨ за наявності невизначених факторів, які не піддаються контролю;

¨ за наявності багатоваріантних шляхів рішення проблеми;

¨ при неповноті інформації, на основі якої приймається рішення.

Проведення експертизи проводиться у такій послідовності: підбір експертів, інструктаж, опитування експертів, аналіз його результатів.

Побудова програми експертизи передбачає вирішення питань, властивих для будь-якого дослідження: визначення мети, завдань, об’єкта, предмета, гіпотези експертизи. Після цього проводять форму-вання групи експертів, яке передбачає визначення кількості експертів, їх складу. Експерт (від лат. expertus – досвідчений) – компетентна особа, яка запрошується у спірних питаннях. Експертна діяльність має особливості, характерні тільки для неї. Предметом мислення екс-перта виступають події, процеси, які можуть бути прийняті соціумом під різним кутом зору. Тобто експерт повинен мислити як прогнозист – формувати висловлення в термінах модальності. Експерт у своїй діяльності ніколи не може бути абсолютно нейтральним до об'єкта експертизи. До експертної групи, як правило, обирають з певної мно-жини фахівців осіб, найбільш компетентних з певного кола питань. Критеріями такого відбору є такі: компетентність; креативність (здат-ність вирішувати творчі завдання, метод вирішення яких повністю або частково невідомий); евристичність (здатність бачити або створювати неочевидні проблеми); предикативність (здатність передбачати або пе-редчувати майбутні стани об’єкта); інтуїція (здатність робити висновки про досліджуваний об’єкт без усвідомлення шляхів руху думки до цього висновку); незалежність (здатність протиставляти поширеним дум-кам власні); всебічність (здатність бачити проблему з різних поглядів).

Експертологія як наука пропонує таку модель ідеального експерта:

¨ відносно незалежне адміністративне становище;

¨ досвід активної роботи в даній системі;

¨ досвід активної наукової роботи;

¨ здоров'я (відсутність роздратованості, песимізму, нещирості);

¨ інтелектуальна продуктивність;

¨ працездатність;

¨ упевненість в судженнях;

¨ природна допитливість;

¨ урівноваженість реаліста;

¨ природна щирість;

¨ строге дотримання моралі;

¨ почуття соціальної відповідальності.

Для незалежної експертизи дуже важлива етика поведінки екс-перта, насамперед його чесність, непідкупність. Найбільш простим способом оцінки компетентності експертів в області педагогіки є анкетування, розроблене в логіку «поетапного розгортання питання» (Г. Геллап):

¨ питання-фільтр, що дозволяє виявити поінформованість опиту-ваного з проблеми;

¨ питання, спрямоване на виявлення загального ставлення опи-туваного до проблеми (відкрите, що не передбачає варіантів вибору відповіді);

¨ питання для одержання відповіді з конкретного аспекту проб-леми (припускає варіанти готових відповідей);

¨ питання, що дозволяє виявити причини поглядів, мотивацію суджень (напівзакрите);

¨ питання на виявлення стійкості поглядів опитуваного на проб-лему (у закритій формі).

Для підбору експертів використовуються також такі методи:

¨ документальний (на основі об'єктивних анкетних даних);

¨ експериментальний (на основі аналізу досвіду роботи в поперед-ніх експертизах);

¨ метод голосування експертами-виборцями;

¨ метод самооцінки кандидатами в експерти (за бальною системою).

Для проведення педагогічної експертизи доцільно використовувати методики вже розроблені, апробовані, що довели свою валідність та об'єктивність: вони, як правило, є результатом психолого-педагогіч-них досліджень. Якщо ж таких методик немає, їх доводиться роз-робляти самим експертам.

Вимагає розробки і визначення критеріїв експертної оцінки.

Алгоритм розробки критеріїв оцінювання:

¨ визначається номенклатура рівнів (високий, середній, низький чи оптимальний, припустимий, неприпустимий тощо);

¨ відпрацьовується набір показників, що в сукупності харак-теризують рівень розвитку оцінюваної якості, параметра, результату;

¨ ранжування показників;

¨ оцінювання факторів вагомості показників;

¨ застосування показників у протоколах експертизи.

При розробці показників виходять з того, що кожен із критеріїв оцінки, наприклад, матеріально-технічні та медико-соціальні умови перебування дітей в освітній установі, може бути представлений як сукупність підкритеріїв більш низького рівня (предметне розвиваюче середовище, безпека дитини, охорона здоров'я), а вони, у свою чергу, – у вигляді сукупності підкритеріїв ще нижчого рівня і т. д. Цей процес повторюють до тих пір, поки не з'являється можливість визначити для кожного з критеріїв і підкритеріїв один чи кілька показників оцінки (наявність устаткування, іграшок, посібників, показники захво-рюваності та травматизму, санітарний стан приміщень і території закладу освіти, сформованість культурно-гігієнічних навичок, рівень психофізичного здоров'я дітей тощо), значення яких визначають за допомогою вимірювальних методик експертної оцінки.

Здійснюється експертна оцінка за допомогою одного з п’яти методів отримання інформації: анкетування, інтерв’ювання, дискусії, наради і мозкового штурму. Анкетування – експерти дають відповіді на запитання у письмовій формі. Інтерв’ю – це бесіда інтерв’юера з експертом, коли відповіді дають усно на запитання, які зазвичай наперед невідомі. Дискусія охоплює відносно невелику кількість фа-хівців, при цьому учасники дискусії формулюють її запитання, мету, формують процедуру і виступають з її тематики. Наради застосовуються для обміну думками. Мозковий штурм спрямований на генерацію нових ідей під час розв’язання проблеми.

Експертні методи колективної оцінки можна розділити на такі групи:

Метод експертних оцінок «Дельфі» (клас методів групових екс-пертних оцінок, які вперше застосовувались у США в 1964 р.). Суть методу полягає в послідовному анкетуванні думок експертів з різних галузей. У кожній анкеті міститься інформація, яка одержана з попе-редніх анкет (можливим є декілька кіл таких анкет). Мета методу – створення детально скоригованої програми послідовних індивідуальних опитувань, спрямованих на зменшення групового впливу, який вини-кає при взаємній роботі спеціалістів. Основні принципи полягають в анонімності опитувань. Аналітики обробляють інформацію на кожному етапі опитування експертів з метою зблизити думки, точки зору на досліджене питання. Разом з тим цей метод не передбачає досягнення повної єдності думок. Завдяки письмовій формі опитування знижується фактор навіювання чи пристосування до думок більшості. Опитування експертів проводиться в декілька турів. Під час кожного туру експерти повинні дати оцінку якомусь певному явищу. Наприклад, треба було у дванадцятибальній системі оцінити стан превентивного виховання. Семеро експертів поставили різні оцінки. Тоді всі оцінки необхідно поставити за порядком спадання. Потім знайти медіану. Медіаною є оцінка 5, що вважається отриманою в результаті першого туру опи-тування. Далі свої оцінки повинні обґрунтувати експерти, які поставили найвищий та найнижчий бали. Причому експерти не повинні знати, яку оцінку і хто поставив. З їх висновками ознайомлюють інших експертів. Далі проводиться повторне оцінювання. Подібна процедура дозволяє спеціалістам у разі необхідності змінити свою оцінку, приймаючи до уваги обставини, що виявили експерти, які поставили найвищу та найнижчу оцінки. Завдяки цьому результат другого та наступних опитувань дають менший розрив у оцінках. Після кожного туру проводиться ранжування оцінок і виявляється медіана. У кінці оцінки будуть максимально наближені. Метод Дельфі дозволяє отри-мати більш надійні групові оцінки, ніж у випадку знаходження серед-нього арифметичного оцінок або колективного обговорення. До недоліків методу відноситься те, що взаємовплив експертів абсолютно виключити неможливо.

Метод програмного прогнозування (запропонований В. М. Глуш-ковим і є сполученням методів «Дельфі та ПЕРТ»). Служить для визначення ймовірності настання подій та оцінки ймовірного часу їх настання.

Метод евристичного прогнозування полягає в отриманні та спе-ціальній обробці прогностичних оцінок об'єкта шляхом систематичного опитування експертів, висококваліфікованих у вузькій галузі науки, техніки, педагогіки чи виробництва.

Метод колективної генерації ідей (метод «мозкової атаки») – лавиноподібний процес, коли проголошена ідея породжує або творчу, або критичну позитивну реакцію (негативна реакція забороняється).

Метод кваліметрії (метод кількісного оцінювання), який має на меті формалізувати якісні характеристики відповідних явищ і про-цесів через їх розподіл на простіші, визначити їх нормативний чи стандартний перебіг через систему критеріїв – показників діяльності (розвитку) творчого процесу чи явища (Г. Дятлова). Цілісне явище характеризується окремими факторами або компонентами. Кожний компонент подається рядом простих властивостей – критеріїв, що виражають властивості педагогічного явища на нижчому рівні.

Використання цих методів дозволяє на науковому рівні робити досить глибокий аналіз, діагностику педагогічних процесів, які відбу-ваються у школі, та отримувати конкретніші результати для їх оцінки.

Інструментарій експертизи, як правило, включає опитні листи, методичні рекомендації щодо проведення експертизи та інформаційне забезпечення експертів з метою підвищення їхньої компетентності.

Отриману від експертів інформацію піддають якісному та кіль-кісному аналізу. Підбиття підсумків – важливий етап. Результати експертизи, в основному, не складають для респондентів таємниці в силу принципової відкритості процедур експертизи та проміжного обговорення результатів аналізу та оцінки. Усі результати експертизи можна поділити на три основні групи:

Факти. Фундамент підсумків складає сукупність отриманих відо-мостей, матеріалів, у тому числі суб'єктивний матеріал – спостереження, враження, взаємовпливи. Під час обробки фактів важливо не загубити в загальних висновках конкретних відомостей.

Коментарі. Якщо для інших типів експертиз факти мають вирі-шальне значення, то для педагогічної експертизи значимими є також коментарі, думки експертів з приводу фактів, їх трактування, гіпотези.

Передбачення. На основі конкретних результатів і розуміння їх смислу експерти роблять висновки про можливості та конкретні перспективи розвитку даної школи, необхідні ресурси, можливі труд-нощі та умови їх подолання. Можливий обережний прогноз наслідків у разі припинення розвитку. Передбачення експертів повинні бути не керівництвом до дії, а інформацією до роздумів.

Експертний висновок – це документ, оформлений відповідно до встановлених вимог, який містить мотивовану експертну оцінку, тобто думку, судження експерта про предмет експертизи.

Індивідуальний аналіз думки експертів передбачає перевірку їх несуперечності. Найбільш суперечливі думки експертів вибраковують. Після цього виконують загальний аналіз сукупності зібраних думок: з’ясовують такі характеристики, як узгодженість думок експертів, уза-гальнена оцінка об’єктів на основі індивідуальних оцінок експертів, відносна вага об’єктів, узагальнені оцінки на основі парного порів-няння об’єктів, залежність між ранжуванням, оцінюють надійність результатів, здійснюють різні класифікації об’єктів експертизи, підрахо-вують частотні характеристики тощо.

Розглянемо приклади визначення узгодженості оцінок декількох експертів.

Припустимо, що оцінювання проводять два експерти і респрон-денту приписуються значення у вигляді середнього значення (х) із двох вихідних. Оцінку точності такого вимірювання необхідно здійснювати за формулою:

Приклад 1. Два експерти оцінюють готовність магістранта здійс-нювати педагогічну діяльність за семибальною шкалою. Припустимо, що 13 респондентів отримали такі оцінки:

Експерти	Респонденти
1	2	3	4	5	6	7	8	9	10	11	12	13
А Б

Отже, середня похибка у такому способі оцінювання респондента складає майже 1 бал.

У тому випадку, коли кількість вимірювання кожного об’єкта дорівнює 3, формула для розрахунку похибки буде такою:

де n – кількість респондентів (об’єктів);

– дисперсія оцінок і-го респондента.

Приклад 2. Припустимо, що наведену у першому прикладі сукупність із 13 респондентів оцінюють не двоє, а троє експертів, тобто додається ще один ряд даних, то маємо такі розрахунки:

Експерти	Респонденти
1	2	3	4	5	6	7	8	9	10	11	12	13
А Б В
	0,67	3,3 2,89	0,67	5,3 0,22	2,3 1,56	0,67	0,67			2,67	4,3 0,89	3,3 0,89	0,67

Отже, оцінювання за допомогою трьох експертів є більш надій-ним, ніж двох (відповідні похибки 0,69 та 0,97).

У тому випадку, коли необхідне порівняння не двох змінних, а більшої кількості (наприклад, при з'ясуванні погодженості думок гру-пи експертів), використовується коефіцієнт конкордації, запропонований Кендаллом:

,

де n – кількість аналізованих об'єктів, m – кількість експертів, Rij – ранг j-го об'єкта, що привласнений йому i-м експертом.

Коефіцієнт конкордації приймає значення від 0 до 1. Причому він дорівнює 1 при максимальній узгодженості і дорівнює 0 при максимальній неузгодженості.

Отримані результати експертного оцінювання подають у різних формах – аналітичній, математичній, графічній.

Структурно процедуру проведення експертного оцінювання можна представити у вигляді таблиці (О. Бондар):

Таблиця 6.1.