Імовірнісна НМ

Звичайно передбачають, що щільність імовірності має деякий певний вид (найчастіше вона має нормальний розподіл). Нормальний розподіл часто використовують тому, що тоді параметри моделі (середнє значення й стандартне відхилення) можна оцінити аналітично.

Однак припущення про нормальність далеко не завжди виправдане. Інший підхід до оцінювання щільності ймовірності ґрунтується на так званих ядерних оцінках. У методі ядерних оцінок у точці, що відповідає кожному спостереженню, міститься деяка проста функція, потім їх додають складаються й у результаті виходить оцінка загальної щільності ймовірності. Найчастіше як ядерні функції беруть гауссові функції. Якщо навчальних прикладів достатня кількість, то такий метод дає достатнє наближення до дійсної щільності ймовірності.

Імовірнісна НМ (PNN-мережа) призначена для завдань класифікації. Мережа цього типу являє собою реалізацію методів ядерної апроксимації, оформлених у вигляді НМ.

PNN-мережа має щонайменше три шари: вхідний, радіальний і вихідний. Радіальні елементи беруться по одному на кожне навчальне очікуване спостереження. Кожний з них є гауссовою функцією з центром у цьому спостереженні. Кожному класу відповідає один вихідний елемент. Кожний такий елемент з'єднаний з усіма радіальними елементами, що належать до його класу, а з усіма іншими радіальними елементами він має нульове з'єднання. Таким чином, вихідний елемент просто складає відгуки всіх елементів, що належать до його класу. Значення вихідних сигналів виходять пропорційними до ядерних оцінок імовірності приналежності до відповідних класів, і, врахувавши умову нормування (сума ймовірностей повної групи подій дорівнює одиниці), визначають остаточні оцінки ймовірності приналежності до класів.

Вихід такої мережі, що відповідає якому-небудь класу, описується виразом:

,

де n - розмірність вхідного вектора; N - обсяг навчальної вибірки; - елемент (вектор) навчальної вибірки, що відповідає зазначеному класу.

Найбільш важливі переваги PNN-мереж полягають у тому, що вихідне значення має ймовірнісний сенс (і тому його легше інтерпретувати), і в тому, що мережа швидко навчається. Під час навчання такої мережі час витрачається практично тільки на те, щоб подавати їй на вхід навчальні спостереження, і мережа працює настільки швидко, наскільки це взагалі можливо.

Істотним недоліком таких мереж є їх обсяг. PNN-мережа фактично містить у собі всі навчальні дані, тому вона вимагає багато пам'яті й може повільно працювати.