Нейронні мережі зустрічного розповсюдження

Об’єднання різнотипних нейронних структур в єдиній архітектурі часто призводить до властивостей, яких немає у них по поодинці. Причому саме каскадні з'єднання нейронних структур, які спеціалізцються на рішенні різних задач, дозволяють вирішити проблему комплексно.

Нейронні мережі зустрічного розповсюдження, що складаються з вхідного шару нейронів і так званих шарів нейронів Кохонена і Гроссберга, за своїми характеристиками істотно перевершують можливості мереж з одним прихованим шаром нейронів. Час їх навчання задачам розпізнавання і кластеризації більш, ніж в сто разів менше часу навчання аналогічним задачам мереж із зворотним розповсюдженням. Це може бути корисно в тих задачах, де довга навчальна процедура неможлива

Однією з визначальних характеристик мережі зустрічного розповсюдження є її хороші здібності до узагальнення, які дозволяють одержувати правильний вихід навіть при неповному або зашумленому вхідному векторі.

Це дозволяє ефективно використовувати дану мережу для розпізнавання і відновлення образів, а також для посилення сигналів.

У процесі навчання мережі зустрічного розповсюдження вхідні вектори асоціюються з відповідними вихідними векторами. Ці вектори можуть бути двійковими або безперервними. Після навчання мережа формує вихідні сигнали, відповідні вхідним сигналам.

Узагальнююча здатність мережі дає можливість одержувати правильний вихід, коли вхідний вектор неповний або спотворений.

Мережа зустрічного розповсюдження має два шари з послідовними зв'язками. Перший – шар Кохонена, другий – шар Гроссберга. Кожний елемент вхідного сигналу подається на всі нейрони шару Кохонена. Кожний нейрон шару Кохонена сполучений зі всіма нейронами шару Гроссберга. Відмінність мережі зустрічного розповсюдження від інших багатошарових мереж з послідовними зв'язками полягає в операціях, виконуваних нейронами Кохонена і Гроссберга.

У режимі функціонування мережі пред'являється вхідний сигнал X і формується вихідний сигнал Y. У режимі навчання на вхід мережі подається вхідний сигнал і вага коректується, щоб мережа видавала необхідний вихідний сигнал.

Шар Кохонена. В своїй найпростішій формі шар Кохонена функціонує за правилом «переможець одержує все». Для даного вхідного вектора один і лише один нейрон Кохонена видає логічну одиницю, всі інші видають нуль. Вихід кожного нейрона Кохонена є просто сумою зважених елементів вхідних сигналів:

(8.1)

де: S_j – вихід j-го нейрона Кохонена,

– вектор вагів j-го нейрона Кохонена,

X=(x₁, x₂,…,х_n) – вектор вхідного сигналу, або у векторно-матричній

формі: S = XW (S – вектор виходів шару Кохонена.

Нейрон Кохонена з максимальним значенням S_j є «переможцем». Його вихід рівний одиниці, у інших він рівний нулю.

Шар Гроссберга. Шар Гроссберга функціонує в схожій манері. Його вихід є зваженою сумою виходів шару Кохонена (тобто він є шаром нейронів з лінійними активаційними функціями).

Якщо шар Кохонена функціонує таким чином, що лише один вихід рівний одиниці, а інші рівні нулю, то кожний нейрон шару Гроссберга видає величину ваги, яка зв'язує цей нейрон з єдиним нейроном Кохонена, чий вихід відмінний від нуля.

Попередня обробка вхідних сигналів. Представлена НМ вимагає попередньої обробки вхідних векторів шляхом їх нормалізації. Нормалізація виконується шляхом розподілу кожної компоненти вхідного вектора на довжину вектора (квадратний корінь з суми квадратів компонент вектора). Це перетворює вхідний вектор на одиничний вектор з тим же направленням, тобто у вектор одиничної довжини в -мірном просторі.

Навчання шару Кохонена. Шар Кохонена класифікує вхідні вектори в групи схожих. Це досягається за допомогою такого підстроювання вагів шару Кохонена, що близькі вхідні вектори активують один і той же нейрон даного шару (потім задачею шару Гроссберга є отримання необхідних виходів).

Шар Кохонена навчається без вчителя (самонавчається). У результаті навчання шар набуває здатність розділяти несхожі вхідні вектори. Який саме нейрон активуватиметься при пред'явленні конкретного вхідного сигналу, наперед важко передбачити.

При навчанні шару Кохонена на вхід подається вхідний вектор і обчислюються його скалярні добутки з векторами вагів всіх нейронів. Скалярний добуток є мірою схожості між вхідним вектором і вектором вагів. Нейрон з максимальним значенням скалярного добутку оголошується «переможцем» і його вага підстроюється (ваговий вектор наближається до вхідного).

Рівняння, що описує процес навчання, має вигляд:

(8.2)

де: w_H – нове значення ваги, що сполучає вхідну компоненту x з нейроном, що виграв,

w_c – попереднє значення цієї ваги,

– коефіцієнт швидкості навчання.

Кожна вага, пов'язана з нейроном Кохонена, що виграв, змінюється пропорційно різницям між його величиною і величиною входу, до якого він приєднаний. Напрям зміни мінімізує різницю між вагою і відповідним елементом вхідного сигналу.

Коефіцієнт швидкості навчання спочатку звичайно вважається рівним 0,7 і може потім поступово зменшуватися в процесі навчання. Це дозволяє робити великі початкові кроки для швидкого грубого навчання і менші кроки при підході до остаточної величини.

Якби з кожним нейроном Кохонена асоціювався один вхідний вектор, то шар Кохонена міг би бути навчений за допомогою одного обчислення на вагу ( =1). Як правило, навчальна множина включає багато схожих між собою вхідних векторів, і мережа повинна бути навчена активувати один і той же нейрон Кохонена для кожного з них. Вага цього нейрона повинна виходити усереднюванням вхідних векторів, які повинні його активувати.

Навчання шару Гроссберга. Виходи шару Кохонена подаються на входи нейронів шару Гроссберга. Виходи нейронів обчислюються, як при звичайному функціонуванні. Далі кожна вага корегується лише в тому випадку, якщо він сполучений з нейроном Кохонена, що має ненульовий вихід.

Величина корекції ваги пропорційна різниці між вагою і необхідним виходом нейрона Гроссберга.

Навчання шару Гроссберга – це навчання з вчителем, алгоритм використовує задані бажані виходи.

У повній моделі мережі зустрічного розповсюдження є можливість одержувати вихідні сигнали по вхідних і навпаки. Цим двом діям відповідають пряме і зворотне розповсюдження сигналів.

Області використання: розпізнавання образів, відновлення образів (асоціативна пам'ять), стиснення даних (з втратами).

Недоліки. Мережа не дає можливості будувати точні апроксимації (точні відображення). У цьому мережа значно поступається мережам із зворотним розповсюдженням помилки.

До недоліків моделі також слід віднести слабке теоретичне опрацьовування модифікацій мережі зустрічного розповсюдження.

Переваги. Мережа зустрічного розповсюдження проста. Вона дає можливість встановлювати статистичні властивості з множини вхідних сигналів. Кохоненом показано, що для повністю навченої мережі вірогідність того, що випадково вибраний вхідний вектор (відповідно до функції густини вірогідності вхідної множини) буде найближчим до будь-якого заданого вагового вектора, становить 1/p (p – число нейронів Кохонена).

Мережа швидко навчається. Час навчання в порівнянні з зворотнім розповсюдженням може бути в 100 разів менше. За своїми можливостями будувати відображення мережа зустрічного розповсюдження значно перевершує одношарові персептрони.

Мережа корисна для задач, у яких потрібна швидка початкова апроксимація.

Мережа дає можливість будувати функцію і зворотну до неї, що знаходить використання при рішенні практичних задач.

Модифікації. Мережі зустрічного розповсюдження можуть розрізнятись способами визначення початкових значень синаптичних вагів. Так, окрім традиційних випадкових значень із заданого діапазону, можуть бути використані значення у відповідності з відомим методом опуклої комбінації.

Для підвищення ефективності навчання застосовується добавлення шуму до вхідних векторів.

Ще один метод підвищення ефективності навчання – присвоєння кожному нейрону «відчуттям справедливості». Якщо нейрон стає переможцем частіше, ніж 1/p (p – число нейронів Кохонена), то йому тимчасово збільшують поріг, даючи тим самим можливість навчатися і іншим нейронам.

Окрім «методу акредитації», при якому для кожного вхідного вектора активується лише один нейрон Кохонена, може бути використаний «метод інтерполяції», при використовуванні якого ціла група нейронів Кохонена, що мають найбільші виходи, може передавати свої вихідні сигнали в шар Гроссберга..

Цей метод підвищує точність відображень, реалізовуваних мережею, і застосований в так званих картах, що самоорганізовуються.

Контрольні питання

1. Склад НМ зустрічного розповсюдження?

2. Алгоритм функціонування НМ зустрічного розповсюдження?

3. Наведіть недоліки, переваги і модифікації НМ зустрічного розповсюдження.