Предикторы

Условие максимизации совместной энтропии выходов можно переписать в виде:

Условные вероятности, входящие в это выражение, характеризуют разброс предсказаний каждого выхода, основанного на знании других выходов, стоящих справа от горизонтальной черты. Предположим, что мы используем дополнительные сети-предикторы, по одной для каждого выхода, специально обучаемые такому предсказанию (Рисунок 17).

Рисунок 17. Выделение независимых компонент с использованием предикторов.

Обозначим выход сети-предиктора, предсказывающей значение переменной . Целевой функцией такой сети будет минимизация ошибки предсказания: . Отталкиваясь от значений , основная сеть будет, напротив, максимизировать отклонение от предсказаний, ставя себе целью:

.

Таким образом, во взаимном соревновании основная и дополнительные сети обеспечивают постепенное выявление статистически независимых признаков, осуществляющих оптимальное кодирование.

Размер сетей-предикторов определяется количеством выходов сети , так что их суммарный объем, как правило, много меньше, чем размер декодера в автоассоциативной сети, определяемый числом входов . В этом и состоит основное преимущества данного подхода.