Целевая функция

Наглядной демонстрацией полезности нелинейного анализа главных компонент является следующий простой пример (см. Рисунок 15).

a

b

Рисунок 15. Анализ главных компонент дает линейное подпространство, минимизирующее отклонение данных (a). Он не способен, однако, выявить одномерный характер распределения данных в случае (b). Для их одномерной параметризации нужны нелинейные координаты.

Он показывает, что в общем случае нас интересует нелинейное преобразование , , сохраняющее максимальное количество информации о распределении данных в обучающей выборке и являющееся наиболее сжатым представлением этих данных. Такое представление данных, не поддающееся дальнейшему сжатию, обладает максимальной энтропией, т.е. их статистическое распределение не отличимо от случайного шума. Таким образом, в общем случае целевой функцией при сжатии данных является максимизация энтропии: . Естественно, при этом предполагается ограниченность диапазона изменения выходов, например: во избежании неограниченного роста энтропии[12].