ОБЪЕДИНЕНИЕ БАЙЕСОВСКИХ ПРОЦЕДУР С ЛИНГВИСТИЧЕСКИМ ПЕРЕЧИСЛЕНИЕМ

Процедура объединения лингвистического перечисления, обеспечивающего поиск наилучшей пробной грамматики для данной выборки, и статистического подхода к грамматическому выводу базируется на учете вероятности появления предложения. Пусть G – порождающая грамматика, а S(G) – стохастическая грамматика, которая получается из G, если каждой ее продукции приписать вероятностную меру . Этой мерой оценивается вероятность применения к цепочке r продукции

Сказанное иллюстрируется примером в виде табл. 11 и 12.

Таблица 11

Таблица 12

Вывод цепочки

Вероятность порождения цепочки определяется перемножением вероятностей из правого столбца таблицы 12. Незначительность данной величины обусловлена тем, что любое конкретное предложение языка всегда имеет небольшую вероятность.

Две стохастические грамматики, порождающие один и тот же язык, могут отличаться вероятностями появления отдельных предложений. Рассмотрим пример, в котором экспериментатор выбирает грамматику с целью написания предложений выборки, определяющей эту грамматику. Если обозначить p(G) – вероятность выбора любой конкретной грамматики для использования ее в качестве и предположить, что обучающая машина (или машина вывода) может вычислить априорной вероятностью выбора G. Для вывода по применим байесовскую процедуру и определим апостериорную вероятность

(68)

Поскольку выражение (68) содержит суммирование по бесконечному множеству G, вычислить его достаточно сложно даже в тех случаях, когда не все его элементы различны. Эта трудность обходится путем ограничения вычислений множеством G^* грамматик, априорные вероятности которых превышают некоторое произвольно малое число . Однако если ограничиться лишь каким-то подмножеством G^* множества возможных грамматик, то с некоторой произвольно малой вероятностью G^* может оказаться вне рассматриваемого множества, т. е. будет принадлежать G – G^*.

Указанная проблема решается минимизацией функции несовместимости

(69)

где – функция внутренней сложности, равная

, (70)

а – функция сложности вывода, отражающая вероятность появления выборки , равная

(71)

Предположим, множество грамматик упорядочено по возрастанию априорных вероятностей его грамматик: .

Байесовское решающее устройство на каждом этапе процесса вывода должно выбирать единственную грамматику так, чтобы величина

(72)

была максимальной. Это эквивалентно минимизации функции несовместимости .

Отсюда видно, что байесовская процедура перечисления, минимизирующая на каждом шаге процесса перечисления функцию несовместимости, выбирает ту же грамматику. Следовательно, можно построить байесовский алгоритм вывода, который позволяет находить для каждой выборки оптимальную грамматику.