Оценка качества количественного прогноза

Результат прогноза, разработанного формализованным методом, чаще всего выражается количественным показателем, которому может быть дана точечная ( _i.) и (или) интервальная оценка (ŷ_i).

Точечная оценка ( _i) - это единичная оценка прогнозного параметра. Точечные значения экономических величин лишены содержания, так как имеют нулевую вероятность. Для устранения этого недостатка прогноз должен быть дан в виде интервала значений.

Интервальная оценка (ŷ_i) - это числовой интервал (доверительный интервал), в котором, вероятно, находится прогнозный параметр.

Точность прогноза тем выше, чем меньше величина ошибки, которая представляет собой разность между прогнозируемыми и фактическими значениями исследуемой величины. Понятие точности прогноза и методы ее оценки отличается от точности исходных данных. Если точности исходных данных может быть однозначно оценена на этапе сбора информации как степень приближения результатов измерений к истинному значению измеряемой величины. На практике часто количественную оценку точности заменяют указанием ошибки измерения (погрешности), которая определяется как разница между оцениваемым результатом и результатом, полученным более точным методом. В прогнозных значениях (до наступления прогнозируемого события) точность обычно также выражается как погрешность, но с помощью вероятностных пределов отклонения фактической величины от прогнозируемого значения, которые принять называть доверительным интервалом.

Заметим, что прогнозируемые значения должны реализоваться в соответствующее время с указанной вероятностью и лежать внутри некоторой доверительной области, ширина которой зависит от заданной вероятности.

Математическая вероятность P_iслучайной величины равна отношению числа событий, благоприятствующих ее появлению (т.е. свершению прогноза) к общему числу событий (благоприятных и неблагоприятных). Численное значение вероятности прогноза лежит в пределах от 0 до 1.

Очевидно, что точность прогноза максимальна при построении точечного прогноза. В то же время границы доверительного интервала можно задать такими широкими, что прогнозируемое значение попадет туда с любой вероятностью, включая Р = 0 и Р = 1. Такой прогноз называется абсолютно достоверным. Однако границы доверительного интервала будут столь широкими, что полученный прогноз не будет иметь практической ценности для принятия управленческих решений. На практике достаточно иметь вероятность прогноза от 0,7 до 0,95.

Под достоверностьюпрогноза понимается вероятность осуществления прогноза в заданном доверительном интервале 2d.

Условная графическая интерпретация доверительного интервала показателя У, при заданной вероятности Р, представлена на рис. 2.

Существуют неформальный и формальный способы определения доверительного интервала. Неформально доверительный интервал может быть определен экспертами с учетом степени изменчивости фактических значений показателей вокруг расчетных (теоретических) значений в прошлом и возможности деформации в будущем. При этом экспертам может быть предложено, оценить суммарную величину ошибки или степень влияния различных составляющих на точность прогноза. Суммарная ошибка решения прогнозной задачи определяется по формуле (1):

d_с = d_и + d_м + d_в + d_ч + d_н (1),

где d_с - суммарная ошибка;

d_и - ошибки информации, обусловленные неадекватностью описания объекта, погрешностями получения и обработки информации;

d_м - ошибки метода прогнозирования, вызванные невозможностью идеального выбора метода для данного объекта, а также обязательной схематичностью метода;

d_в - ошибки вычислительных процедур;

d_ч - ошибки, допущенные человеком и обусловленные субъективными факторами (низкая квалификация, восторженность, пессимизм);

d_н - нерегулярная составляющая ошибки, обусловленная возможностью появления непредсказуемых изменений в объекте.

у Ù У + d

ü Границы

ý 2 d доверительного

þ интервала

У - d

½ ½ ½ ½ ½ ½ ½ >

t-n ..... t-2 t-1 t t+1 t+2 ... t+m Годы

Рис. 2. Графическая интерпретация границ доверительного интервала

Формально границы доверительного интервала можно определить на основе оценки изменчивости уровней ряда. Чем выше эта изменчивость, тем менее точной может быть расчетная величина и тем шире должен быть доверительный интервал при одной и той же вероятности прогноза.

На практике, получая прогнозный результат в виде точечного значения _i, необходимо указать и возможную величину ошибки d, т.е. перейти к интервальному прогнозу по формуле (2):

ŷ_i = _i ± d (2),

Где _i - точечное значение прогнозной характеристики,

ŷ_i - интервальное значение прогнозной характеристики,

d - вероятная ошибка прогноза.

Для определения границ доверительного интервала используется выражение (3):

d = t_a * σ (3),

где σ - среднеквадратическое отклонение,

t_a - критерий Стьюдента.

Величина среднеквадратического отклонения рассчитывается по формуле (4):

σ = (4),

Где _i - фактическое значение исследуемой характеристики на участке ретроспекции,

_i - расчетное значение исследуемой характеристики на участке ретроспекции,

n - число наблюдений (размер выборки).

Среднеквадратическое отклонение характеризует, насколько точно теоретическая кривая описывает поведение исследуемой характеристики в прошлом. Величина σ определяет минимальную ошибку прогноза. Она зависит с одной стороны от корректности модели, с другой от стабильности исследуемой характеристики в прошлом.

t_a - критерий Стьюдента, значение которого зависит от размера выборочной совокупности и от заданной вероятности прогноза, использование данного коэффициента определяется ограниченностью выборки. Табличные значения критерия Стьюдента приведены в приложении 3. Критерий Стьюдента позволяет учесть, то обстоятельство, что чем выше заданная вероятность прогноза и чем меньше размер выборки, тем шире должны быть границы доверительного интервала.

После наступления прогнозируемого события ошибка прогноза определяется как разность между фактическим значением показателя и прогнозным. Существует несколько способов количественной оценки ошибки прогноза:

Ø ошибка прогноза или погрешность для каждого момента времени, в котором рассматривается прогноз

e_t = _t - _t (5)

где e_t - ошибка прогноза в момент времени t,

_t - фактическое значение в момент времени t,

_t - прогнозное значение в момент времени t.

Для обобщенной оценки метода прогнозирования на практике, вместе с показателем среднеквадратического отклонения, могут быть использованы и другие способы оценки средней oшибки прогноза (погрешности), а именно:

Ø Среднее абсолютное отклонение (Mean Absolute Derivation, MAD). Использование этого показателя имеет смысл, когда исследователю необходимо оценить ошибку в тех же единицах, что и исходный ряд.

(6)

Ø Средняя процентная ошибка (Mean Percentage Error, MPE) позволяет оценить возможное смещение прогноза полученный прогноз окажется завышенным или заниженным). При несмещенном прогнозе имеем величину ошибки близкую к нулю, при завышенном - большое положительное процентное значение, при заниженном - большое отрицательное.

MPE = (7),

Ø Cредняя абсолютная ошибка в процентах (Mean Absolute Percentage Error, MAPE)

MAPE = (8)

Приведенные выше способы оценки качества прогноза позволяют осуществить сравнение различных методов прогнозирования и выбрать наиболее точный.

Вопросы и задания:

1. Какие методы называются формализованными методами прогнозирования?

2. В каких случаях возможно применение фактографических методов?

3. Какие факторы препятствуют применению формализованных методов прогнозирования?

4. Что такое точность прогноза?

5. Как соотносятся вероятность и точность прогноза?

6. Как определяется размер доверительного интервала?

7. Какие показатели могут быть использованы для оценки ошибки прогноза?

8. Какие факторы влияют на точность прогноза?

Задача 2

В таблице 4 приведены данные о фактическом коммерческом грузообороте транспорта за двенадцать месяцев и теоретические данные модели, которую предлагается использовать для прогнозирования грузооборота. Проведите необходимые расчеты для оценки возможной ошибки прогноза и сделайте выводы. Можно ли использовать метод для построения прогноза с точностью 90% и заданной вероятностью 0,85?