Методы выбора альтернатив в условиях риска и неопределенности. Общие принципы. Теория игр

Неопределенность относительно состояния системы может быть вызвана двумя обстоятельствами: недостатком ясности, когда не известны все возможные состояния, и недостатком уверенности, когда все состояния известны, но нет возможности точно указать, какое именно реализуется.

Неопределенность также подразумевает отсутствие информации о вероятностном распределении состояний. В противном случае это относится к ситуации риска.

Каким же образом можно принимать решения в ситуации неопределенности?

Если неопределенность вызвана отсутствием ясности, то принять формализованное объективное решение практически не представляется возможным. Нельзя точно оценить альтернативы, когда неизвестно, что вообще может произойти. Следовательно, требуется если не устранить неопределенность, то хотя бы свести ее к недостатку уверенности. Это можно сделать двумя способами:

· либо исследовать явление, порождающее неопределенность, больше узнать про него и выявить все возможные состояния,

· либо принять допущение, ограничивающее множество возможных состояний (например, совокупностью всех известных состояний). Разумеется, такое упрощение отражается на надежности принимаемых решений, но часто оно является единственно возможным выходом.

Если же неопределенность вызвана невозможностью точно предсказать, какое состояние из числа возможных реализуется, то тут также есть два пути:

· либо применить формализованные методы принятия решений в условиях неопределенности, обеспечивающие оптимальный выбор на только основе имеющейся информации об исходах;

· либо попробовать привести все к ситуации риска, получив путем исследований или допущений информацию о вероятностном распределении исходов. Тогда становится возможным применение методов принятия решений в условиях риска, которые дают более взвешенные результаты, при условии, что предполагаемое распределение близко к реальному.

Одним из методов, позволяющих принимать решения в условиях неопределенности, являются так называемые «игры», исследуемые в рамках математической теории игр. Принципиально выделяют два основных вида таких игр:

стратегические игры и

игры с природой.

Аппарат стратегических игр применяется для принятия решений в условиях взаимодействия. Там неопределенность связана с действиями других лиц, которые целенаправленно стремятся максимизировать свой выигрыш. ЛПР не знает точно, что будут делать противники. Однако он может обоснованно предполагать, что они осознанно выбирают стратегии наилучшие для себя и наихудшие для других (в т.ч. и для нашего ЛПР). Методы стратегических игр позволяют выбрать оптимальную стратегию в условиях такого противодействия.

Если же целенаправленного противодействия нет, и неопределенность связана с объективными (независящими от воли конкретных субъектов) обстоятельствами, то применяется аппарат "игр с природой". При этом под "природой" не обязательно подразумевается живая или неживая природа (биосфера, атмосфера и т.д.). Это может быть рынок или иная совокупность субъектов, которые не конфликтуют с нашим ЛПР, а просто совершают непредсказуемые для него действия. Такая "природа" безразлична к выигрышу или проигрышу ЛПР и не стремится обратить его просчеты в сою пользу. Естественно, что логика принятия решений в таких условиях несколько отличается от логики стратегических игр.

Рассмотрим некоторые положения теории игр.

Теория игр –– это наука, изучающая стратегические решения людей, фирм, правительств и других агентов.

Стратегические решения –– это такие решения, которые принимаются с учетом действий других агентов и которые влияют на полезность других агентов.

Ситуации, в которых действия одних агентов оказывают влияние на других агентов, –– то есть такие ситуации, в которых агенты принимают стратегические решения, –– называют стратегическими взаимодействиями (или играми). Агентов, участвующих во данных взаимодействиях, называют игроками. Виды стратегических взаимодействий представлены на рис. 20.

Рис. 20. Виды стратегических взаимодействий.

Игры могут быть представлены в нормальной форме (матрица), когда принятие решений осуществляется одновременно, и в развернутой форме (дерево) – при последовательном принятии решений. Рассмотрим оба способа.

Условия риска и неопределенности характеризуются так называемыми условиями многозначных ожиданий будущей ситуации во внешней среде. В этом случае ЛПР должен сделать выбор альтернативы (Аi), не имея точного представления о факторах внешней среды и их влияния на результат. В этих условиях исход, результат каждой альтернативы представляет собой функцию условий – факторов внешней среды (функцию полезности), который не всегда способен предвидеть ЛПР. Для предоставления и анализа результатов выбранных альтернативных стратегий используют матрицу решений, называемую также платежной матрицей,или матричной игрой. Пример матрицы приведен в табл. 2.

Таблица 2

A1, A2, A3 –альтернативные стратегии действий; S1, S2, S3 – состояние экономики (стабильность, спад, рост и др.); E11; E12; E13; E21; … E33; … – результаты решений.

Числа в ячейках матрицы представляют собой результаты реализации Eij стратегии Ai в условиях Sj. При этом в условиях риска вероятность наступления Sj известна – wj(Sj). Методы принятия решений в условиях риска используют теорию выбора, получившую название теории полезности. В соответствии с этой теорией ЛПР выбирает Ai из совокупности {Ai} (i = 1 … n), которая максимизирует ожидаемую стоимость его функции полезности E,j. В условиях риска при принятии решения основным моментом является определение вероятности наступления состояния среды Sj , т. е. степени риска. После определения вероятности wj(Sj) наступления состояния среды Sj, определяют ожидаемую стоимость реализации каждой альтернативы, которая представляет собой средневзвешенную стоимость E(Ai):

Отметим, что в рассматриваемых нами задачах на принятие решения в качестве исходов Е_ij мы будем рассматривать показатели, которые желательно максимизировать - выигрыш, доход, прибыль. К ним применяется принцип "чем больше, тем лучше". Все принципы выбора оптимальной альтернативы будут сформулированы именно для таких показателей.

Если в матрице игры в качестве исходов надо представить показатели, которые подлежат минимизации - убытки, расходы, потери, то здесь возможны два пути:

1) представлять их в матрице виде отрицательных значений. Тогда можно без изменений использовать приведенные далее в книге формулы, операции сравнения и принципы определения оптимальной альтернативы;

2) представлять их в матрице в виде положительных значений. В этом случае необходимо поменять в приведенных в книге формулах: операции максимизации на минимизацию и наоборот, операции сравнения при определении оптимальных альтернатив с "больше" и "больше или равно" - на "меньше" и "меньше или равно", и наоборот.

Дерево решений применяют тогда, когда необходимо принимать последовательный ряд решений. Дерево решений – графический метод, позволяющий увязать точки принятия решения, возможные стратегии Ai, их последствия Ei,j с возможными факторами, условиями внешней среды. Построение дерева решений начинается с более раннего решения, затем изображаются возможные действия и последствия каждого действия (событие), затем снова принимается решение (выбор направления действия) и т. д., до тех пор, пока все логические последствия результатов не будут исчерпаны. Дерево решений строится с помощью пяти элементов:

1. Момент принятия решения.

2. Точка возникновения события.

3. Связь между решениями и событиями.

4. Вероятность наступления события (сумма вероятностей в каждой точке должна быть равна 1).

5. Ожидаемое значение (последствия) – количественное выражение каждой альтернативы, расположенное в конце ветви.

Простейшее решение представляет собой выбор из двух вариантов – «Да» или «Нет» (рис. 20).

Рис. 20. Простейшее дерево решений

После того как стратегическое взаимодействие формально описано, то есть задана игра, нужно эту игру решить. Что значит «решить игру»? 
Решить игру –– значит найти профиль стратегий, который будет сыгран. При этом мы считаем, что игроки ведут себя рационально.

При решении игр могут применяться различные концепции равновесия, как например,

1. Равновесие в доминирующих стратегиях.

2. Равновесие, получаемое исключением доминируемых стратегий.

3. Равновесие Нэша.

Рассмотрим первый случай.

Пусть имеется игра n лиц в нормальной форме, а (s₁, . . . , s_n) –– некоторый про- филь стратегий. Для любого i = 1, . . . , n положим s− = (s₁,...,s_i-1,s_i+1,...,s_n).


Другими словами, s_-i –– это набор стратегий всех игроков, кроме i-го, из профиля (s₁,...,s_n). Множество всех возможных наборов стратегий всех игроков, кроме i-го, обозначим через S_-i.

Таблица А

Пусть i = 2 (табл. А). Тогда для любого профиля стратегий (s₁, s₂) через s_-2 обозначается стратегия первого игрока s₁.
Множество S_-2 имеет в этой игре следующий вид: S_-2 = {a₁, a₂}.

Стратегия i-го игрока s_i ∈ S_i называется строго доминирующей, если для любой другой стратегии i-го игрока s′_i ∈ S_i и любого набора s_-i ∈ S_-i стратегий остальных игроков выполняется неравенство

u_i(s_i, s_-i) > ui(s′_i , s_-i).

При любых стратегиях других игроков платеж, который получает игрок i, играя стратегию s_i, больше, чем платеж, который он получает, играя стратегию s′_i.

В примере таблицы А

· стратегия a₁ первого игрока –– строго доминирующая, поскольку при любой стратегии второго игрока приносит первому игроку строго больший платеж, чем любая другая его стратегия.

· стратегия b₁ второго игрока –– строго доминирующая, поскольку при любой стратегии первого игрока приносит второму игроку строго больший платеж, чем любая другая его стратегия.

Стратегия i-го игрока s_i ∈ S_i называется слабо доминирующей, если для любой другой стратегии i-го игрока s′_i ∈ S_i и любого набора s_-i ∈ S_-i стратегий остальных игроков выполняется неравенство

u_i(s_i, s_-i) ⩾ u_i(s′_i, s_-i).


Слабо доминирующие стратегии должны удовлетворять чуть более слабому условию, чем строго доминирующие.

Если в таблице А исправить платеж второго игрока 2 на 7 (ячейка а_1,b₂), то стратегия b₁ для второго игрока будет являться уже не строго, а слабодоминирующей, так как есть еще одна стратегия b₂, платеж которой равнозначный.

Профиль стратегий (s₁, . . . , s_n) называется равновесием в строго доминирующих стратегиях, если для каждого игрока i, i = 1, . . . , n, стратегия s_i является строго доминирующей.

В таблице А профиль стратегий (a₁,b₁) является равновесием в строго доминирующих стратегиях, поскольку стратегии a₁ и b₁ –– строго доминирующие.

Аналогично, профиль стратегий (s₁, . . . , s_n) называется равновесием в слабо доминирующих стратегиях, если для каждого игрока i, i = 1, . . . , n, стратегия s_i является слабо доминирующей.

Если у игрока в некоторой игре есть строго доминирующая стратегия, то есть все основания полагать, что он будет играть именно ее: если он сыграет эту стратегию, то его выигрыш будет максимален. Но игры, в которых у каждого игрока есть строго доминирующая стратегия, встречаются нечасто: равновесие в строго доминирующих стратегиях –– это концепция решения, подходящая не для всех игр.

Рассмотрим известный пример игры – дилемма заключенного.

Предыстория: полиция поймала двоих человек, подозреваемых в совершении ограбления, но у нее не хватает улик против них. Чтобы собрать улики, полиция развела подозреваемых по разным камерам, лишив их возможности обмениваться информацией, и устроила каждому допрос.

У каждого игрока есть две стратегии:

· промолчать

· пойти на сделку со следствием и сдать напарника.

Платежи игроков:

· если оба заключенных будут молчать, то полиция отправит каждого из них в тюрьму по мягкой статье на 1 год.

· если один заключенный выдаст второго, а второй будет молчать, то тот, против кого дали показания, отправится в тюрьму на 10 лет, а другой пойдет на свободу.

· если оба заключенных пойдут на сделку со следствием, то полиция сможет обвинить обоих в совершении ограбления, но каждому из них уменьшат срок до 5 лет.

Матрица игры:

Есть ли у игроков доминирующие стратегии?

У первого заключенного есть строго доминирующая стратегия –– стратегия «Предать».

У второго заключенного тоже есть строго доминирующая стратегия –– стратегия «Предать».

Профиль стратегий (Предать, Предать) –– это равновесие в строго доминирующих стратегиях. А также –– равновесие в слабо доминирующих стратегиях.

Говорят, что профиль стратегий s Парето-доминирует профиль стратегий s′, если:

u_i(s) ⩾ u_i (s′ ) для любого игрока i;

u_i (s) > u_i (s′ ) хотя бы для одного игрока i.

Профиль стратегий s∗ называется Парето-оптимальным, если не существует такого 
профиля s′, который Парето-доминирует s∗. Является ли равновесный профиль (Предать, Предать) Парето-оптимальным? Нет! Его Парето-доминирует профиль (Молчать, Молчать): если бы оба игрока промолчали, то каждый получил бы больший платеж, чем в равновесии. А другие профили стратегий Парето-оптимальны? Да. Равновесие в дилемме заключенного –– единственный профиль стратегий, который не является Парето-оптимальным!

Теперь рассмотрим равновесие путем исключения строго (или слабо) доминируемых стратегий.

2) Стратегия s_i игрока i строго доминирует стратегию s′_i игрока i, если


u_i(s_i, s_-i) > u_i(s′_i, s_-i) для любого набора стратегий остальных игроков s_-i ∈ S_-i.

2) Стратегия s_i игрока i строго доминируется стратегией s′_i игрока i, если

u_i(s_i, s_-i) < u_i(s′_i , s_-i) для любого набора стратегий остальных игроков s_-i ∈ S_-i.

Обозначение: s_i ≺ s′_i.

3) Стратегия s_i игрока i слабо доминирует стратегию s′_i игрока i, если


u_i(s_i, s_-i) ⩾ u_i(s′_i , s_-i) для любого набора стратегий остальных игроков s_-i ∈ S_-i.

4) Стратегия s_i игрока i слабо доминируется стратегией s′_i игрока i, если


u_i(s_i, s_-i) ⩽ ui(s′_i , s_-i) для любого набора стратегий остальных игроков s_-i ∈ S_-i.

Обозначение: s_i ≼ s′_i.

Стратегия s_i игрока i называется строго доминируемой, если существует стратегия s′_i игрока i, которая строго доминирует стратегию s_i.

Стратегия si игрока i называется слабо доминируемой, если существует стратегия s′_i игрока i, которая слабо доминирует стратегию s_i.

Если у игрока есть строго доминируемая стратегия, то он, будучи рациональным, никогда не будет ее играть: она принесет ему заведомо меньше, чем некоторая другая его стратегия, которую он тоже может сыграть. Оба игрока понимают, что строго доминируемая стратегия ни при каких обстоятельствах не будет сыграна, поэтому в матричной записи игры мы можем исключить столбец или строку, соответствующие этой стратегии.

Рассмотрим игру

1. Исключим стратегию b₁, так как b₂ ≺ b₃.

2. Исключим стратегию a₁, так как a₁ ≺ a₂.

3. Исключим стратегию b₃, так как b₃ ≺ b₁.

Оставшийся профиль (a₂, b₁) –– это равновесие, полученное исключением строго доминируемых стратегий.

Если в конечной игре (если множество возможных стратегий игрока конечно) в нормальной форме в результате последовательного исключения строго доминируемых стратегий остается матрица размера 1 × 1, то оставшийся профиль называется равновесием, получаемым исключением строго доминируемых стратегий.

Отметим, что:

· не все игры можно решить последовательным исключением строго доминируемых стратегий;

· порядок исключения строго доминируемых стратегий не имеет значения –– в каком бы порядке мы ни исключали такие стратегии, в результате придем к одному и тому же профилю;

· исключая слабо доминируемые стратегии в разном порядке, мы будем получать разные равновесия;

· если в игре есть равновесие в строго доминирующих стратегиях, то оно является и равновесием, получаемым исключением строго доминируемых стратегий;

· равновесие, получаемое исключением строго доминируемых стратегий,
не обязательно является равновесием в строго доминирующих стратегиях.

Равновесие Нэша– еще один тип равновесия, который может быть получен в матрице игры.

Профиль (s∗₁,..., s∗_n) называется равновесием Нэша (NE), если для любого игрока i и любой его стратегии s_i ∈ S_i выполняется неравенство

u_i(s∗_i , s∗_-i) ⩾ u_i(s_i, s∗_-i).

Иными словами, равновесием Нэшаназывается такой профиль стратегий, что никому из игроков не выгодно отклониться и сыграть другую стратегию при фиксированных стратегиях других игроков.

Равновесие Нэша названо так в честь известного математика Джона Нэша, лауреата Нобелевской премии по экономике 1994 года «За анализ равновесия в теории некооперативных игр» (совместно с Райнхардом Зельтеном и Джоном Харсаньи).

Мы можем сформулировать алгоритм нахождения равновесий Нэша в конечных играх двух игроков:

1. Для каждой стратегии второго игрока пометим точками наилучшие ответы первого игрока.

2. Для каждой стратегии первого игрока пометим звездочками наилучшие ответы второго игрока.

3. Профили, которые оказались помечены как точками, так и звездочками, являются равновесиями Нэша.

Пример: игра “Битва полов”

Постановка игры. Муж и жена независимо друг от друга решают, куда пойти вечером: на футбол или на балет. Связь между ними отсутствует, поэтому никто из них не может ничего узнать о том, куда решил пойти другой. Предпочтения супругов таковы, что вечером они хотели бы оказаться в одном месте, но жене больше нравится балет, а мужу –– футбол. Мужу лучше оказаться вместе с женой на балете, чем одному на футболе. Жене лучше пойти на футбол с мужем, чем пойти одной на балет.

У каждого из супругов есть выбор из 2 стратегий: пойти на футбол (Ф) или пойти на балет (Б). Предпочтения супругов можно задать с помощью следующей матрицы платежей:

В ответ на разные стратегии жены, мужу выгодно играть разные стратегии. То же самое верно и для жены.

В нашей матрице платежей получились две клеточки, в которых лучший выбор мужа при фиксированной стратегии жены совпал с лучшим выбором жены при фиксированной стратегии мужа.

Профили стратегий (Ф, Ф) и (Б, Б) в каком-то смысле лучше профилей стратегий (Ф, Б) и (Б, Ф). Если муж и жена оказались вместе на футболе или на балете, то никому из супругов по отдельности не выгодно уйти в другое место при неизменном решении второго остаться. Если супруги оказались вечером в разных местах, то каждому из них выгодно отклониться от выбранной первоначально стратегии.

Таким образом, полученные нами профили стратегий (Ф, Ф) и (Б, Б) являются равновесиями Нэша.