О некоторой общей схеме формирования критериев оптимальности в играх с природой

Л.Г. Лабскер, профессор кафедры "Математическое моделирование экономических процессов"

Аннотация

Предлагается некоторая общая схема формирования критериев выбора оптимальных стратегий в играх с природой. В рамках этой схемы вводятся понятия функции игры, показателей игры и показателей оптимальности и неоптимальности стратегий. На основе предложенной схемы выделяются некоторые классы критериев, которые, с одной стороны, включают в себя известные классические критерии, такие как критерии Вальда, Сэвиджа, Гурвица и др., а с другой стороны, дают возможность получать новые критерии оптимальности. Устанавливается эквивалентность некоторых из рассмотренных критериев. Приводится пример нахождения оптимальных стратегий по рассмотренным критериям.

 Часто во многих задачах финансово-экономической сферы приходится принимать решения в условиях недостаточной осведомленности или полной неосведомленности о состояниях окружающей эти задачи среды. Математические модели подобных ситуаций называются "играми с природой", где под "природой" понимается окружающая среда. Обозначим ее буквой П. Лицо, принимающее решение или выбирающее стратегию действий, называется игроком. Обозначим его через А.

Считаются известными всевозможные состояния П1, П2, ..., Пn природы П, которые она проявляет случайным образом независимо от действий игрока А, не противодействуя злонамеренно его стратегиям. Природа может находиться только в одном из отмеченных состояний, но в каком именно – неизвестно, хотя в некоторых случаях могут быть известны лишь вероятности этих состояний

Известны также возможные стратегии A1, A2, ..., An игрока А и его выигрыши при каждой из стратегий и каждом из состояний природы Пj. Эти выигрыши можно расположить в виде матрицы выигрышей:

В нижней строке матрицы указаны вероятности qj состояний природы Пj, j = 1, ..., n.

Предположим, что игрок А, не зная состояния природы, выбрал стратегию Аi. Если природа приняла состояние Пj, то выигрыш игрока А будет аij. Но если бы игрок А заранее знал, что природа примет состояние Пj, то он выбрал бы стратегию Аi0, при которой достигается наибольший выигрыш аi0j, т.е.

(1)

Разность (2)

между выигрышем игрока А при заранее известном ему состоянии природы Пj и выигрышем аij при незнании игроком А состояния природы называется риском при стратегии Аi и состоянии природы Пj. Таким образом, риск rij есть та часть наибольшего выигрыша при состоянии природы Пj, которую игрок А не выиграл, применяя стратегию , по причине незнания состояния природы.

Матрица

называется матрицей рисков. В последней строке указаны вероятности состояний природы qj, j = 1, …, n. Так как (правое неравенство следует из (1)), то из (2) получаем, что .

Вероятность состояния природы Пj является очевидно вероятностью выигрыша и риска при каждой стратегии Ai, i = 1, …, m.Поэтому каждую стратегию можно интерпретировать как дискретную случайную величину, которая может принимать значения, равные выигрышам ai1, …, ain или рискам ri1, …, rin с соответствующими вероятностями q1, …, qn.

Задача игрока А состоит в выборе из возможных стратегий Ai, ..., Am оптимальной. Таким образом, речь идет о решении задачи в чистых стратегиях ((1), с. 502, 508). Оптимальность стратегии понимают в различных смыслах и выбирают ее по различным критериям. Отметим, например, классические критерии Байеса ((2), с. 119*; (3), с. 46), Лапласа ((1), с. 500; (2), с. 119; (4), с. 103), Вальда ( (1), с. 504; (3), с. 91; (5), с. 56), Сэвиджа ((1), с. 504; (3), с. 92; (5), с. 57), Гурвица ((1), с. 505; (2), с. 120; (3), с. 47; (5), с. 57).

Цель настоящей статьи – предложить некоторую общую схему формирования критериев выбора оптимальных стратегий, на основе которой можно выделить некоторые классы критериев, включающие в себя отмеченные классические критерии и дающие возможность получать новые критерии оптимальности.

 Результат игры в общем случае зависит от трех числовых параметров: выигрышей а игрока А, рисков r, которые появляются при выборе игроком А той или иной стратегии, и вероятностей q сoстояний природы. Желание "свернуть" эти три параметра в один показатель приводит к некоторой числовой функции, зависящий от этих трех параметров. Обозначим ее G(a, r, q) и назовем функцией игры. Характер зависимости функции игры G от а, r и q мотивируется логикой применяемого критерия. Значения

функции игры назовем показателями игры. Эти показатели образуют матрицу игры

Критерий предполагает задание некоторой числовой функции  векторного аргумента значение которой

назовем показателем стратегии Ai.

Затем среди показателей Gi стратегий Ai выбирается экстремальный . Для одних критериев это максимальное значение: Ext = max, а для других минимальное: Ext = min.

Если Ext = max, то показатель Gi назовем показателем оптимальности стратегии Ai; если же Ext = min, то Gi назовем показателем неоптимальности стратегии Ai.

Оптимальной по критерию называется стратегия Ai0, для которой достигается экстремум показателя Gi , т.е.

Применяя описанную схему, сформируем некоторые классы критериев.

 Максиминные критерии (крайнего пессимизма).

Для этих критериев

(3)

а показатели стратегий Ai определяются следующим образом:

и являются, в силу (3), показателями оптимальности стратегий.

Таким образом, Gi является наихудшим показателем игры при стратегии Ai. Отсюда следует, что функция игры G(a, r, q) должна быть неубывающей по выигрышу а и невозрастающей по риску r.

На показатели игры также оказывают влияние вероятности состояний природы q. Так, например, если наихудший, т.е. наименьший выигрыш аij при стратегии Ai имеет достаточно малую вероятность qj, то считать его практически наименьшим уже нецелесообразно. Чтобы этот выигрыш оставался и практически наименьшим, он должен иметь достаточно большую вероятность. С рисками обстоит все наоборот: чтобы наихудший, т.е. наибольший риск rij при стратегии Ai оставался практически наибольшим, его вероятность должна быть также достаточно большой. Это говорит о том, что функция игры должна невозрастать по вероятности q.

Итак, логика максиминного критерия определяет характер поведения функции игры в зависимости от выигрыша а, риска r и вероятности q:

G(a, r, q) Ú по a; Ø по r; Ø по q.

Для удобства различий в дальнейшем для максиминного критерия обозначим функцию игры G через W, показатели игры Gij через Wij, показатели оптимальности Gi стратегий Ai через Wi.

Таким образом, для максиминного критерия функция игры

W(a,r,q) Ú по a; Ø по r; Ø по q, (4)

показатели игры

Wij = W(aij, rij, qj), i = 1, ..., m; j = 1, ..., n,

показатели оптимальности стратегий

Wi=

Оптимальной по максиминному критерию считается стратегия Ai0, для которой

.

Максиминный критерий является критерием крайнего пессимизма лица, выбирающего стратегию, так как ориентирует его на наихудшее для него проявление состояний природы и как следствие – на весьма осторожное поведение при принятии решения.

Конкретная функция игры W(a,r,q) может быть выбрана по-разному, но с непременным требованием обладания свойствами (4).

Примерами максиминных критериев с конкретными функциями игры W(a,r,q) могут служить следующие критерии:

3.1. W(a,r,q) = a;

3.2. W(a,r,q) = (1-q)a;

3.3. W(a,r,q) = a-r;

3.4. W(a,r,q) = (1-q)a-qr.

То, что каждая их этих функций обладает свойствами (4), можно проверить по знаку частных производных.

В критерии 3.1 показателями игры являются выигрыши: Wij=aij, а потому он не учитывает ни рисков, ни вероятностей состояний природы. Критерий 3.1 является критерием Вальда ((1), с. 504; (3), с. 91; (5), с. 56), позволяющим обосновать выбор решения в условиях полной неопределенности, т.е. в условиях незнания вероятностей состояний природы. Критерий 3.2 учитывает выигрыши и вероятности состояний природы, но не учитывает риски. В критерии 3.3 учитываются выигрыши и риски без учета вероятностей состояний природы. И наконец, в критерии 3.4 учитываются выигрыши, риски и вероятности состояний природы.

Минимаксные критерии (крайнего пессимизма).

Для минимаксного критерия функцию игры обозначим через S(a,r,q). Она должна быть невозрастающей по выигрышу а и неубывающей по риску r и по вероятности q состояний природы:

S(a,r,q) Ø по а; Ú по r; Ú по q. (5)

Тогда Sij = S(aij, rij, qj ) – показатели игры. Показатели стратегий определяются следующим образом:

(6)

Стратегия считается оптимальной, если

. (7)

В силу (7) показатели Si являются показателями неоптимальности стратегий Аi.

То, что функция игры S(a, r, q) должна обладать свойствами (5) мотивируется аналогично мотивировке в п. 3 с учетом (6) и (7).

Приведем некоторые минимаксные критерии с конкретными функциями игры S(a,r,q), удовлетворяющими условиям (5):

4.1. S(a,r,q) = r;

4.2. S(a,r,q) = qr;

4.3. S(a,r,q) = r-a;

4.4. S(a,r,q) = qr-(1-q)a.

Критерий 4.1, в котором показатели игры – риски, не учитывает ни выигрышей, ни вероятностей состояний природы. Это есть критерий Сэвиджа ((1), с. 504; (3), с. 92, (5), с. 57).

Сравнивая максиминные и минимаксные критерии, можно высказать следующее.

Утверждение 1. Максиминные критерии 3.3 и 3.4 эквивалентны соответственно минимаксным критериям 4.3 и 4.4:

3.3 Û 4.3, 3.4 Û 4.4.

Первая их этих эквиваленций означает, что стратегия Ai является оптимальной по критерию 3.3 тогда и только тогда, когда она оптимальна по критерию 4.3.

Аналогичное объяснение относится и ко второй эквиваленции.

Доказательство. Докажем сначала эквиваленцию 3.3 Û 4.3. Так как функции игры W и S соответственно критериев 3.3 и 4.3 удовлетворяют равенству S = –W, то и показатели игры удовлетворяют аналогичному равенству Sij = –Wij. Тогда

откуда

.

Таким образом, Si будет минимальным для номера i, для которого Wi будет максимальным, и эквиваленция 3.3 Û 4.3 доказана.

Совершенно аналогично доказывается и эквиваленция 3.4 Û 4.4. n

 Максимаксные критерии (крайнего оптимизма).

В данном случае функция игры, которую мы обозначим через M(a, r, q), должна не убывать по выигрышу и по вероятности состояний природы и не возрастать по риску :

M(a, r, q) Ú а; Ø по r; по Ú q. (8)

Показатели игры Mij= M(aij, rij, qj). Показатели оптимальности стратегий

Оптимальной называется стратегия Ai0, для которой

.

Максимаксные критерии являются критериями крайнего оптимизма, поскольку предполагают, что природа будет находиться в наиболее благоприятном для игрока А состоянии и потому в качестве оптимальной выбирается стратегия, при которой максимальный показатель игры – показатель оптимальности максимален среди максимальных показателей всех стратегий.

В качестве максимаксных критериев с конкретными функциями игры M(a, r, q), обладающими свойствами (8), можно взять, например, следующие:

5.1. M(a, r, q) = а;

5.2. M(a, r, q) = qa;

5.3. M(a, r, q) = a-r;

5.4. M(a, r, q) =qa-(1-q)r.

В критерии 5.1 показателями игры являются выигрыши Mij = aij, и мы получаем максимаксный критерий относительно выигрышей ((2), с. 42).

 Миниминные критерии (крайнего оптимизма).

Функция игры, обозначим ее через E(a, r, q), выбирается невозрастающей по выигрышу а и по вероятности q состояний природы и неубывающей по риску r:

E(a, r, q) Ø по а; Ú по r; Ø по q. (9)

В качестве показателей неоптимальности стратегий Аi берутся

где Eij = E(aij, rij, qi) – показатели игры.

Оптимальной назначается стратегия Ai0, минимизирующая показатель неоптимальности , т.е.

Миниминные критерии также являются критериями крайнего оптимизма, поскольку под оптимальной стратегией понимается стратегия, при которой показатель неоптимальности минимален среди показателей неоптимальности всех стратегий.

Примерами миниминных критериев с функциями игры E(a, r, q) со свойствами (9) могут быть:

6.1. E(a, r, q) = r;

6.2. E(a, r, q) = (1–q)r;

6.3. E(a, r, q) = r –a;

6.4. E(a, r, q) = (1–q)r –qa.

Показателями игры в критерии 6.1 являются риски, и он, таким образом, превращается в миниминный критерий относительно рисков.

Утверждение 2. Максимаксные критерии 5.3 и 5.4 эквиваленты соответственно миниминным критерием 6.3 и 6.4:

5.3 Û 6.3, 5.4 Û 6.4.

Доказательство аналогично доказательству утверждения 1, а именно для критериев 5.3 и 6.3 имеем: E = –M и, следовательно, Eij = –Mij, откуда

Поэтому

Таким образом, эквиваленция 5.3 Û 6.3 доказана.

Аналогично доказывается и эквиваленция 5.4 Û 6.4. n

Для лучшей обозримости стрелок, указывающих в (4), (5), (8) и (9) на невозрастание или неубывание функций игры рассмотренных критериев в пп. 3, 4, 5, 6 в зависимости от выигрышей а, рисков r и состояний природы q, сведем их в следующую таблицу.

Таблица 1

Из этой таблицы видно, что стоящие в первой строке стрелки, обозначающие поведение функций игры в зависимости от выигрышей а, соответствуют первому значку в названии критерия: max – Ú , min – Ø , ,max – Ú , min – Ø . А стрелки во второй строке, обозначающие поведение функций игры в зависимости от рисков r , противоположны стрелкам первой строки.

 Критерии максимизации взвешенного среднего показателя оптимальности стратегий.

Функция игры L(a, r, q) должна неубывать по выигрышу a и невозрастать по риску r :

L(a, r, q) Ú по а; Ø по r. (10)

Показатели оптимальности стратегий Ai0 определяются следующим образом:

(11)

где Lij = L(aij, rij, qj) – показатели игры.

По определению оптимальной является стратегия Ai0, максимизирующая показатель оптимальности Li:

В качестве функций игры L(a, r, q), удовлетворяющих условиям (10), можно взять функции:

7.1. L(a, r, q) = qa;

7.2. L(a, r, q) = q(a-r).

Если в критерии 7.1 q1 = ... qn =, то показатели игры принимают вид

а показатели оптимальности стратегий Ai превращаются (см. (11)) в среднее арифметическое выигрышей при стратегии Ai:

Такой критерий был предложен Байесом ((2), с. 119; см. также сноску на с. 2). Этот критерий также называют ((1), c. 503) "критерием недостаточного основания" Лапласа (т.е. у нас нет достаточного основания отдать предпочтение какому-нибудь состоянию природы).

Если в критерии 7.1 вероятности состояний природы q1, …, qn различны, то показатели игры

а показатели оптимальности стратегий Ai будут представлять собой взвешенное среднее выигрышей при стратегии Ai, взятых с весами q1, …, qn:

Получившийся критерий называют критерием Лапласа ((2), c. 119.).

 Критерии минимизации взвешенного среднего показателя неоптимальности стратегий.

Для данного критерия функция игры K(a, r, q) невозрастает по выигрышу а и неубывает по риску r:

K(a, r, q) Ø по а; Ú по r, (12)

показатели игры Kij= K(aij, rij, qj), показатели неоптимальности стратегий Ai

.

Оптимальной считается стратегия Ai0, минимизирующая показатель неоптимальности Ki:

Примерами таких критериев с функциями игры K(a, r, q), удовлетворяющими условиям (12), могут служить критерии:

8.1. K(a, r, q) = qr;

8.2. K(a, r, q) = q(r-a).

В критерии 8.1 показатели неоптимальности стратегии Ai представляют собой взвешенное среднее рисков при стратегии Ai с весами q1, …, qn, и критерий 8.1, таким образом, является критерием минимизации взвешенного среднего риска.

Относительно критериев 7 и 8 имеет место следующее.

Утверждение 3. Все четыре критерия 7.1, 7.2, 8.1, 8.2 эквивалентны между собой:

7.1  7.2  8.1  8.2. (13)

Доказательство. Рассмотрим, например, критерии 7.1 и 8.2. Показатели оптимальности в критерии 7.1 и неоптимальности в критерии 8.2 стратегий соответственно равны

и

Складывая с и используя при этом определение риска (2), получим

(14)

где – взвешенное среднее максимальных выигрышей при каждом состоянии природы Пj. Из (14) имеем:

.

Аналогичным образом можно получить выражение Ki через Li для других пар критериев 7.1 и 8.1, 7.2 и 8.2. Полученные выражения представлены в табл. 2.

Таблица 2

Из этой таблицы очевидно, что поскольку для данной матрицы выигрышей (aij) есть величина постоянная, то показатель неоптимальности Ki в каждой клетке обращается в минимум при том же значении i, при котором показатель оптимальности Li обращается в максимум. Следовательно, имеем следующие эквиваленции критериев:

7.1  8.1, 7.1  8.2, 7.2  8.1, 7.2  8.2, из которыx следует требуемая экиваленция (13).

Отметим, что эквиваленция 7.1  8.1 – известный факт (доказанный, например, в (1), с. 502).

Из эквиваленции (13) можно сделать вывод о том, что из критериев 7.1, 7.2, 8.1, 8.2 достаточно применить один, причем с более простой функцией игры.

 Максиминно-максимаксные критерии.

Такие критерии представляют собой комбинации максиминного и максимаксного критериев. В качестве показателя оптимальности стратегии берется величина

где   (0,1)– коэффициент оптимизма, а и – показатели оптимальности стратегии Ai соответственно в максиминном и максимаксном критериях (см. п. 3 и п. 5). При этом функции игры в этих двух критериях целесообразно использовать соответствующие друг другу. Это соответствие показано в табл. 3.

Таблица 3

Оптимальной считается стратегия Ai0, максимизирующая показатель оптимальности Нi( ):

Коэффициент оптимизма  выбирается субъективно в пределах от 0 до 1, включая концы, в зависимости от опасности ситуации: чем более опасной представляется ситуация, тем меньше оптимизма и тем меньше коэффициент оптимизма  ; чем более благоприятная ситуация, тем больше оптимизма и значит  можно выбирать ближе к 1.

При наименьшем значении коэффициента оптимизма  = 0 данный критерий превращается в максиминный критерий крайнего пессимизма, а при наибольшем значении коэффициента оптимизма  = 1 рассматриваемый критерий превращается в максимаксный критерий крайнего оптимизма. При  = 1/2 максиминно-максимаксный критерий можно считать критерием реализма.

Критерий 9.1 является критерием Гурвица относительно выигрышей ((1), с. 505; (2), с. 120; (3), с. 47; (5), с. 57).

 Минимаксно-миниминные критерии.

Минимаксно-миниминные критерии являются результатом комбинации минимаксного и миниминного критериев. Показатель неоптимальности стратегии Ai определяется следующим образом:

где   (0,1)– коэффициент оптимизма, а и – показатели неоптимальности стратегии Ai соответственно в минимаксном и миниминном критериях (см. п. 4 и п. 6). Функции игры в этих двух критериях лучше выбирать соответствующими друг другу, как это указано в табл. 4.

Таблица 4

Оптимальной по критерию является стратегия Ai0, для которой

.

Данный критерий превращается в минимаксный критерий при  = 0, в миниминный критерий при  = 1, в критерии Гурвица относительно рисков при (критерий 10.1).

Утверждение 4. При одном и том же коэффициенте оптимизма максиминно-максимаксные критерии 9.3 и 9.4 эквиваленты соответственно минимаксно-миниминным критериям 10.3 и 10.4.

Доказательство. Для критериев 10.3 и 9.3 имеем:

откуда

т.е. показатель неоптимальности Di( ) будет минимальным для того значения i, для которого показатель оптимальности Hi( ) будет максимален. Таким образом, эквиваленция 9.3  10.3 доказана.

Эквиваленция 9.4  10.4 доказывается аналогично. n

ПРИМЕР. Рассмотрим игру с природой, в которой игрок А имеет возможность применить одну из четырех стратегий А1, А2, А3, А4, а природа П может находиться в одном из трех состояний П1, П2, П3 с вероятностями соответственно q1 = 0,7; q2 = 0,1; q3 = 0,2. Известны выигрыши (aij) игрока А. Найдем оптимальные стратегии по рассмотренным выше критериям.

Выпишем таблицы показателей игры и в дополнительных столбцах – показатели оптимальности и неоптимальности для соответствующих критериев. При этом на основании утверждений 1-4 из эквивалентных критериев будем рассматривать только один.

Таблица для критериев 4.1 и 6.1 Таблица для критерия 4.2

Таблица для критерия 3.3 и 5.3 Таблица для критерия 3.4

Таблица для критерия 5.2 и 7.1 Таблица для критерия 6.2

Таблица для критерия 5.4

Теперь выпишем таблицы показателей оптимальности для критериев 9 с коэффициентом оптимизма  = 1/2.

Таблица для критерия 9.1 Таблица для критерия 9.2

Таблица для критерия 9.3 Таблица для критерия 9.4

Выпишем таблицы показателей неоптимальности для критериев 10.