Мои Конспекты
Главная | Обратная связь


Автомобили
Астрономия
Биология
География
Дом и сад
Другие языки
Другое
Информатика
История
Культура
Литература
Логика
Математика
Медицина
Металлургия
Механика
Образование
Охрана труда
Педагогика
Политика
Право
Психология
Религия
Риторика
Социология
Спорт
Строительство
Технология
Туризм
Физика
Философия
Финансы
Химия
Черчение
Экология
Экономика
Электроника

Марковский случайный процесс. и его свойства.



Способы описания марковского случайного процесса, протекающего в системе с дискретными состояниями, зависят от того, в какие моменты времени — заранее известные или случайные — могут происходить переходы («перескоки») системы из состояния в состояние.

Случайный процесс называется процессом с дискретным временем, если переходы системы из состояния в состояние возможны только в строго определенные, заранее фиксированные моменты времени: и т. д. В промежутки времени между этими моментами система S сохраняет свое состояние.

Случайный процесс называется процессом с непрерывным временем, если переход системы из состояния в состояние возможен в любой, наперед неизвестный, случайный момент t.

Рассмотрим прежде всего марковский случайный процесс с дискретными состояниями и дискретным временем.

Пусть имеется система S, которая может находиться в состояниях:

причем изменения состояния системы возможны только в моменты:

Будем называть эти моменты «шагами» или «этапами» процесса и рассматривать случайный процесс, происходящий в системе S, как функцию целочисленного аргумента: 1, 2, ..., k, ... (номера шага).

Случайный процесс, происходящий в системе, состоит в том, что в последовательные моменты времени ... система S оказывается в тех или иных состояниях, ведя себя, например, следующим образом (в общем случае система может не только менять состояние, но и сохранять прежнее):

Условимся обозначать событие, состоящее в том, что после k шагов система находится в состоянии При любом k события

образуют полную группу и несовместны.

Процесс, происходящий в системе, можно представить как последовательность (цепочку) событий, например:

Такая случайная последовательность событий называется марковской цепью, если для каждого шага вероятность перехода из любого состояния в любое не зависит от того, когда и как система пришла в состояние

Марковскую цепь можно описать с помощью вероятностей состояний. Пусть в любой момент времени (после любого k-го шага) система S может быть в одном из состояний:

т. е. осуществится одно из полной группы несовместных событий:

Обозначим вероятности этих событий для k-го шага через:

Легко видеть, что для каждого номера шага k

так как это — вероятности несовместных событий, образующих полную группу.

Вероятности будем называть вероятностями состояния.

В совокупности они образуют вектор:

(5.1)

Случайный процессе (марковскую цепь) можно представить себе так, как будто точка, изображающая систему S, случайным образом перемещается (блуждает) по графу состояний, перескакивая из состояния в состояние в моменты а иногда (в общем случае) задерживаясь на какое-то число шагов в одном и том же состоянии.

Для любого шага (момента времени или номера

существуют некоторые вероятности перехода системы из любого состояния в любое другое (некоторые из них равны нулю, если непосредственный переход за один шаг невозможен), а также вероятность задержки системы в данном состоянии. Будем называть эти вероятности переходными вероятностями марковской цепи.

Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага. В противном случае марковская цепь является неоднородной.

Рассмотрим однородную марковскую цепь. Обозначим через вероятность перехода за один шаг из состояния в состояние будет вероятность задержки системы в состоянии Запишем данные вероятности в форме квадратной матрицы:

(5.2)

Некоторые из переходных вероятностей могут быть равны нулю, что означает невозможность перехода системы из состояния в за один шаг. По главной диагонали матрицы переходных вероятностей стоят вероятности того, что система не выйдет из состояния а останется в нем.

Сумма членов, стоящих в каждой строке матрицы (5.2), должна быть равна единице, так как в каком бы состоянии система ни была перед к-м шагом события несовместны и образуют полную группу.

При рассмотрении марковских цепей часто бывает удобно пользоваться ГСП, на котором у стрелок проставлены соответствующие переходные вероятности (см. рис. 5.1, б), или размеченным графом состояний.

Заметим, что на рис. 5.1, 6 проставлены не все переходные вероятности, а только те из них, которые не равны нулю и меняют состояние системы, т. е. при «вероятности задержки» и т. д. проставлять на графе излишне, так как каждая из них дополняет до единицы сумму переходных вероятностей, соответствующих всем стрелкам, исходящим из данного состояния. Например, для графа рис. 5.1, б:

Если из состояния не исходит ни одной стрелки (переход из него ни в какое другое состояние невозможен), соответствующая вероятность задержки равна единице.

Имея в распоряжении размеченный ГСП (или, что равносильно, матрицу переходных вероятностей) и зная начальное состояние системы, можно найти вероятности состояний после любого (k-го) шага.

Предположим, что в начальный момент (перед первым шагом) система находится в каком-то определенном состоянии, например Тогда для начального момента (0) будем иметь:

т. е. вероятности всех состояний равны нулю, кроме вероятности начального состояния равной единице.

Найдем вероятности состояний после первого шага. Мы знаем, что перед первым шагом система заведомо находится в состоянии Значит, за первый шаг она перейдет в состояния с вероятностями

находящимися в m-й строке матрицы переходных вероятностей. Таким образом, вероятности состояний после первого шага будут:

. (5.3)

Найдем вероятности состояний после второго шага:

Будем вычислять их по формуле полной вероятности с гипотезами:

после первого шага система была в состоянии ; после первого шага система была в состоянии ;

после первого шага система была в состоянии ;

после первого шага система была в состоянии Вероятности гипотез известны (5.3); условные вероятности перехода в состояние при каждой гипотезе тоже известны и записаны в матрице переходных вероятностей. По формуле полной вероятности получим:

(5.4)

или

(5.5)

Данное выражение может быть записано в вектор-матричной форме:

(5.6)

где — транспонированная матрица (5.2).

В формулах (5.4)—(5.5) суммирование распространяется формально на все состояния фактически учитывать надо только те из них, для которых переходные вероятности отличны от нуля, т. е. те состояния, из которых может совершиться переход в состояние (или задержка в нем).

Таким образом, вероятности состояний после второго шага известны. Очевидно, после третьего шага они определяются аналогично:

и вообще после k-го шага:

(5.8)

или в матричной форме

(5.9)

Итак, вероятности состояний после k-го шага определяются рекуррентной формулой (5.8) через вероятности состояний после (k - 1)-го шага; те, в свою очередь, — через вероятности состояний после (k - 2)-го шага, и т. д.

ПРИМЕР

Пример 5.1. По некоторой цели ведется стрельба четырьмя выстрелами в моменты времени Возможные состояния цели:

— цель невредима;

— цель незначительно повреждена;

— цель получила существенные повреждения;

—цель полностью поражена (не может функционировать). Размеченный ГСП системы показан на рис. 5.2, а. В начальный момент цель находится в состоянии (не повреждена). Определить вероятности состояний цели после четырех выстрелов.

Рис. 5.2. Пример графа состояний и переходов (а), размеченные графы непрерывных цепей Маркова (б. в)

Из графа состояний имеем:

= 0,4; =0,2; =0,1 и = 1- ( + + ) = 0,3.

Аналогично находим:

= 0; =0,4; =0,4; =0,2;

= 0; =0; =0,3; =0,7;

= 0; =0; =0; =1.

Таким образом, матрица переходных вероятностей имеет вид:

Так как в начальный момент цель S находится в состоянии то = 1.

Вероятности состояний после первого шага (выстрела) берутся из первой строки матрицы:

Вероятности состояний после второго шага:

= 0,09; = 0,3 0,4+ 0,4 0,4 = 0,28;

= 0,3 0,2+ 0,4-0,4 + + 0,2 0,3 = 0,28;

= 0,3 0,1 + + 0,4 - 0,2 + 0,2 - 0,7 + 0,1 - 1 = 0,35.

Вероятности состояний после третьего шага: = 0,09 - 0,3 = 0,027;

= 0,09 - 0,4 + 0,28 - 0,4 = 0,148;

= 0,09 - 0,2 + 0,28 - 0,4 + + 0,28 - 0,3 = 0,214;

= 0,09 - 0,1 + + 0,28 - 0,2 + 0,28 - 0,7 + 0,35 - 1 = 0,611.

Вероятности состояний после четвертого шага: = 0,0081;

= 0,027 - 0,4 + 0,148 - 0,4 = 0,07; = 0,027 - 0,2 + + 0,148 - 0,4 + 0,214 - 0,3 = 0,1288;

= 0,027 - 0,1 + 0,148 - 0,2 + 0,214 - 0,7 + 0,611 - 1 =0,7931.

Таким образом, получены вероятности всех исходов обстрела цели (четырех выстрелов):

- цель не повреждена: 0,008;

- цель получила незначительные повреждения: 0,070;

- цель получила существенные повреждения: 0,129;

- цель поражена полностью: 0,793.

Кроме однородных марковских цепей, в которых вероятности перехода от шага к шагу не меняются, известны динамические или неоднородные цепи, в которых вероятности перехода меняются от шага к шагу (зависят от номера шага k).

В этом случае выражения (5.8), (5.9) приобретают вид:

(5.10)

 




Поиск по сайту:







©2015-2020 mykonspekts.ru Все права принадлежат авторам размещенных материалов.