Новости    Библиотека    Энциклопедия    Биографии    Карта сайта    Ссылки    О проекте




предыдущая главасодержаниеследующая глава

§ 9. Марковские процессы с конечным или счетным числом состояний. Дифференциальные уравнения Колмогорова. Финальные распределения вероятностей

1. Так же как и при рассмотрении марковских цепей (см. § 7), будем условно говорить о некоторой физической системе, с течением времени t меняющей свое фазовое состояние. Так же как и раньше, будем считать, что имеется лишь конечное или счетное число различных фазовых состояний ε1, ε2, ... Обозначим ξ(t) состояние системы в момент времени t. Процесс эволюции рассматриваемой системы описывается функцией ξ(t).

Будем предполагать, что течение этого процесса ξ(t) зависит от вмешательства случая, причем соблюдается следующая закономерность: если в какой-либо момент времени s система находится в состоянии εi, то, независимо от своего поведения до этого момента s, она через время t с вероятностью pij (t) переходит в состояние εj.


(9.0)

i, j = 1, 2, ...

Описанная модель называется однородным марковским случайным процессом, а вероятности pij называются переходными вероятностями этого процесса. Кроме них, еще задается начальное распределение вероятностей


(9.1)

i = 1, 2, ...

Обозначим pj (t) вероятность того, что через время t система будет находиться в состоянии εj.


(9.2)

j = 1, 2, ...

Легко установить (ср. (7.5), (7.6)), что



(9.3)

i, j = 1, 2, ...,

при любых s и t, где


(9.4)

Предположим, что в некоторый момент времени t = t0 марковский процесс ξ(t) находится в определенном состоянии ε. Через некоторое случайное время х процесс переходит в некоторое другое состояние. Какова вероятность того, что изменение фазового состояния произойдет не раньше, чем через время t?

Эта вероятность зависит, конечно, от t Рассматривая ее как функцию от t, положим


t≥0.

При условии, что τ>s, в момент t0+s процесс будет находиться в том же состоянии ε, и дальнейшее его поведение подчиняется тем же закономерностям, что и при s = 0, в частности, при условии τ>s вероятность события


Используя формулу полной вероятности, получаем, что


Это дает следующее соотношение для функции φ:

φ(s+t) = φ(s)φ(t)

при любых s и t, откуда

ln φ(s+t) = ln φ(s) + ln φ(t).

Видно, что функция ln φ(t) является линейной:

ln φ(t) = -λt, t≥0.

где х - некоторая неотрицательная постоянная. Таким образом, искомая вероятность есть


(9.5)

t≥0.

Параметр λ называется плотностью перехода из соответствующего состояния ε. При λ = 0 процесс навсегда остается в состоянии ε. При λ>0 вероятность того, что состояние процесса претерпевает изменение за малый промежуток времени Δt, есть

1 - φ(Δt) = λΔt + o(Δt),(9.6)

где o(Δt) означает величину высшего порядка малости по сравнению с Δt.

Распределение вероятностей случайной величины τ - времени до момента перехода в новое состояние - таково, что


(9.7)

при любых t1, t2≥0. Оно называется показательным или экспоненциальным распределением. Видно, что плотность такого распределения вероятностей имеет вид


Среднее значение Мτ случайной величины τ - среднее время ожидания перемены состояния - определяется формулой


Процесс радиоактивного распада. Описанная ранее вероятностная модель радиоактивного распада - превращения радия Ra в радон Rn (см. п. 1 § 6) - такова, что переход Ra→Rn представляет собой однородный марковский процесс с двумя состояниями для каждого атома (Ra или Rn) и единственно возможным переходом Ra→Rn. Вероятность того, что атом Ra за время t перейдет в атом Rn, ранее была обозначена p(t). Было показано, что если в исходный момент времени t = 0 количество атомов Ra равно n0, то число ξ(t) испускаемых за время t α-частиц имеет распределение Пуассона с параметром a = n0p (t):


Здесь р (t) - вероятность того, что состояние Ra изменится за время t,- согласно общей формуле (9.5) имеет вид


t≥0,

где λ - соответствующая плотность перехода Ra→Rn для отдельного атома, т. е. такая постоянная, что вероятность перехода Ra→Rn за малый промежуток времени Δt есть λΔt + o(Δt).

Рассмотрим количество радия через время t Если число α-частиц равно ξ(t), то число оставшихся атомов Ra равно n0 - ξ(t). Среднее количество радия через время t есть


t≥0.

Экспоненциальный характер функции n (t) говорит, в частности, о том, что время Т, за которое в среднем распадается половина исходного количества радия:


есть некоторая абсолютная постоянная. Это - так называемая постоянная полураспада. Видно, что она связана с плотностью перехода Ra→Rn равенством


2. Рассмотрим марковский процесс ξ (t) с переходными вероятностями pij (t), i, j = 1, 2, ...

Будем считать, что переходные вероятности pij (t) удовлетворяют следующим условиям:

1 - pii (Δt) = λiΔt + o(Δt),
pij (Δt) = λijΔt + o(Δt), j≠i, i, j = 1, 2, ...(9.9)

Здесь λi - плотность перехода из состояния εi, λij - так называемые плотности перехода из εi в соответствующее состояние εj. Положим

λii = - λi, i = 1, 2, ...

Теорема. Для марковского процесса с конечным числом состояний переходные вероятности pij (t) удовлетворяют дифференциальным уравнениям


(9.10)

i,j = 1, 2, ...,

и


(9.11)

i,j = 1, 2, ...,

с начальными условиями (9.4).

Уравнения (9.11) образуют так называемую прямую систему, а уравнения (9.10) - обратную систему дифференциальных уравнений Колмогорова.

Доказательство. Согласно общей формуле (9.3)


Используя асимптотические выражения (9.9), получаем, что


Правые части этих равенств имеют вполне определенный предел при Δt→0:



Следовательно, существует и предел


причем должны быть выполнены равенства (9.10) и (9.11).

Теорема доказана.

Следует отметить, что указанные дифференциальные уравнения для переходных вероятностей рij (t) имеют место не только в случае конечного числа состояний, но при некоторых дополнительных ограничениях и в случае счетного числа состояний ε1, ε2, ... Использованный выше прием для вывода этих дифференциальных уравнений остается в силе, если в асимптотических выражениях (9.9) остаточные члены о(Δt) таковы, что


при Δt→0

равномерно по всем i, j. Уравнение (9.10) будет иметь место, если сходится ряд и


(9.12)

уравнение (9.11) будет иметь место, если при фиксированном j плотности перехода λij равномерно ограничены:


(9.13)

i = 1, 2, ...

Пуассоновский процесс. В п. 1 § 7 была рассмотрена задача о потоке требований, поступающих на некоторую систему обслуживания. Проведенный там предварительный анализ показывает, что поток требований ξ (t) ξ (t) означает число требований" поступивших за время t) является марковским процессом, состояния которого могут быть описаны целыми числами 0, 1, ...

Из состояния i можно непосредственно перейти лишь в следующее состояние j = i+1, i = 1, 2, ..., и плотности перехода λij таковы, что


Для переходных вероятностей pij (t) имеет место система дифференциальных уравнений (9.11). Очевидно, pij (t) = p0, j-i) (t). Положим

pj (t) = p0j (t), j = 0, 1, ...

Указанные дифференциальные уравнения для функций pj (t) выглядят следующим образом:

p'0 (t) = -λp0 (t),
p'k (t) = λpk-1(t) - λpk (t), k = 1, 2, ...

Если перейти к новым функциям то получим, что


где

f0 (0) = 1, fk (0) = 0 при k = 1, 2, ...

Система дифференциальных уравнений вида

f'0 (t) = 0, f'k (t) = λfk-1(t), k = 1, 2, ...

с указанными начальными условиями имеет, очевидно, следующее решение:

f0 (t) = 1, f1 (t) = λt, ...

Возвращаясь к исходным функциям получаем, что


Система с экспоненциальным временем обслуживания. Предположим, что на некоторую систему обслуживания поступает пуассоновский поток требований с параметром λ0, т. е. различные требования поступают независимо одно от другого и вероятность поступления отдельного требования в малом промежутке времени Δt есть λ0Δt + o(Δt). Пусть на обслуживание каждого отдельного требования затрачивается случайное время τ, распределенное по экспоненциальному закону с параметром λ1, т. е.


Рассмотрим два состояния системы обслуживания: ε0 - система свободна, ε1 -"система замята. Будем считать, что если система занята, то поступающие в это время требования получают отказ и уходят из сферы обслуживания.

Предположим, что система в некоторый момент времени t0 находится в состоянии ε0. В силу независимости поступления требований ее дальнейшее поведение не зависит от предшествующих обстоятельств и, в частности, за время Δt она с вероятностью λ0Δt + o(Δt) перейдет в состояние ε1. Предположим, что в момент t1 система находится в состоянии ε1.

Если обозначить τ1 случайный момент перехода из ε1 в ε0 (момент окончания обслуживания), то, согласно экспоненциальному закону распределения времени обслуживания - величины τ = τ1 - t1 имеет место следующее равенство:


Видно, что переход в ε0 и дальнейшее поведение системы не зависят от ее поведения до момента t1. В частности, в последующем за t1 промежутке времени Δt система с вероятностью λ1 Δt + o (Δt) переходит в состояние ε0. Таким образом, эволюция системы описывается марковским процессом с двумя состояниями ε0, ε1 и соответствующими плотностями перехода λ0, λ1.

Пусть pij (t) - соответствующие переходные вероятности. В рассматриваемом случае p01 (t) = 1 - р00 (t), p10 (t) = 1 - р11 (t) и дифференциальные уравнения (9.11) имеют вид:


Решая их, получаем, что


3. Рассмотрим марковский процесс с конечным числом состояний ε1, ..., εm, каждое из которых достижимо из любого другого состояния.

Теорема. Вероятности pj (t), с которыми через время t система будет находиться в соответствующих состояниях εj (j = 1, ..., m), при t→∞ со имеют предельные значения


(9.14)

j = 1, ..., m.

Указанные финальные вероятности не зависят от начального распределения и, более того,


(9.15)

где С и D - некоторые положительные постоянные.

Доказательство совершенно аналогично тому, что было дано в случае марковских цепей (см. формулу (8.14)). В случае непрерывного времени t предполагавшееся ранее условие (8.12) выполняется автоматически; именно


(9.16)

при любом t>0,

Чтобы установить это, рассмотрим сначала вероятность pii (t), которая как функция от t является непрерывной и рii (0) = 1, так что при достаточно малых t эта вероятность является положительной. Но из соотношения (9.3) видно, что при любых s и t


так что на самом деле вероятность pii (t) положительна при всех t. Рассмотрим теперь состояние εj, достижимое из состояния εi, т. е. такое, что pij (s)>0 при некотором s. Покажем, что тогда вероятность pij (t) является положительной для любого t>0. Имеем:


u≤t.

Как показано выше, pjj (t - u) всегда положительна, так что достаточно показать, что pij (u)>0 при некотором u≤t. По предположению pij (s)>0. Рассмотрим цепь Маркова с переходными вероятностями где натуральное число n удовлетворяет условию (m - число состояний). Поскольку состояние εj достижимо из εi. Легко видеть, что оно достижимо не только за n шагов, но и за некоторое число шагов n0, не превосходящее число m всех имеющихся состояний, т. е. где

Доказательство закончено.

Финальные вероятности pi*, i = 1, 2, ..., задают стационарное распределение вероятностей: если в качестве начального распределения взять i = 1, 2, ..., то соответствующие вероятности pj (t), с которыми система через время t будет находиться в соответствующих состояниях εj, остаются неизменными с течением времени t:


если j = 1, 2, ... (9.17)

Это вытекает из соотношения


(9.18)

j = 1, 2, ...,

которое получается из общего равенства (9.3) при переходе к пределу, когда s→∞. В самом деле, правая часть равенства (9.18), согласно формуле (9.3), и есть соответствующая вероятность pj (t), а в левой части стоит финальная вероятность р*j.

Отметим, что если взять производные при t = 0 от обеих частей равенства (9.18), то получим следующее соотношение для финальных (стационарных) вероятностей р*j:


(9.19)

j = 1, 2, ...,

где λkj - плотности перехода рассматриваемого марковского процесса.

Система обслуживания. Формулы Эрланга. Рассмотрим систему, которая может обслуживать одновременно m требований. Будем считать, что имеется m линий и очередное требование поступает на одну из линий, если хотя бы одна из них свободна; в противном случае поступающее требование получает отказ и уходит из сферы обслуживания. Предположим, что поток требований является пуассоновским с параметром λ0 и время обслуживания каждого требования (на каждой из m линий) распределено по показательному закону с параметром λ.

Рассмотрим состояния ε0, ε1, ..., εm, где εk означает, что занято ровно k линий. В частности, ε0 означает, что система свободна, а εm - что система полностью занята. Переход системы из состояния в состояние с течением времени t представляет собой марковский процесс, для которого плотности перехода имеют вид



Действительно, переход из εk в εj осуществляется при поступлении очередного требования, что происходит за время Δt с вероятностью λ0Δt + o(Δt). Вероятность того, что ни одна из k занятых линий не освободится за время Δt, есть [1-λΔt-o(Δt)]k (поскольку линии обслуживаются независимо одна от другой), и вероятность освобождения одной из линий, т. е. перехода из состояния εk в εj, j = k-1, есть 1-[1-λΔt - o (Δt)]k = kλΔt + o(Δt). Вероятность других изменений в системе за промежуток времени Δt есть o (Δt).

Как непосредственно видно из выражений для переходных вероятностей рij (t), полученных ранее в случае m = 1 (см. стр. 96), при t→∞ вероятности pij (t) экспоненциально быстро стремятся к своим финальным значениям. То же, согласно общей формуле (9.15), наблюдается и в случае m линий. Финальные вероятности рij (t) могут быть найдены из соотношений (9.19), которые дают следующую систему уравнений для определения неизвестных р*k:



1≤k<m,


Из этих уравнений получаем, что


k = 0, 1, ..., m.

Найденные выражения для финальных вероятностей называются формулами Эрланга.

предыдущая главасодержаниеследующая глава




ИНТЕРЕСНО:

Многомерный математический мир… в вашей голове

В школах Великобритании введут китайские учебники математики

Найдено самое длинное простое число Мерсенна, состоящее из 22 миллионов цифр

Как математик помог биологам совершить важное открытие

Математические модели помогут хирургам

Почему в математике чаще преуспевают юноши

Физики-практики откровенно не любят математику

В индийской рукописи нашли первое в истории упоминание ноля

Вавилонская глиняная табличка оказалась древнейшей «тригонометрической таблицей» в мире

Ученые рассказали о важной роли игр с пальцами в обучении детей математике
Пользовательского поиска

© Злыгостев Алексей Сергеевич, статьи, подборка материалов, оформление, разработка ПО 2001-2018
При копировании материалов проекта обязательно ставить ссылку на страницу источник:
http://mathemlib.ru/ 'MathemLib.ru: Математическая библиотека'
Рейтинг@Mail.ru