Понятие случайных Марковских процессов

Случайный процесс называется Марковским, если вероятность будущего состояния системы, отвечающее данному процессу, зависит только от её состояния в настоящий момент времени и не зависит от того в каких состояниях она была в прошлом.

Действительно работоспособность автомобиля в будущем зависит только от фактического технического состояния, к которому автомобиль может прийти по-разному.

В теории технической эксплуатации наибольшие привилегии находят цепи Маркова и Марковские последовательности.

В цепях Маркова чётко определены состояния системы S1, S2, S3, …, Sn. Переход из одного состояния в другое осуществляется в дискретные моменты времени t1, t2, t3, …, tn и определяется переходными вероятностями.

Цепи Маркова хорошо иллюстрируются графом состояния системы, на котором отмечены состояния системы, а стрелками указаны направления переходов. Если указаны вероятности переходов, то такой граф называется размеченным графом.

Рисунок 3. Размеченный граф состояния системы

При исследовании случайных процессов большое значение имеют Марковские процессы с дискретным состоянием и непрерывным временем.

Марковские процессы с непрерывным временем характеризуются случайными моментами возможных переходов из одного состояния в другое. При этом переход происходит мгновенно. Такой дискретный процесс с непрерывным временем представляет собой поток событий, например, поток автомобилей с отказами, поступающих на посты ТР или поток отказавших агрегатов, поступающих в цеха и на посты.

Для такого процесса рассматривается плотность вероятности перехода  за время  из состояния Si в состояние Sj:

, (23)

если  мало . (24)

Если  не зависит от , то такой процесс называется однородным, в противоположном случае – неоднородным.

Имея данные по плотности вероятности переходов можно рассчитать вероятности всех состояний системы в разные моменты времени, т.е. определить вероятности , , , …, .

Эти вероятности определяются из системы дифференциальных уравнений Колмогорова, составленных по следующим правилам:

1. В левой части уравнения производные вероятности соответствующего состояния, например:

; (25)

2. Правая часть содержит столько членов, сколько переходов связано с данным состоянием;

3. Каждый член правой части уравнения равен произведению плотности вероятности перехода на вероятность того состояния, из которого переход осуществляется;

4. Знак плюс ставится перед членами правой части уравнений при переходе в данное состояние, знак минус – при переходе из данного состояния.

, (26)

, (27)

, (28)

. (29)

Так называемые предельные состояния, при , определяются из приведённой системы уравнений, у которых левая часть приравнивается к 0, т.е.: . Эти конечные вероятности характеризуют среднее время пребывания системы в соответствующих состояниях