Uma cadeia de Markov com estados {1,2,3,4} tem matriz de transição
!$ P=\begin{bmatrix} p&1-p&0&0\\(1-p)/2&p&(1-p)/2&0\\0&(1-p)/2&p&(1-p)/2\\0&0&1-p&p\end{bmatrix}para 0 < p < 1 !$
A distribuição estacionária é dada por
Uma cadeia de Markov com estados {1,2,3,4} tem matriz de transição
!$ P=\begin{bmatrix} p&1-p&0&0\\(1-p)/2&p&(1-p)/2&0\\0&(1-p)/2&p&(1-p)/2\\0&0&1-p&p\end{bmatrix}para 0 < p < 1 !$
A distribuição estacionária é dada por
