A estrutura de probabilidade de uma sequência aleatória é determinada pelas probabilidades conjuntas !$ p(j_0,j_1, \cdots, j_k)=Pr[X_0=j_0,X_k=j_k] !$ para todo k finito e para toda sequência !$ j_0 !$, !$ j_1 !$, ..., !$ j_k !$ de estados. Supondo um processo em que, para cada k, a probabilidade condicional de que o sistema esteja em um dado estado após k passos, conhecendo-se os estados do sistema em todos os passos anteriores, é a mesma que a probabilidade condicional, conhecendo-se apenas o estado em um passo imediatamente anterior, tal processo é denominado