Processos estocásticos: cadeia de Markov e ausência de memória; passeio aleatório

A ideia que organiza o assunto

Um processo estocástico é uma coleção de variáveis aleatórias indexadas pelo tempo: {Xₜ}. Modelar um processo é responder a uma única pergunta prática — quanto do passado é preciso carregar para dizer o que vem a seguir? As respostas possíveis vão de “tudo” (e então não há modelo) a “nada” (e então as observações são independentes). A cadeia de Markov é a resposta intermediária que faz o assunto inteiro funcionar:

Basta o presente. Dado o estado de hoje, o caminho que levou até ele não informa nada sobre o amanhã.

É isso que o título do tópico chama de ausência de memória, e é isso que a banca cobra. Formalmente,

P(Xₙ₊₁ = j | Xₙ = i, Xₙ₋₁ = iₙ₋₁, …, X₀ = i₀) = P(Xₙ₊₁ = j | Xₙ = i) = pᵢⱼ.

O condicionamento em toda a história colapsa no condicionamento no último estado. A consequência é econômica antes de ser matemática: o processo fica descrito por dois objetos apenas — o conjunto de estados e a matriz de transição — em lugar de uma distribuição conjunta sobre trajetórias.

O segundo objeto do tópico, o passeio aleatório, é o que impede a leitura preguiçosa de “sem memória” como “sem acumulação”. Xₜ = Xₜ₋₁ + εₜ é markoviano: para prever Xₜ₊₁ basta saber Xₜ. E, mesmo assim, é o exemplo canônico de processo não estacionário — a variância cresce sem limite com o tempo e cada choque fica no nível para sempre. Ausência de memória na transição convive com memória perfeita no nível. Essa distinção é a ponte para a ordem 12: o passeio aleatório é a raiz unitária por construção, e tudo o que se faz com séries integradas começa nele.

A fronteira com o básico, porque ela é fina aqui. Lógica e Estatística, a disciplina comum, já cobre probabilidade condicional, independência de eventos e as distribuições usuais — inclusive a exponencial e a geométrica, que são as duas distribuições sem memória. Um item sobre P(A|B) ou sobre a falta de memória da exponencial é daquele tópico. O que é seu começa quando o objeto é a sequência indexada pelo tempo: matriz de transição, distribuição em n passos, distribuição estacionária, e o comportamento assintótico de somas acumuladas.

Como funciona

A matriz de transição. Para uma cadeia de estados finitos e homogênea no tempo, reúnem-se as probabilidades pᵢⱼ em uma matriz P. Cada linha é a distribuição condicional de partida de um estado, de modo que toda linha é não negativa e soma exatamente 1 — é o que se chama matriz estocástica. As colunas não somam 1 em geral.

Homogeneidade é hipótese adicional. A propriedade de Markov diz que a transição não depende do passado; não diz que ela não depende do tempo. Uma cadeia cujas probabilidades de transição mudam de período para período continua markoviana, e apenas deixa de ser homogênea. É uma distinção fina que rende item.

n passos. Pela equação de Chapman-Kolmogorov, a matriz de transição em n passos é simplesmente Pⁿ, e a distribuição no instante n é π₀Pⁿ, com π₀ a distribuição inicial escrita como vetor linha.

Distribuição estacionária. É o vetor de probabilidades π que satisfaz π = πP — uma vez atingida, a distribuição sobre os estados não muda mais. Existindo cadeia irredutível (todo estado comunica com todo estado) e aperiódica, ela é única e a cadeia converge para ela qualquer que seja a distribuição inicial. Note a diferença de nível: a distribuição se estabiliza, e não o estado — a cadeia continua transitando.

Classificação dos estados. Absorvente: pᵢᵢ = 1, entrou não sai. Recorrente: a cadeia retorna a ele com probabilidade 1. Transiente: há probabilidade positiva de nunca mais voltar. Período: retornos só ocorrem em múltiplos de um inteiro maior que 1.

Ausência de memória nas distribuições. No tempo contínuo o análogo é a exponencial: P(T > s + t | T > s) = P(T > t) — a espera já decorrida não altera a espera restante, e a exponencial é a única distribuição contínua com essa propriedade, como a geométrica é a única discreta. O processo de Poisson tem tempos entre eventos exponenciais, e é por isso que é markoviano.

Passeio aleatório. Xₜ = Xₜ₋₁ + εₜ, com εₜ ruído branco de média zero e variância σ². Substituindo recursivamente, Xₜ = X₀ + ε₁ + ε₂ + … + εₜ: o nível é a soma acumulada de todos os choques. Daí sai tudo o que se cobra:

E(Xₜ) = X₀, constante — a média não é o problema;
Var(Xₜ) = tσ², crescente com o tempo — e é este o motivo da não estacionariedade;
a autocorrelação entre Xₜ e Xₜ₋ₖ é altíssima e decai muito devagar, o que produz o correlograma tipicamente “arrastado”;
cada choque tem efeito permanente: não há reversão à média, porque não há média para a qual reverter;
a primeira diferença ΔXₜ = εₜ é ruído branco, logo estacionária: o passeio aleatório é integrado de ordem 1;
escrito como Xₜ = φXₜ₋₁ + εₜ, ele é o caso φ = 1 — a raiz unitária.

Com deriva. Xₜ = δ + Xₜ₋₁ + εₜ acrescenta uma tendência determinística: E(Xₜ) = X₀ + δt. Agora a média também cresce, e a série exibe direção sistemática sem nenhuma relação de equilíbrio por trás.

Martingale. E(Xₜ₊₁ | informação até t) = Xₜ: a melhor previsão do próximo valor é o valor de hoje. O passeio aleatório sem deriva é martingale; com deriva, não é. É a formalização da hipótese de mercados eficientes — e a razão pela qual “o melhor palpite para o preço de amanhã é o preço de hoje” é um resultado, e não uma piada.

O que decide os itens

Proposição	Verdade
a transição depende da sequência completa de eventos anteriores	não — só do estado atual
a transição depende apenas do estado presente	sim — é a definição
a propriedade de Markov implica probabilidades constantes no tempo	não — isso é homogeneidade, hipótese à parte
cada linha da matriz de transição soma 1	sim
cada coluna da matriz de transição soma 1	não, em geral
a matriz de `n` passos é `Pⁿ`	sim (Chapman-Kolmogorov)
a distribuição no instante `n` é `π₀Pⁿ`	sim
a distribuição estacionária satisfaz `π = πP`	sim
atingida a distribuição estacionária, o estado deixa de mudar	não — quem se estabiliza é a distribuição
toda cadeia de Markov converge para uma distribuição estacionária	não — pede irredutibilidade e aperiodicidade
a exponencial é a única contínua sem memória	sim (a geométrica, no caso discreto)
ser markoviano implica ser estacionário	não — o passeio aleatório é o contraexemplo
o passeio aleatório tem média constante	sim, sem deriva: `E(Xₜ) = X₀`
o passeio aleatório tem variância constante	não — `Var(Xₜ) = tσ²`
os choques em um passeio aleatório se dissipam	não — são permanentes
a primeira diferença do passeio aleatório é ruído branco	sim
a melhor previsão do passeio aleatório sem deriva é o último valor observado	sim — é martingale
o passeio aleatório tem raiz unitária	sim, por construção (`φ = 1`)

Objeto	O que o caracteriza
ruído branco	média zero, variância constante, sem autocorrelação
cadeia de Markov	o futuro depende só do presente
passeio aleatório	soma acumulada de ruído branco; variância `tσ²`
passeio com deriva	acrescenta tendência determinística `δt`
martingale	previsão do próximo valor igual ao valor atual

Como a CEBRASPE derruba você aqui

Esta seção ainda não foi medida: os itens deste tópico estão sendo explicados. Quando estiverem, as frequências reais aparecem aqui e o texto abaixo é reescrito contra elas.

A base medida é de um único item, e um item é anedota, não frequência. Não há como extrair padrão de uma observação, e a contagem é piso: itens desta disciplina ficaram fora do acervo por notação estatística perdida na extração, de modo que o assunto foi cobrado mais do que o corpus revela.

O que se pode registrar do único item é a forma em que ele veio, e ela é sugestiva. É da prova do BACEN, e aparece como “Julgue o seguinte item, relativo a processos estocásticos” — um item isolado, sem grupo, sem matriz na página, sem conta. A afirmação é a negação direta da definição: a probabilidade de transição “é influenciada pela sequência completa de eventos anteriores”. Errado, e errado pelo motivo mais simples que existe — é o oposto exato do que define a cadeia. Vale a leitura prática: no BACEN, este tópico apareceu como item de conceito, não de cálculo.

O que segue é conhecimento do assunto e vem marcado como não medido neste corpus.

Negar a ausência de memória, com sinônimos. É o formato do Errado medido, e ele tem um vocabulário previsível: sequência completa, histórico, trajetória, caminho percorrido, todos os estados anteriores, a evolução passada. Qualquer um desses, ligado à probabilidade de transição, fecha o item. Aqui o que se checa é o endereço da dependência — presente ou passado —, não a força da frase.

A versão elegante do mesmo erro. Em vez de negar, sofisticar: dizer que a transição depende do número de visitas já feitas ao estado, do tempo de permanência nele, ou do instante de entrada. São todas dependências no passado, todas incompatíveis com a cadeia simples, e todas bem mais difíceis de reconhecer do que “toda a sequência anterior”.

Confundir Markov com independência. “Em uma cadeia de Markov, as variáveis são independentes” é falso e é o excesso simétrico do erro anterior. Sem memória não significa sem relação: Xₙ₊₁ depende de Xₙ, e é só disso que depende. Um processo de variáveis independentes é markoviano, mas a recíproca falha.

Estender a propriedade à estacionariedade. Concluir de markoviano que a série é estacionária, ou que tem variância constante. O passeio aleatório refuta as duas coisas de uma vez, e é o exemplo que a própria banca usa nos tópicos vizinhos.

Congelar o estado na distribuição estacionária. “Alcançado o regime estacionário, a cadeia permanece no mesmo estado” troca a estabilidade da distribuição pela imobilidade do processo. O que para de mudar é π, não Xₙ.

Somar a matriz na direção errada. Item que afirme que as colunas somam 1, ou que a matriz é simétrica. Só as linhas somam 1, e a simetria não é requisito algum.

Dar ao passeio aleatório a reversão à média. “Os choques se dissipam ao longo do tempo”, “a série retorna ao seu nível de longo prazo” — verdadeiro para um AR(1) estacionário, falso aqui. É a troca de um processo pelo outro, e o divisor é φ = 1.

Trocar a deriva pela tendência estacionária. Uma série com deriva e uma série estacionária em torno de uma tendência determinística parecem iguais no gráfico e pedem tratamentos opostos: a primeira se corrige diferenciando, a segunda destendenciando. Item que ofereça o remédio trocado é a armadilha mais cara do tópico, e ela reaparece inteira na ordem 12.

Erros clássicos

Ler “sem memória” como “sem estrutura”. A cadeia tem estrutura forte: toda ela está na matriz de transição. O que não existe é dependência em estados anteriores ao atual.

Confundir a ausência de memória da cadeia com a da exponencial. São o mesmo princípio em objetos diferentes — uma fala do estado, a outra do tempo de espera. Item que atribua à cadeia a unicidade que é da exponencial, ou vice-versa, troca de objeto.

Achar que o passeio aleatório é “sem tendência” e portanto estacionário. Sem deriva, a média é mesmo constante; a não estacionariedade vem da variância, que cresce com t. Média constante não basta.

Supor que a soma de variáveis independentes é estacionária porque as parcelas são. A soma acumula, e acumular variância é exatamente o que quebra a estacionariedade.

Confundir período com recorrência. Um estado pode ser recorrente e periódico; o período fala de quando se volta, a recorrência de se se volta.

Esquecer que a homogeneidade é uma hipótese separada. Quase todo exercício a supõe sem dizer, e é isso que torna o item que a nega difícil de enxergar.

Concluir causalidade da matriz de transição. Ela descreve frequências de passagem entre estados, não mecanismo. É o mesmo mal-entendido que cerca a causalidade de Granger na ordem 13.