Momentos e função geradora; esperança condicional E(Y|X) e esperanças iteradas

Nenhum item de prova anterior, no acervo deste projeto, caiu neste tópico. A nota foi escrita a partir do edital e da bibliografia — não do corpus — e por isso não traz frequências medidas.

A ideia que organiza o assunto

O tópico anterior é sobre o par: a distribuição conjunta de X e Y, o que dela se perde ao passar às marginais, e o que a covariância consegue e não consegue enxergar. Este tópico é sobre o que se extrai de uma distribuição depois que ela existe — como resumi-la em números, e o que resta dela quando uma segunda variável já é conhecida. Um cuida do objeto; o outro, das duas operações que o tornam manejável.

E as duas operações são o mesmo movimento feito em direções opostas.

• Os momentos comprimem. Uma distribuição inteira é trocada por uma lista de números — média, variância, assimetria, curtose — e a função geradora de momentos é a bolsa onde essa lista viaja inteira, dentro de uma função só.
• A esperança condicional decompõe. Y é partido em duas parcelas: o que X já explica e o que sobra. A lei das esperanças iteradas é a garantia de que a decomposição não perde nada em média.

Por que a geradora é geradora. Defina M_X(t) = E(e^{tX}). Expandindo a exponencial em série, e^{tX} = 1 + tX + t²X²/2! + t³X³/3! + …, e tomando a esperança termo a termo, os momentos aparecem como os coeficientes de Taylor dessa função. Daí a regra operacional, que é toda a graça do objeto:

Derive k vezes e avalie em t = 0: sai E(X^k). M'(0) = E(X), M''(0) = E(X²), e assim por diante.

Não é um truque de cálculo: é a razão de o objeto se chamar geradora e não transformada de curiosidade. Uma única função guarda todos os momentos e os devolve por derivação.

E a propriedade que lhe dá poder é a unicidade. Se duas variáveis têm a mesma geradora — existindo ela num intervalo aberto em torno de zero — elas têm a mesma distribuição. É por isso que a geradora deixa de ser um atalho para calcular variância e vira instrumento de prova: para mostrar que a soma de normais independentes é normal, multiplicam-se as geradoras, reconhece-se o resultado como geradora de uma normal, e acabou. A identificação da distribuição vem da unicidade, não da intuição.

A segunda metade, que é a que sustenta o resto da disciplina. Fixe um valor x. Então E(Y | X = x) é um número: a média de Y dentro da fatia da distribuição em que X vale x. Varie x e esse número varia — ele é uma função de x, chame-a g(x). Agora substitua o x fixo pela variável aleatória X, e obtenha E(Y|X) = g(X). Isso não é um número: é uma função de uma variável aleatória, portanto uma variável aleatória, com distribuição própria, esperança própria e variância própria.

E(Y | X = x) é número. E(Y|X) é variável aleatória. Tudo o que confunde neste assunto se resolve nessa linha.

É essa distinção que torna a lei das esperanças iteradas uma afirmação de conteúdo e não uma tautologia:

E[E(Y|X)] = E(Y).

Se E(Y|X) fosse um número, a esperança externa não teria o que fazer e a igualdade seria vazia. Como é variável aleatória, há duas médias diferentes acontecendo: a interna faz a média de Y dentro de cada fatia; a externa faz a média dessas médias, ponderando cada fatia pela probabilidade de X cair nela. A lei afirma que médias de médias, ponderadas assim, reconstroem a média global — o que é verdade e precisa ser provado.

E é por isso que a função de regressão é uma esperança condicional. Entre todas as funções g imagináveis, a que minimiza E[(Y − g(X))²] é exatamente g(X) = E(Y|X). A regressão populacional não é um modelo escolhido por conveniência: é a melhor previsão de Y a partir de X no critério do erro quadrático, e o MQO é o que se obtém quando essa busca é restringida à família linear β₀ + β₁X. O tópico de regressão por MQO pressupõe isto inteiro; leia esta nota antes daquela.

A fronteira com o básico. Lógica e Estatística, comum às duas áreas, já cobre esperança e variância de uma variável, probabilidade condicional entre eventos (P(A|B)), probabilidade total e Bayes. Um item sobre P(A|B), sobre a árvore de probabilidades ou sobre calcular E(X) de uma tabela é daquele tópico. O que é seu começa três passos adiante: momentos de ordem superior e o que eles medem, a função geradora e a unicidade, a esperança condicional tratada como variável aleatória, as esperanças iteradas e a decomposição da variância. A diferença não é de assunto, é de nível: o básico condiciona em eventos; aqui se condiciona em variáveis, e o resultado volta como variável.

Por que se usa (e o que custa)

A geradora existe porque converte problemas difíceis em problemas fáceis, e o ganho é de três tipos. Momento por derivação, sem integrar x^k f(x) a cada ordem. Soma por produto: para variáveis independentes, a geradora da soma é o produto das geradoras, o que substitui uma convolução — integral desagradável — por uma multiplicação. E identificação por unicidade: reconhecida a geradora, a distribuição está identificada.

O custo é que ela pode não existir. M_X(t) é a esperança de uma exponencial, e para caudas pesadas essa esperança diverge para todo t ≠ 0: a Cauchy não tem geradora (nem sequer média), a log-normal não tem, a t de Student não tem. Quando não existe, todo o aparato desaparece junto — inclusive a unicidade, que é enunciada sob a hipótese de existência num intervalo aberto em torno de zero.

O conserto é a função característica φ_X(t) = E(e^{itX}), que existe sempre, porque |e^{itX}| = 1 e a esperança de algo limitado sempre converge. Ela carrega as mesmas propriedades — unicidade, produto sob independência — ao preço de operar com números complexos. É com ela, e não com a geradora, que o teorema central do limite é demonstrado no caso geral.

Já a esperança condicional não tem alternativa a ser comparada: ela é a definição do que se quer prever. O que ela custa é um deslocamento de hábito — aceitar que o resultado de uma média ainda é aleatório enquanto o condicionante não for fixado.

Como funciona

Momentos

Bruto, central, padronizado. O momento bruto de ordem k é E(X^k). O central é E[(X − μ)^k], que mede em torno da média. O padronizado divide o central pelo desvio padrão elevado a k, ficando adimensional — e é por isso que assimetria e curtose são comparáveis entre distribuições e a covariância não é.

• Ordem 1 — E(X), a média. O momento central de ordem 1 é sempre zero.
• Ordem 2 — o central é a variância: Var(X) = E(X²) − [E(X)]².
• Ordem 3 — o padronizado é a assimetria. Zero em qualquer distribuição simétrica; positivo quando a cauda longa está à direita.
• Ordem 4 — o padronizado é a curtose, que descreve o peso das caudas.

Existência não é garantida, e a ordem importa. Uma variável pode não ter momento de ordem k — a Cauchy não tem sequer o de ordem 1. A regra que vale é de cima para baixo: se o momento de ordem k existe, todos os de ordem menor existem; a recíproca é falsa. Há distribuições com média e sem variância.

Momentos não identificam a distribuição. Duas distribuições diferentes podem ter todos os momentos iguais — a log-normal é o contraexemplo clássico, e não é acidente: é exatamente a família sem geradora. A identificação é teorema sobre a geradora, não sobre a lista de momentos.

A função geradora de momentos

M_X(t) = E(e^{tX}), definida onde a esperança converge. Sempre que existe, M_X(0) = 1 — é a esperança de e^0, e serve de conferência.

Extração. M^{(k)}(0) = E(X^k). Em zero, nunca em t genérico: M'(t) é uma função de t, não um momento.

Transformação afim. M_{aX+b}(t) = e^{bt} · M_X(at). A constante aditiva entra como fator exponencial; a multiplicativa reescala o argumento.

Soma de independentes. Se X e Y são independentes, M_{X+Y}(t) = M_X(t) · M_Y(t). A independência é exigida — sem ela a esperança do produto não se fatora, e a propriedade simplesmente não vale.

O que a unicidade compra. Com o produto e a unicidade juntos, saem em uma linha os resultados de fechamento que a prova cobra:

• soma de normais independentes é normal, com médias e variâncias somadas;
• soma de Poisson independentes é Poisson, com os λ somados;
• soma de n Bernoulli(p) independentes é binomial(n, p);
• soma de qui-quadrado independentes é qui-quadrado, com os graus de liberdade somados;
• soma de exponenciais independentes de mesma taxa é gama.

A geradora de cumulantes. K(t) = ln M(t) é o mesmo objeto em outra roupa, e vale conhecer porque simplifica: K'(0) = E(X) e K''(0) = Var(X) — a variância sai de uma derivada segunda direta, sem a subtração do quadrado da média.

Esperança condicional

A definição, em dois passos. Primeiro, para x fixo, E(Y | X = x) = ∫ y · f(y|x) dy no caso contínuo, ou Σ y · P(Y = y | X = x) no discreto — um número, calculado dentro da condicional f(y|x) que o tópico anterior definiu. Segundo, chamando g(x) a esse número, define-se E(Y|X) = g(X): uma variável aleatória, porque é função de uma variável aleatória.

As propriedades operacionais, que resolvem quase todo item de manipulação:

• Linearidade. E(aY + bZ | X) = a·E(Y|X) + b·E(Z|X).
• O que já é conhecido sai. E[h(X)·Y | X] = h(X)·E(Y|X). Dado X, a função de X é constante e atravessa a esperança. Caso particular: E[h(X) | X] = h(X).
• Independência colapsa a condicional. Se X e Y são independentes, E(Y|X) = E(Y) — uma constante, sem aleatoriedade sobrando.
• Torre. E[ E(Y | X, Z) | X ] = E(Y|X). Condicionando duas vezes, o condicionamento mais grosseiro prevalece. A lei das esperanças iteradas é o caso em que o segundo condicionamento é trivial.

A lei das esperanças iteradas. E[E(Y|X)] = E(Y). No discreto ela se lê sem esforço: E(Y) = Σ_x E(Y | X = x) · P(X = x). É a versão para esperanças do teorema da probabilidade total — a média global é a média ponderada das médias por fatia, e os pesos são as probabilidades das fatias.

A forma generalizada, que é a que aparece em econometria. Para qualquer função h, E[h(X)·Y] = E[h(X)·E(Y|X)]. Consequência imediata e decisiva: se E(u|X) = 0, então E(u) = 0 e E(Xu) = 0, logo Cov(X, u) = 0. É daqui que sai a hierarquia das hipóteses de exogeneidade.

A decomposição da variância, também chamada lei da variância total:

Var(Y) = E[Var(Y|X)] + Var[E(Y|X)]

Em palavras: a variância total de Y é a média das variâncias dentro das fatias mais a variância das médias entre as fatias — variação intragrupo mais variação entregrupo. Note que o primeiro termo é uma esperança de variâncias e o segundo é uma variância de esperanças; trocá-los é a distorção natural. Duas leituras que caem:

• como ambos os termos são não negativos, Var[E(Y|X)] ≤ Var(Y): condicionar não aumenta a variância, em média;
• Var(Y|X) é ela própria uma variável aleatória, e quando ela não é constante o que se tem é heterocedasticidade — a ligação direta com o tópico de violação das hipóteses.

A escada de hipóteses, retomada do tópico anterior e agora com o degrau do meio explicado.

independência ⇒ E(Y|X) = E(Y) (independência em média) ⇒ Cov(X, Y) = 0

Nenhuma recíproca vale. O degrau do meio é o que a econometria chama de exogeneidade em média, e por isso E(u|X) = 0 é hipótese estritamente mais forte que Cov(X, u) = 0. Detalhe fino e cobrável: a independência em média não é simétrica — E(Y|X) = E(Y) não implica E(X|Y) = E(X). Já a independência e a covariância zero são ambas simétricas.

A ponte para a regressão

A função de regressão é a melhor previsão. Entre todas as funções g, E[(Y − g(X))²] é mínima em g(X) = E(Y|X). Escrevendo Y = E(Y|X) + u, o resíduo u satisfaz E(u|X) = 0 por construção — não por hipótese. A hipótese de exogeneidade, no modelo linear, não é uma exigência arbitrária: é a afirmação de que a forma escolhida para E(Y|X) está correta.

O MQO é esse problema com a busca restringida. Ele procura o mínimo de E[(Y − g(X))²] apenas dentro da família g(X) = β₀ + β₁X. Se a verdadeira E(Y|X) for linear, o MQO acerta a função de regressão; se não for, entrega a melhor aproximação linear dela. A nota de Regressão simples e múltipla por MQO começa onde esta termina, e a leitura ceteris paribus do coeficiente é, no fundo, a derivada de uma esperança condicional.

O caso normal bivariado fecha o círculo com o tópico anterior. Se (X, Y) é conjuntamente normal, então a esperança condicional é exatamente linear,

E(Y|X) = μ_Y + ρ·(σ_Y/σ_X)·(X − μ_X),

e a variância condicional é constante, Var(Y|X) = σ_Y²·(1 − ρ²), sem depender de X. Isto é: sob normalidade conjunta, o modelo linear homocedástico não é aproximação, é a verdade. E note que ρ = 0 zera o coeficiente e devolve E(Y|X) = μ_Y — a mesma exceção normal que o tópico anterior enuncia, vista pelo lado da média condicional.

O que decide os itens

Momentos:

ordem	bruto	central	padronizado
1	E(X) = média	sempre 0	—
2	E(X²)	Var(X)	1
3	E(X³)	—	assimetria
4	E(X⁴)	—	curtose

afirmação	verdadeira?
existe o momento de ordem k ⇒ existem os de ordem menor	sim
existem os de ordem menor ⇒ existe o de ordem k	não
toda variável tem média	não (Cauchy)
momentos iguais ⇒ mesma distribuição	não (log-normal)
geradora igual (existindo) ⇒ mesma distribuição	sim
Var(X) = E(X²) − [E(X)]²	sim

A geradora:

propriedade	enunciado
definição	M_X(t) = E(e^{tX})
valor em zero	M_X(0) = 1, sempre que existe
extração do momento	M^{(k)}(0) = E(X^k) — em zero
transformação afim	M_{aX+b}(t) = e^{bt}·M_X(at)
soma	M_{X+Y} = M_X · M_Y, só sob independência
unicidade	mesma geradora num intervalo em torno de 0 ⇒ mesma distribuição
existência	pode não existir (Cauchy, log-normal, t de Student)
substituta universal	função característica φ(t) = E(e^{itX}), existe sempre
cumulantes	K = ln M; K'(0) = média, K''(0) = variância

Número × variável aleatória — a distinção que decide o tópico:

objeto	o que é	tem esperança?	tem variância?
E(Y | X = x)	número, para cada x fixo	não se aplica	não se aplica
E(Y | X)	variável aleatória, função de X	sim, e vale E(Y)	sim, e entra na decomposição
Var(Y | X = x)	número	—	—
Var(Y | X)	variável aleatória	sim, é o termo intragrupo	—

Propriedades da esperança condicional:

afirmação	verdadeira?
E[E(Y | X)] = E(Y)	sim — esperanças iteradas
E[E(Y | X)] = E(X)	não
E[h(X)·Y | X] = h(X)·E(Y | X)	sim
E[h(X) | X] = h(X)	sim
E[E(Y | X, Z) | X] = E(Y | X)	sim — prevalece o condicionamento mais grosseiro
E[E(Y | X) | X, Z] = E(Y | X)	sim, pelo mesmo motivo
independentes ⇒ E(Y | X) = E(Y)	sim
E(Y | X) = E(Y) ⇒ independentes	não
E(Y | X) = E(Y) ⇒ Cov(X, Y) = 0	sim
Cov(X, Y) = 0 ⇒ E(Y | X) = E(Y)	não
E(Y | X) = E(Y) ⇒ E(X | Y) = E(X)	não — não é simétrica
Var(Y) = E[Var(Y | X)] + Var[E(Y | X)]	sim
Var(Y) = Var[Var(Y | X)] + E[E(Y | X)]	não — termos trocados
Var[E(Y | X)] ≤ Var(Y)	sim
E(Y | X) minimiza E[(Y − g(X))²] entre todas as g	sim

A direção e o endereço. Antes de julgar qualquer item daqui, responda a duas perguntas. Para que lado vai a implicação — independência ⇒ média condicional constante ⇒ covariância zero, e nunca o contrário. A que objeto a afirmação se refere — a E(Y|X = x) ou a E(Y|X); à geradora ou ao momento; à esperança de uma variância ou à variância de uma esperança; ao condicionamento fino ou ao grosseiro. Quase todo item errado deste assunto inverte uma seta ou troca um endereço.

Números que caem

quantidade	valor
momento central de ordem 1	0, em qualquer distribuição
M_X(0)	1, sempre que a geradora existe
ordem da derivada que dá E(X^k)	k, avaliada em t = 0
curtose da normal	3
excesso de curtose da normal	0 (excesso = curtose − 3)
assimetria de qualquer distribuição simétrica	0
geradora da normal	e^{μt + σ²t²/2}
geradora da Poisson(λ)	e^{λ(e^t − 1)}
geradora da Bernoulli(p)	1 − p + p·e^t
geradora da binomial(n, p)	(1 − p + p·e^t)^n
geradora da exponencial(λ)	λ/(λ − t), para t < λ
distribuições sem geradora	Cauchy, log-normal, t de Student
E(Y|X) sob normal bivariada	μ_Y + ρ(σ_Y/σ_X)(X − μ_X)
Var(Y|X) sob normal bivariada	σ_Y²(1 − ρ²), constante
graus de liberdade na soma de qui-quadrados independentes	somam-se

Como a CEBRASPE derruba você aqui

Esta seção é julgamento sobre como a banca costuma cobrar o assunto — não medição. Não há itens deste tópico no acervo para medir.

Tratar E(Y|X) como número é a manobra mais produtiva do assunto, e por isso a mais provável. O formato limpo é escrever a lei das esperanças iteradas e declará-la trivial, ou afirmar que E(Y|X) é uma constante, ou negar que ela tenha variância própria. Um item que diga “por ser uma esperança, E(Y|X) é um número determinístico” está errado exatamente por onde o tópico se define: é número só depois que X é fixado em um valor. Enquanto X for variável, a média condicional também é.

A lei enunciada com o alvo errado. E[E(Y|X)] = E(Y), e não E(X), nem E(Y|X), nem E(XY). O item que troca o resultado final por E(X) tem a aparência de simetria e é falso: a esperança externa integra em X, mas o que está sendo mediado é Y. Leia sempre de dentro para fora.

A torre invertida. E[E(Y | X, Z) | X] = E(Y|X) — prevalece o condicionamento mais grosseiro, o que aparece por último. Um item que afirme o contrário, entregando E(Y | X, Z), está trocando a direção da propriedade, que é a distorção típica desta trilha.

A decomposição da variância com os termos permutados. E[Var(Y|X)] e Var[E(Y|X)] são feitos das mesmas letras em ordem diferente, e a troca produz uma frase que soa idêntica. A defesa é semântica, não decorativa: o termo intragrupo é uma média de variâncias e o entregrupo é uma variância de médias. Se a frase disser “variância das variâncias”, está errada.

A geradora avaliada no lugar errado, ou confundida com o momento. A regra é derivar e depois fazer t = 0. Duas formas do erro: afirmar que M^{(k)}(t) é o momento de ordem k sem a avaliação em zero, e afirmar que a própria geradora é o momento, ou que M(0) é a média — M(0) vale 1.

A soma de geradoras sem independência. M_{X+Y} = M_X·M_Y é propriedade condicionada à independência. O item pode omitir a hipótese e enunciar a fatoração como se fosse geral, ou — o parente disfarçado — somar as geradoras em vez de multiplicá-las.

A unicidade enunciada sem a existência. “Duas distribuições com os mesmos momentos são necessariamente iguais” é falso, e o contraexemplo é a log-normal. O teorema é sobre a geradora, e sob a hipótese de que ela exista num intervalo aberto em torno de zero. Guarde a hipótese junto com a regra.

A geradora afirmada como universal. “Toda variável aleatória possui função geradora de momentos” é falso. Quem existe sempre é a função característica. Na mesma família, “toda variável aleatória possui média” também é falso.

Curtose 3 contra excesso 0. A curtose da normal é 3; o excesso é 0. Um item que diga que a normal tem curtose zero trocou a escala, e é o formato de numero_errado mais natural do tópico.

A independência em média usada como se fosse independência. E(Y|X) = E(Y) não implica que X e Y sejam independentes — a variância condicional pode depender de X. E não é simétrica, o que é o detalhe mais fino do assunto.

Sobre a modalidade, um aviso. Na trilha de Economia e Finanças o velho critério de “palavra absoluta sinaliza Errado” não funciona, e aqui menos ainda: este é um tópico feito de teoremas, e teorema é absoluto por natureza. “A esperança de E(Y|X) é sempre igual a E(Y)” é Certo, e o “sempre” é do teorema. A pergunta útil não é se há um absoluto na frase, e sim de quem é o absoluto — do teorema ou de quem escreveu o item. O que decide, aqui como no resto da trilha, é direção e endereço.

Erros clássicos

Achar que E(Y|X) é um número. É variável aleatória. Só E(Y | X = x), com x fixado, é número. Este é o erro do qual todos os outros derivam.

Ler a lei das esperanças iteradas como tautologia. Ela seria vazia se a esperança interna já fosse constante. Há duas médias diferentes ali: dentro de cada fatia e entre as fatias, ponderadas pela probabilidade de cada fatia.

Inverter a torre. Quando se condiciona duas vezes, sobrevive o condicionamento menos informativo. E[E(Y | X, Z) | X] = E(Y|X).

Tirar da esperança condicional algo que não é função de X. Sai h(X); não sai Y, nem h(Y), nem h(X, Y). A regra é “o que já é conhecido sai”.

Trocar os termos da decomposição da variância. É esperança da variância mais variância da esperança. Intragrupo mais entregrupo.

Derivar a geradora e esquecer de avaliar em zero. A derivada em t genérico é uma função; o momento é o valor dela em t = 0.

Somar geradoras. Sob independência, a geradora da soma é o produto das geradoras. Sem independência, não há fórmula.

Supor que a geradora sempre existe. Cauchy, log-normal e t de Student não têm. Quem existe sempre é a função característica.

Concluir que momentos iguais implicam distribuições iguais. A unicidade é da geradora, e exige que ela exista numa vizinhança de zero.

Dizer que a normal tem curtose zero. Tem curtose 3; o excesso é que é zero.

Confundir independência com independência em média. E(Y|X) = E(Y) é estritamente mais fraco que independência e estritamente mais forte que covariância zero — e é o único dos três que não é simétrico.

Esquecer que Var(Y|X) também é variável aleatória. Quando ela depende de X, o modelo é heterocedástico; supor que é constante é hipótese, não definição.

Tratar E(u|X) = 0 como hipótese técnica sem conteúdo. Ela diz que a forma adotada para E(Y|X) está certa, e dela seguem E(u) = 0 e Cov(X, u) = 0 por esperanças iteradas — nunca o contrário.