Estimação pontual: máxima verossimilhança × método dos momentos; invariância da EMV

A ideia que organiza o assunto

Há duas maneiras honestas de inventar um estimador, e o tópico é a comparação entre elas.

A primeira pergunta: que valor do parâmetro torna mais provável exatamente o que eu observei? Escreve-se a probabilidade da amostra inteira como função do parâmetro — a verossimilhança — e escolhe-se o valor que a maximiza. Não é a probabilidade do parâmetro; é a probabilidade dos dados, lida ao contrário, com os dados fixos e o parâmetro variando. Esse giro é a ideia inteira da máxima verossimilhança, e quem o entende deriva o resto.

A segunda pergunta: que valor do parâmetro faria a população se parecer com a amostra? Iguala-se a média amostral à média populacional, a variância amostral à variância populacional, tantas equações quantos forem os parâmetros, e resolve-se o sistema. É o método dos momentos, e ele não precisa saber qual é a distribuição — só precisa saber como os momentos dependem do parâmetro.

Daí sai o quadro que decide os itens: a MV usa o modelo inteiro e por isso extrai dele tudo o que há, chegando à eficiência assintótica; o método dos momentos usa apenas alguns momentos, é quase sempre mais fácil e quase sempre paga em eficiência. E há um preço na MV que o candidato costuma ignorar: ela não promete não viés em amostra finita. Otimalidade assintótica e não viés são coisas distintas, e a MV entrega a primeira, não a segunda.

Sobre o que está no título e é a proposição mais cobrada do tópico: a MV é invariante. Se θ̂ é o estimador de máxima verossimilhança de θ, então g(θ̂) é o estimador de máxima verossimilhança de g(θ), para qualquer função g. Não se refaz maximização alguma: estima-se o parâmetro e aplica-se a função. A não-tendenciosidade não tem essa propriedade — e o contraste entre as duas é onde a banca constrói os itens.

Fronteira com o básico: o que é uma distribuição de Poisson, o que é uma binomial e como se calcula a média de uma amostra pertencem a Lógica e Estatística. Aqui a pergunta não é qual é a distribuição — é qual é o estimador do parâmetro dela, e que propriedades esse estimador tem.

Por que se usa (e o que custa)

A máxima verossimilhança é o método padrão de tudo o que não sai por mínimos quadrados: logit, probit, Tobit, modelos de contagem, modelos de duração, GARCH. A razão é estrutural — quando a variável dependente não é contínua e irrestrita, não há soma de quadrados que faça sentido, mas sempre há uma probabilidade a maximizar. Paga-se em três moedas. Exige-se especificar a distribuição inteira, e o estimador em geral perde as suas boas propriedades se essa especificação estiver errada. Não há solução fechada na maioria dos casos, e a estimação é numérica, com todos os riscos de máximo local e não convergência. E as garantias são assintóticas: em amostra pequena, viés.

O método dos momentos compra exatamente o que a MV cobra. Não exige a distribuição, resolve-se à mão, e ainda assim é consistente — porque a lei dos grandes números garante que o momento amostral converge para o populacional (ordem 3). O preço é eficiência: descartar a forma da distribuição é descartar informação, e o estimador resultante tem, em geral, variância assintótica maior. Um preço menos lembrado é que ele pode devolver estimativa fora do espaço paramétrico — uma variância negativa, uma probabilidade acima de um —, coisa que a maximização de uma verossimilhança bem posta não faz.

O momento em que vale a pena pagar caro pela robustez tem nome próprio: o método generalizado dos momentos, que é a generalização usada em finanças e em macroeconometria justamente quando ninguém quer se comprometer com a distribuição completa.

Como funciona

A verossimilhança. Para uma amostra aleatória simples, L(θ) = Π f(xi; θ). Como maximizar produto é ruim, maximiza-se o logaritmo, que tem o mesmo argumento máximo por ser transformação estritamente crescente. Deriva-se o log da verossimilhança em θ — a função escore —, iguala-se a zero e confere-se a segunda derivada.

A informação de Fisher e a variância. A informação de Fisher é o valor esperado do quadrado do escore, ou, equivalentemente, menos a esperança da segunda derivada do log da verossimilhança. O seu inverso é o limite de Cramér-Rao, e a variância assintótica do estimador de máxima verossimilhança é exatamente esse inverso: o estimador de MV atinge o limite assintoticamente, que é o conteúdo da eficiência assintótica. Para a média amostral de uma Poisson isso dá λ/n — o parâmetro dividido pelo tamanho da amostra.

As propriedades da MV, com o adjetivo certo em cada uma. Consistente. Assintoticamente não viesada. Assintoticamente normal. Assintoticamente eficiente. Invariante, esta sem qualquer ressalva assintótica. E não necessariamente não viesada em amostra finita — o exemplo obrigatório é a variância de uma normal, cujo estimador de MV usa divisor n e tem esperança ((n − 1)/n)σ², sendo por isso viesado para baixo. Ele é, ainda assim, consistente: o viés desaparece quando n cresce (ordem 4).

Invariância, enunciada com precisão. Se θ̂ é EMV de θ, então g(θ̂) é EMV de g(θ), para qualquer função g — e não apenas para funções injetoras, porque a extensão da verossimilhança a funções quaisquer resolve esse caso. Duas consequências de prova: numa Poisson, a variância populacional é o parâmetro, de modo que a estimativa de MV da variância é a própria média amostral, e não a variância amostral calculada dos dados; e a estimativa de MV de P(X = 0) = e^(−λ) é e^(−λ̂), que não é a frequência relativa de zeros observada na amostra.

O contraste que a banca explora. O não viés não é invariante. s², com divisor n − 1, é não viesado para σ²; s não é não viesado para σ. Então: a MV sobrevive a qualquer transformação e não promete não viés; o não viés promete centro correto e não sobrevive a transformação não linear. São propriedades trocadas de natureza, e o item costuma trocá-las de nome.

O método dos momentos, passo a passo. Iguale E(X) ao primeiro momento amostral; se houver mais de um parâmetro, iguale também E(X²) ao segundo momento amostral, e assim por diante até ter tantas equações quantos parâmetros; resolva. O estimador resultante é consistente pela lei dos grandes números somada ao teorema da aplicação contínua, e em geral assintoticamente normal.

Quando os dois métodos coincidem e quando divergem. Coincidem em boa parte das distribuições de um parâmetro em que a média é o parâmetro ou uma função simples dele: Bernoulli, Poisson, exponencial, e a média de uma normal. Divergem de modo instrutivo na uniforme em (0, θ): o método dos momentos devolve 2X̄, porque a média da uniforme é θ/2; a máxima verossimilhança devolve o máximo da amostra, que é viesado para baixo — nenhuma observação pode ultrapassar θ — com esperança nθ/(n + 1), e ainda assim é consistente e tem EQM menor. É o exemplo que mostra, de uma vez, que a MV pode ser viesada, que o método dos momentos pode ser não viesado, e que não viés não é o critério que separa os dois.

O que decide os itens

	Máxima verossimilhança	Método dos momentos
o que maximiza ou iguala	a probabilidade da amostra observada	momentos amostrais aos populacionais
exige a distribuição completa	sim	não — só os momentos
consistente	sim	sim
assintoticamente eficiente	sim	em geral não
não viesado em amostra finita	não necessariamente	não necessariamente
invariante a transformações	sim	não é propriedade do método
solução fechada	frequentemente não; estimação numérica	quase sempre sim
pode sair do espaço paramétrico	não, em modelo bem posto	pode

Proposição	Verdade
a MV é não viesada	não — é assintoticamente não viesada
a MV é eficiente	assintoticamente; em amostra finita, não necessariamente
a verossimilhança é a probabilidade do parâmetro	não — é a probabilidade dos dados, como função do parâmetro
maximizar L e maximizar ln L dão o mesmo θ̂	sim — o log é estritamente crescente
g(θ̂) é EMV de g(θ)	sim, para qualquer g
g(θ̂) é não viesado se θ̂ é não viesado	não — só para g afim
o método dos momentos é inconsistente	não — é consistente, e apenas menos eficiente
a variância do EMV atinge o limite de Cramér-Rao	assintoticamente, sim
em variável dependente binária estima-se por MQO	não — logit ou probit, por máxima verossimilhança

Números que caem

O erro medido neste tópico foi de número, e os dígitos em disputa saem todos de fórmulas curtas. Vale ter estas de cor.

Modelo	Estimador de máxima verossimilhança
Bernoulli(p)	p̂ = X̄
Binomial(m, p), m conhecido	p̂ = X̄/m
Poisson(λ)	λ̂ = X̄; Var(λ̂) = λ/n; variância populacional = λ
Exponencial(λ)	λ̂ = 1/X̄
Normal(μ, σ²)	μ̂ = X̄; σ̂² = Σ(Xi − X̄)²/n — divisor n
Uniforme(0, θ)	θ̂ = máximo da amostra; E(θ̂) = nθ/(n + 1)

Divisor	Quem usa	Propriedade
n	estimador de MV da variância	viesado para baixo, consistente
n − 1	variância amostral s²	não viesado para σ²

Como a CEBRASPE derruba você aqui

Esta seção ainda não foi medida: os itens deste tópico estão sendo explicados. Quando estiverem, as frequências reais aparecem aqui e o texto abaixo é reescrito contra elas.

Chegaram a este tópico três itens, dois deles do próprio BACEN e um do INFRASA, com dois Certos e um Errado. Três itens não sustentam frequência, e o número é piso: a banca nomeia o assunto no comando do grupo, itens curtos carregam poucas palavras próprias e escapam do classificador, e — o que pesa mais aqui — o acervo guarda outros dois itens deste mesmo tópico que ficaram ilegíveis, porque a notação estatística daqueles cadernos veio em fonte simbólica e não sobreviveu à extração. O que se mede abaixo é o que chegou, e é menos do que a banca cobrou.

O grupo do BACEN é o modelo do assunto, e o que ele testa é invariância. Dá uma amostra minúscula de uma Poisson — 3, 0, 0, 1, 4 — e pergunta duas coisas diferentes sobre a mesma conta. O Errado afirma que a estimativa de MV da variância populacional é igual ou superior a 2; por invariância ela é a própria média amostral, 1,6, e não a variância amostral dos cinco números, que passaria de 2. O Certo afirma que a variância do estimador é 0,32, que é 1,6 dividido por 5. Os dois itens se distinguem por uma palavra: variância da população, ou variância do estimador. Antes de conferir dígito nenhum, leia de qual das duas o item fala.

A armadilha do grupo é oferecer o caminho errado como se fosse o natural. Quem ignora a invariância calcula a variância amostral dos dados, obtém um número maior que 2 e marca Certo — que é exatamente o que o item quer. A regra de defesa é curta: estimativa de MV de uma função do parâmetro sai aplicando a função à estimativa do parâmetro, sem refazer conta alguma a partir dos dados brutos.

O Errado medido é de número, não de conceito. Isso importa para a alocação de tempo: neste tópico, ao contrário da maior parte da disciplina, há conta para fazer e há dígito para conferir. Um item de estimação pontual com números no enunciado costuma se decidir na aritmética, não na retórica.

O Certo do INFRASA tem o outro formato do tópico: justificar o método pela natureza da variável. Variável dependente binária, logo modelo de escolha discreta, logo máxima verossimilhança. Item que apenas conecta corretamente a natureza da dependente ao método costuma ser Certo, e não vale procurar pegadinha onde o item só descreve o encadeamento. A distorção, nesse molde, aparece um passo adiante — na distribuição atribuída ao modelo, e aí o par a guardar é probit com a normal padrão acumulada, logit com a logística, e razão de chances só no logit.

Julgamento, sobre o que os três itens não chegaram a cobrir. A forma mais provável de Errado ainda não vista é prometer não viés à máxima verossimilhança sem o advérbio: “o estimador de máxima verossimilhança é não viesado e eficiente”. Falta assintoticamente nos dois adjetivos, e a frase inteira desaba com o exemplo da variância de divisor n. Espere também o inverso barato — declarar o método dos momentos inconsistente, quando ele é apenas menos eficiente — e a transferência da invariância para o lado errado, atribuindo-a à não-tendenciosidade.

Não procure absolutos. O tópico é feito de teoremas, e o teorema é absoluto por natureza: “g(θ̂) é EMV de g(θ) para qualquer g” é verdadeiro justamente na forma mais categórica possível. O que separa Certo de Errado aqui é endereço e direção — de qual variância se fala, de qual método é a propriedade, e se o adjetivo vale em amostra finita ou só no limite.

Erros clássicos

Tratar a verossimilhança como probabilidade do parâmetro. Ela é a probabilidade dos dados, com os dados fixos e o parâmetro variando. A leitura invertida é a bayesiana, e depende de uma priori que não está no problema.

Calcular a variância amostral quando o modelo já diz qual é a variância. Na Poisson, a variância populacional é o parâmetro. Estimá-lo é estimá-la — por invariância — e refazer a conta a partir dos dados brutos dá outro número, que é justamente o que a banca oferece.

Confundir a variância da população com a variância do estimador. Diferem pelo divisor n, e é só isso que separa 1,6 de 0,32 no grupo do BACEN.

Esquecer o advérbio. Da máxima verossimilhança só o não viés assintótico, a eficiência assintótica e a normalidade assintótica são verdadeiros. Sem o advérbio, cada uma das três frases vira um Errado.

Achar que invariância vale para o não viés. Não vale. s² é não viesado para σ² e s não é não viesado para σ. A invariância é da máxima verossimilhança e de mais ninguém.

Supor que o divisor n − 1 aparece por máxima verossimilhança. Aparece por correção de viés. A verossimilhança entrega divisor n.

Descartar o método dos momentos como método pior. Ele é consistente, é mais simples, não exige a distribuição e é a base do GMM. A diferença está na eficiência assintótica, não na validade.

Estimar variável dependente binária por MQO por hábito. O modelo de probabilidade linear prevê fora do intervalo entre zero e um e produz heterocedasticidade por construção; o instrumento do assunto é logit ou probit, por máxima verossimilhança.