Técnicas de identificação: variável instrumental, diferenças em diferenças, controle sintético

A ideia que organiza o assunto

Avaliar o efeito de uma política é comparar o que aconteceu com o que teria acontecido se ela não tivesse existido. O segundo termo dessa comparação nunca é observado: a região que recebeu a política não pode, ao mesmo tempo, não tê-la recebido. Esse é o problema fundamental da inferência causal, e ele não é um problema de amostra pequena nem de método de estimação — é de dados que não existem.

Daí a palavra que dá nome ao tópico. Identificação é o argumento de que determinada variação observada nos dados corresponde ao contrafactual ausente. Não é estatística: é um argumento sobre de onde veio a variação. O estimador que se usa depois é quase sempre o mesmo mínimos quadrados de sempre; o que muda, e o que se avalia, é a credibilidade do argumento.

As três técnicas do título são três argumentos diferentes sobre a mesma pergunta:

Variável instrumental — existe uma terceira variável que move o tratamento e que não afeta o resultado por nenhum outro caminho. A variação que ela induz no tratamento é, portanto, tão boa quanto aleatória.
Diferenças em diferenças — o grupo que não foi tratado revela como o tratado teria evoluído, porque os dois caminhavam em paralelo antes.
Controle sintético — nenhuma unidade isolada serve de comparação, então se fabrica uma: uma média ponderada de várias unidades não tratadas, calibrada para reproduzir a trajetória da tratada antes da política.

E há um padrão que atravessa as três e resolve a maior parte dos itens: cada uma descansa sobre uma hipótese que não se testa. A restrição de exclusão, o paralelismo das tendências e a qualidade do ajuste pré-tratamento como garantia do período pós são suposições sobre o mundo não observado. Dá para reunir evidência a favor de cada uma — o primeiro estágio, o período anterior, os testes de placebo —, e isso não é o mesmo que testá-las. Um item que apresente qualquer uma das três como verificável nos dados está errado, e um item que a chame de hipótese não testável está, em geral, certo.

Uma divisão de trabalho, para não estudar o mesmo assunto duas vezes: a endogeneidade como problema — de onde ela vem, viés de variável omitida, simultaneidade, erro de medida, e por que ela quebra o MQO — é o assunto da ordem 9, junto com Gauss-Markov. Aqui ela já é dada como diagnosticada, e o que se estuda é a cura. As hipóteses do MQO e as suas violações estão nas ordens 9 e 10; a estimação em painel, que é o terreno natural da diferença em diferenças, está na ordem 14.

Por que se usa (e o que custa)

O que se compra com as três técnicas é credibilidade causal. Uma regressão de salário contra anos de escolaridade estima uma associação e nada mais, porque quem estuda mais difere de quem estuda menos em mil coisas não observadas; um instrumento crível, um grupo de controle com trajetória paralela ou uma unidade sintética bem ajustada transformam a mesma regressão em estimativa de efeito. Para um banco central, é a diferença entre dizer que o crédito direcionado e o investimento andam juntos e dizer quanto o programa de crédito produziu de investimento.

Paga-se, primeiro, em precisão. A variável instrumental usa apenas a parte do tratamento que o instrumento explica, e joga fora o resto: o erro-padrão do 2SLS é maior que o do MQO, sempre, e quando o instrumento é fraco ele explode.

Paga-se, segundo, em generalidade do que se estimou. A variável instrumental não entrega o efeito médio na população: entrega o efeito médio sobre quem mudou de comportamento por causa do instrumento — o efeito local, LATE, sob hipótese de monotonicidade. A diferença em diferenças entrega o efeito sobre os tratados, não sobre qualquer unidade. O controle sintético entrega o efeito sobre uma unidade concreta. Responder à pergunta certa para um subgrupo é diferente de responder à pergunta geral, e trocar uma pela outra é uma forma de erro.

Paga-se, terceiro, em hipóteses que ninguém pode conferir. É o custo maior, e é honesto: troca-se a hipótese de exogeneidade dos regressores — que se sabe falsa — por uma hipótese mais estreita e mais defensável. Mais defensável não é o mesmo que demonstrada.

Como funciona

Variável instrumental

Um instrumento Z serve para estimar o efeito de X sobre Y quando cumpre duas condições, e elas têm estatutos completamente diferentes:

Relevância — Z é correlacionado com X, condicionalmente aos demais regressores. É testável, e se testa no primeiro estágio: a estatística F da exclusão dos instrumentos, com a regra de bolso de que abaixo de 10 o instrumento é fraco.
Restrição de exclusão — Z não é correlacionado com o termo de erro; afeta Y exclusivamente por meio de X. É não testável, e é preciso dizer isso com todas as letras, porque é sobre ela que o item costuma mentir. Ela se defende com argumento econômico e institucional, não com estatística.

A estimação se faz em dois estágios: regride-se X sobre Z e os demais regressores, guarda-se o valor previsto, e regride-se Y sobre esse valor previsto. O que o segundo estágio usa é apenas a parte de X gerada pelo instrumento — limpa, por construção, da correlação com o erro. Na prática o 2SLS é rodado por comando próprio, e não em duas regressões manuais, porque os erros-padrão do segundo estágio feito à mão são inválidos.

Três propriedades que decidem itens. O estimador de variável instrumental é consistente, mas viesado em amostra finita — é um estimador de razão, e a esperança de uma razão não é a razão das esperanças. Ele é menos eficiente que o MQO quando o MQO é válido, de modo que não se usa instrumento por precaução. E instrumento fraco é pior que nenhum: com relevância baixa, o viés de amostra finita se aproxima do viés do próprio MQO e a inferência assintótica deixa de valer.

Sobre testar a validade: com mais instrumentos do que regressores endógenos — o caso sobreidentificado — existem os testes de Sargan e de Hansen. Eles testam as restrições sobreidentificadoras, isto é, se os instrumentos são mutuamente consistentes, supondo que ao menos um seja válido. Não testam a restrição de exclusão em si, e no caso exatamente identificado não há teste nenhum. Item que apresente Sargan como prova da validade dos instrumentos está errado.

Diferenças em diferenças

Dois grupos e dois períodos. Calcula-se a variação do resultado no grupo tratado entre antes e depois, calcula-se a mesma variação no grupo de controle, e o efeito é a diferença entre as duas diferenças. A primeira diferença remove tudo o que é fixo em cada grupo, observado ou não; a segunda remove o que aconteceu no tempo para todo mundo. O que sobra é o que aconteceu no tratado, no período, e em mais lugar nenhum.

Na forma de regressão, que é como cai em prova:

Y = β₀ + β₁·Tratado + β₂·Pós + δ·(Tratado × Pós) + erro

O coeficiente do termo de interação, δ, é o estimador de diferenças em diferenças. Tudo aqui é MQO com variáveis binárias — e essa é a observação da qual decorre a consequência mais cobrada do tópico: diferenças em diferenças não é um estimador novo, é uma especificação. Sendo estimada por MQO, herda todos os pressupostos do MQO, e a hipótese de tendências paralelas é acrescentada a eles para identificar o contrafactual, sem substituir nenhum.

A hipótese de tendências paralelas diz que, na ausência do tratamento, os dois grupos teriam seguido trajetórias com a mesma inclinação. Não exige níveis iguais — é exatamente isso que a primeira diferença dispensa —, exige evolução igual. E é não testável, porque fala de um período em que o tratamento já existiu. O que se faz é examinar o período anterior: se as trajetórias já divergiam antes, a hipótese perde credibilidade. Evidência pré-tratamento favorável é argumento, não prova.

O que ameaça a identificação: um choque simultâneo que atinja apenas um dos grupos; a seleção pela trajetória, quando entra no programa justamente quem vinha piorando — a queda que precede o tratamento, conhecida como Ashenfelter dip; a composição variável dos grupos entre os períodos; e o efeito de transbordamento sobre o grupo de controle, que contamina o contrafactual. Sobre inferência, o cuidado padrão é agrupar os erros-padrão no nível em que o tratamento varia, sob pena de erros-padrão muito pequenos e significâncias falsas.

Quando os grupos são tratados em datas diferentes, a regressão de efeitos fixos em duas vias deixa de ser um estimador limpo do efeito médio: ela compara, entre outras coisas, tratados novos com tratados antigos, e pode produzir pesos negativos. É literatura recente, e o que se precisa saber em prova é que o caso escalonado não é apenas “a mesma conta com mais grupos”.

Controle sintético

Serve ao caso que nem a diferença em diferenças resolve: uma única unidade tratada — um estado, um país, uma região — e nenhuma unidade de comparação que sirva sozinha.

Constrói-se a comparação. Do conjunto de unidades não tratadas — o conjunto doador — escolhe-se um vetor de pesos não negativos que somam um, de modo que a média ponderada resultante reproduza, no período anterior ao tratamento, a trajetória do resultado e os preditores da unidade tratada. Essa média ponderada é a unidade sintética, e o efeito estimado é a diferença entre a trajetória observada da tratada e a da sintética depois da intervenção.

Três pontos que decidem itens.

O paralelismo é exigido da unidade sintética, não de cada doadora. É a diferença essencial em relação à diferença em diferenças, e é a razão de ser do método: ele existe precisamente porque nenhuma região isolada serve de comparação. Restringir o conjunto doador às regiões já paralelas importaria para o controle sintético o requisito da técnica vizinha e esvaziaria o método. Doadora inadequada recebe peso zero — é assim que a combinação a descarta, não pela exclusão prévia do conjunto.

Os pesos são não negativos e somam um, e essa restrição é deliberada. Ela impede extrapolação: a unidade sintética fica dentro do envoltório convexo das doadoras, e não se inventa um contrafactual fora da faixa de valores observada. Se a tratada é extrema em alguma característica — o estado mais rico, o país maior —, nenhuma combinação convexa a reproduz, e o mau ajuste no período anterior é o sinal de que o método não se aplica.

A inferência é por permutação, não por erro-padrão. Com uma unidade tratada não há amostra sobre a qual construir distribuição assintótica. O que se faz é aplicar o mesmo procedimento a cada unidade não tratada — testes de placebo — e verificar se o efeito estimado para a verdadeira tratada é grande em relação à distribuição dos efeitos placebo. Outros exames usuais: recuar a data fictícia do tratamento, e retirar uma a uma as doadoras de peso alto.

A vizinha que o título não nomeia

A regressão descontínua completa o repertório e aparece nos mesmos grupos de questões. O argumento é outro: quem fica logo acima e logo abaixo de um limiar administrativo — de renda, de nota, de população — é essencialmente igual, e só o limiar os separa. A hipótese é a continuidade das demais variáveis no ponto de corte, e a estimativa é local àquele ponto.

O que decide os itens

Técnica	De onde vem o contrafactual	Hipótese central	É testável?
variável instrumental	variação do tratamento induzida pelo instrumento	relevância e restrição de exclusão	relevância sim (F do 1.º estágio); exclusão não
diferenças em diferenças	a evolução do grupo não tratado	tendências paralelas	não — só se examina o período anterior
controle sintético	média ponderada de várias unidades doadoras	ajuste pré-tratamento da unidade sintética	o ajuste anterior se mede; a validade no período posterior, não
regressão descontínua	quem está do outro lado do limiar	continuidade no ponto de corte	parcialmente — densidade e covariáveis no corte

Proposição	Verdade
a restrição de exclusão pode ser testada	não — é argumento, não estatística
o teste de Sargan valida os instrumentos	não — testa as restrições sobreidentificadoras
relevância basta para um bom instrumento	não — sem exclusão, o instrumento é só outro regressor endógeno
o estimador de VI é não viesado	não — é consistente, e viesado em amostra finita
VI é mais eficiente que MQO	não — é menos, quando o MQO é válido
instrumento fraco é inofensivo	não — aproxima o viés do de MQO e invalida a inferência
DD é um estimador distinto do MQO	não — é MQO com binárias e interação
DD herda os pressupostos do MQO	sim — e acrescenta tendências paralelas
tendências paralelas exige níveis iguais	não — exige mesma evolução
o efeito de DD é o coeficiente da binária de tratamento	não — é o da interação
o controle sintético exige doadoras paralelas	não — o paralelismo é da unidade sintética
os pesos do controle sintético podem ser negativos	não — são não negativos e somam um
o controle sintético usa erro-padrão convencional	não — inferência por placebo e permutação
identificação por desenho dispensa hipóteses do MQO	não — desenho trata endogeneidade, não heterocedasticidade nem forma funcional

Termo que a banca troca de endereço	A quem pertence
tendências paralelas	diferenças em diferenças
relevância e restrição de exclusão	variável instrumental
conjunto doador, pesos, teste de placebo	controle sintético
continuidade no limiar	regressão descontínua
monotonicidade e LATE	variável instrumental

Como a CEBRASPE derruba você aqui

Esta seção ainda não foi medida: os itens deste tópico estão sendo explicados. Quando estiverem, as frequências reais aparecem aqui e o texto abaixo é reescrito contra elas.

Chegaram a este tópico dois itens, ambos da mesma prova da ANM, um Certo e um Errado. Dois itens não sustentam frequência alguma: o número é piso, porque a banca nomeia a técnica no comando do grupo e os itens curtos escapam do classificador, e porque, nesta disciplina, boa parte do acervo ficou de fora por notação que não sobreviveu à extração dos cadernos. O que segue mede esses dois e, a partir daí, é julgamento — assinalado como tal.

O que os dois itens medidos têm em comum é o endereço da hipótese, e é a lição central do tópico. Um diz que todos os pressupostos do MQO se aplicam à diferença em diferenças, e é Certo — porque a técnica é MQO com interação, e o paralelismo se soma aos pressupostos em vez de substituí-los. O outro diz que o controle sintético deve ser formado apenas por regiões que apresentem tendência paralela, e é Errado — porque o paralelismo, ali, é cobrado da combinação ponderada, não de cada parcela que entra nela. Em um item a hipótese está colada ao objeto certo; no outro, ao objeto errado. Antes de julgar, pergunte a que objeto a exigência se prende.

O Errado medido é de escopo, e o “apenas” é o sinal. Note, porém, por que ele é sinal aqui: não porque advérbios absolutos indiquem Errado — nesta disciplina não indicam —, e sim porque o apenas estreita o conjunto doador, que é precisamente o que o método se recusa a fazer. A palavra importa pelo que ela faz ao objeto, não pela sua força retórica.

E o Certo medido é o contraexemplo perfeito para quem confia em gramática. A frase começa com Todos os pressupostos — o absoluto mais forte que um item pode carregar — e é Certo, porque o absoluto pertence à construção da técnica, não ao elaborador. É a mesma pergunta que funciona em toda a disciplina: de quem é o absoluto?

Julgamento, a partir daqui. A manobra de maior rendimento que ainda não apareceu no acervo é apresentar como testável uma hipótese que não é. “A validade do instrumento pode ser verificada por meio de teste estatístico”; “a hipótese de tendências paralelas é testada no período posterior à intervenção”. As duas são falsas, e a defesa é a mesma: só o primeiro estágio e o período anterior produzem evidência, e evidência anterior não é teste da hipótese posterior.

A segunda manobra é declarar que o desenho de identificação dispensa alguma coisa. “Por ser uma técnica de identificação, a diferença em diferenças não requer as hipóteses do MQO”; “o controle sintético dispensa a especificação de um contrafactual”. Em econometria, item que libera uma exigência é quase sempre falso — a exigência raramente é dispensada, ela é atendida por outro caminho. E o Certo medido neste tópico é exatamente a forma correta dessa proposição, o que torna a inversão um Errado barato de produzir.

A terceira é trocar as hipóteses de endereço entre as três técnicas. Exigir restrição de exclusão da diferença em diferenças, tendências paralelas do instrumento, primeiro estágio do controle sintético. A tabela de endereços acima existe para isso.

A quarta é errar na leitura do coeficiente. Em diferenças em diferenças, o efeito é o coeficiente da interação; a binária de grupo mede a diferença de nível anterior e a binária de período mede a tendência comum. Atribuir o efeito à binária de tratamento é o erro canônico do tópico e não exige nenhuma teoria para ser evitado.

Não procure absolutos. Nos dois itens medidos há um todos em um Certo e um apenas em um Errado — a gramática não separa nada. O que separa é direção e endereço: a qual objeto a hipótese se prende, e em que sentido.

Erros clássicos

Achar que um instrumento correlacionado com o tratamento já é um bom instrumento. Relevância é metade, e é a metade fácil. Sem a restrição de exclusão, o instrumento é apenas mais uma variável endógena — e agora com menos precisão que o MQO.

Dizer que a restrição de exclusão foi testada. Ela não é testável. O que se testa, no caso sobreidentificado, é a compatibilidade entre instrumentos, supondo ao menos um válido.

Usar variável instrumental por precaução. Se não há endogeneidade, VI é consistente e desnecessariamente imprecisa. O diagnóstico vem antes, e é da ordem 9.

Ler tendências paralelas como níveis iguais. A diferença de nível entre grupos é justamente o que a primeira diferença elimina. O que precisa coincidir é a inclinação.

Confundir evidência do período anterior com teste da hipótese. Trajetórias paralelas antes da política tornam a hipótese crível; não a demonstram, porque ela fala do período em que o tratamento já existiu.

Atribuir o efeito à binária errada. Só o coeficiente da interação é o estimador de diferenças em diferenças.

Supor que identificação por desenho substitui as hipóteses do MQO. O desenho resolve o problema da endogeneidade; não resolve heterocedasticidade, autocorrelação, forma funcional nem agrupamento dos erros-padrão.

Exigir do conjunto doador o que se exige da unidade sintética. Doadora inadequada recebe peso zero; ela não é excluída de antemão por não caminhar em paralelo.

Esperar erro-padrão e valor-p convencionais em controle sintético. Com uma só unidade tratada, a inferência é por placebo e permutação.

Tomar o LATE por efeito médio da população. A variável instrumental estima o efeito sobre quem respondeu ao instrumento. Generalizar essa estimativa para toda a população é uma afirmação a mais, e não vem de graça.