Premissas e limitações do VaR; testes de estresse e de cenários; backtesting

Nenhum item de prova anterior, no acervo deste projeto, caiu neste tópico. A nota foi escrita a partir do edital e da bibliografia — não do corpus — e por isso não traz frequências medidas.

A ideia que organiza o assunto

O tópico anterior construiu um número. Este pergunta se ele pode ser acreditado, e a resposta inteira cabe numa frase:

O VaR é um quantil, e um quantil não diz absolutamente nada sobre o que existe além dele.

Duas carteiras podem ter o mesmo VaR de um dia a 99% e perfis de perda completamente distintos: uma perde um pouco mais que o VaR no pior por cento dos dias, a outra perde o capital inteiro. O VaR é idêntico nas duas. Ele marca onde a cauda começa e é mudo sobre o que há dentro dela — e o que há dentro da cauda é exatamente aquilo que quebra instituição financeira.

Essa frase, e só ela, gera os três blocos que dão nome ao tópico. Vale memorizar a cadeia, porque ela transforma uma lista de assuntos soltos em um raciocínio:

1. Premissas e limitações. O quantil é lido de uma distribuição estimada, e toda estimativa carrega hipóteses — sobre a forma, sobre o período, sobre a liquidez, sobre a estabilidade das correlações. Quando o mercado rompe essas hipóteses, o número não fica impreciso: ele fica irrelevante, e fica irrelevante justamente no dia em que seria necessário.
2. Estresse e cenários. Se a cauda não é descrita pelo modelo, ela precisa ser construída à mão. É o que faz o teste de estresse: abandona a distribuição estimada e pergunta quanto se perde sob um choque escolhido, plausível e severo, tenha ele probabilidade estimável ou não.
3. Backtesting. Um modelo que produz um número todo dia precisa ser confrontado com a realidade que veio depois. O backtesting é a única verificação empírica do tópico — e tem um alcance limitado que é, ele próprio, cobrado: ele consegue testar a frequência com que o quantil foi rompido, e não consegue testar o tamanho das perdas além dele.

Note a simetria que fecha o raciocínio, porque é a melhor resposta de prova possível: o estresse cobre o que o VaR não vê, e o backtesting verifica o que o VaR afirma. Um completa, o outro audita. Nenhum dos dois substitui o VaR, e o VaR não substitui nenhum dos dois.

Por que se usa (e o que custa)

Por que não se abandona o VaR. Porque ele tem a propriedade que o estresse não tem: uma probabilidade associada. Isso é o que permite agregá-lo entre mesas, compará-lo no tempo, transformá-lo em limite operacional e convertê-lo em exigência de capital. O teste de estresse produz um número maior e mais assustador, mas sem probabilidade não há como somar o estresse de câmbio ao de juros nem como dizer se o resultado é aceitável.

Por que o estresse é indispensável mesmo assim. Ele é o único instrumento que não depende de o passado recente conter o evento. Uma carteira montada durante anos de calmaria terá VaR baixo por construção — a série não guarda crise alguma —, e o estresse é o que pergunta o que aconteceria se o regime mudasse. O custo é o outro lado da mesma moeda: cenário é escolhido, não estimado, e por isso é subjetivo, difícil de agregar e vulnerável à falta de imaginação de quem o desenhou.

O que o backtesting cobra. Tempo e disciplina. Para verificar um quantil extremo é preciso acumular observações, e quanto mais extremo o nível de confiança, mais lenta a verificação — a 99% em um dia, espera-se uma ruptura a cada cem dias úteis, e distinguir um modelo bom de um ruim exige anos. O backtesting também obriga a comparar o VaR com o resultado correto, o que significa separar o efeito das posições do efeito da negociação do dia, e essa separação dá trabalho.

Como funciona

As premissas que o número carrega. Enumerá-las é metade do tópico, porque cada uma vira item:

• normalidade, no método paramétrico — e os retornos têm caudas pesadas, de modo que o modelo subestima justamente os eventos que importam;
• estabilidade das correlações — em crise, correlações convergem para um, a diversificação evapora e o efeito que reduzia o VaR desaparece no momento em que seria necessário;
• representatividade do passado — o histórico é uma amostra de um regime, e regime muda;
• liquidez suficiente para desmontar a posição dentro do horizonte suposto — em crise, o horizonte efetivo de liquidação se alonga e o VaR de um dia deixa de descrever a exposição real;
• carteira estática durante o horizonte, quando a carteira real é negociada;
• linearidade, no paramétrico, que falha em qualquer carteira com opções;
• condições normais de mercado, que é a premissa mais honesta e a mais esquecida: está na própria definição do VaR que ele não descreve crise.

A limitação estrutural: o VaR não é uma medida coerente de risco. Uma medida de risco é dita coerente quando satisfaz quatro propriedades, e a que interessa é a subaditividade — o risco de uma carteira não deve superar a soma dos riscos das partes, porque diversificar não pode aumentar risco. O VaR pode violar essa propriedade, e a violação é mais que uma curiosidade teórica: ela significa que somar VaRs de mesas pode subestimar o risco do conjunto, e que o VaR pode premiar a concentração de risco em eventos raros. Este é o argumento técnico que sustentou a substituição regulatória do VaR.

O expected shortfall. A resposta direta à frase que organiza o tópico. Em vez de perguntar onde a cauda começa, pergunta quanto se perde em média dado que se entrou nela:

ES = média das perdas que excedem o VaR

Também chamado de perda esperada na cauda ou CVaR. É sempre maior ou igual ao VaR no mesmo nível, é sensível ao formato da cauda — o que o VaR não é — e é coerente, inclusive subaditivo. Sua desvantagem é a outra face: depende de estimar bem a cauda, que é a região com menos dados, e é mais difícil de submeter a backtesting do que um quantil. A revisão do arcabouço de risco de mercado de Basileia trocou o VaR a 99% pelo expected shortfall a 97,5%, com horizontes de liquidez diferenciados por fator de risco — e o nível menor não é afrouxamento: em distribuição normal, o ES a 97,5% fica próximo do VaR a 99%.

Teste de sensibilidade × teste de estresse × análise de cenário. A prova trata os termos como sinônimos e eles não são:

• sensibilidade move um fator por vez, em magnitude arbitrária, para medir a exposição isolada. Não é cenário: é derivada;
• análise de cenário move vários fatores conjuntamente e de forma coerente, respeitando as relações que existiriam naquele mundo;
• teste de estresse é a análise de cenário levada a magnitudes severas mas plausíveis.

Os cenários, por sua vez, vêm de duas origens: históricos, que repetem um episódio efetivamente ocorrido, e hipotéticos, desenhados para um risco que ainda não se materializou. O histórico é defensável porque aconteceu; o hipotético é indispensável porque o próximo evento não estará na série.

Teste de estresse reverso. A inversão da pergunta, e o instrumento mais sofisticado do tópico. Em vez de perguntar quanto perco neste cenário, pergunta qual cenário me levaria à inviabilidade — fixa o resultado catastrófico e procura os caminhos que chegam nele. Serve exatamente para corrigir a falta de imaginação de quem escolhe cenários, porque não exige imaginá-los de antemão.

Backtesting, a mecânica. Compara-se, dia a dia, o VaR estimado no dia anterior com o resultado efetivamente observado. Toda vez que a perda supera o VaR registra-se uma exceção (ou ruptura). O modelo é avaliado por duas coisas, e as duas são cobradas:

• cobertura: o número de exceções deve ser compatível com o nível de confiança. Exceções demais indicam modelo que subestima risco; exceções de menos indicam modelo conservador demais, que consome capital sem necessidade;
• independência: as exceções devem estar espalhadas no tempo. Exceções agrupadas em poucos dias seguidos denunciam que o modelo não reage ao agrupamento de volatilidade, e isso é grave mesmo que a contagem total esteja perfeita.

O teste de Kupiec verifica a cobertura; o de Christoffersen verifica a independência e, na versão conjunta, a cobertura condicional.

Resultado limpo × resultado sujo. O VaR mede o efeito do movimento de mercado sobre a carteira do fim do dia anterior, mantida constante. O resultado contábil do dia inclui também comissões, receitas de intermediação e o efeito de operações feitas ao longo do dia. Comparar o VaR com o resultado sujo produz exceções que não dizem nada sobre o modelo; o backtesting correto usa o resultado hipotético, ou limpo, obtido revalorizando a carteira anterior aos preços de hoje. Instituições sérias fazem os dois e comparam.

O semáforo de Basileia. A materialização regulatória do backtesting: contam-se as exceções do modelo interno nos últimos 250 dias úteis a 99% de confiança, e o resultado determina o multiplicador aplicado ao VaR no cálculo do capital. Zona verde mantém o multiplicador no piso; zona amarela o eleva progressivamente e exige justificativa; zona vermelha implica majoração máxima e pode levar à rejeição do modelo interno. O desenho é o ponto: o modelo não é aprovado ou reprovado por decreto — ele é penalizado proporcionalmente ao seu próprio desempenho medido.

O que decide os itens

VaR × expected shortfall — a comparação central do tópico:

	VaR	expected shortfall
o que é	quantil da distribuição de perdas	média das perdas além do quantil
informa sobre a cauda	não	sim
coerente (subaditiva)	não necessariamente	sim
magnitude no mesmo nível	menor	maior ou igual
facilidade de backtesting	maior	menor
Basileia, risco de mercado	99%	97,5%

Estresse × VaR — os dois eixos que separam os instrumentos:

	VaR	teste de estresse
probabilidade associada	sim	não (cenário escolhido)
origem	estatística, série histórica	julgamento
região que descreve	centro e início da cauda	cauda extrema
agregável entre mesas	sim	com dificuldade
depende de o evento estar na amostra	sim	não

Sensibilidade × cenário × estresse — um fator × vários fatores coerentes × vários fatores em magnitude severa. Item que chame de teste de estresse o deslocamento isolado de uma taxa descreveu sensibilidade.

Cenário histórico × hipotético — episódio ocorrido × situação construída. Item que afirme que o teste de estresse só admite cenários historicamente observados está errado, e erra no ponto que justifica a existência do instrumento.

Cobertura × independência — quantas exceções × como se distribuem. São dois testes distintos, e um modelo pode passar num e falhar no outro.

Exceção — é perda superior ao VaR, não perda qualquer. E exceções em número zero não são um bom resultado: indicam modelo excessivamente conservador.

Resultado limpo × sujo — sem negociação intradiária e sem receitas × com tudo. O backtesting válido usa o limpo.

Backtesting × teste de estresse — verificar o passado do modelo × imaginar um futuro. São funções opostas, e trocá-las é a confusão mais provável do tópico.

Números que caem

janela do semáforo de Basileia	250 dias úteis, a 99%
zona verde	até 4 exceções
zona amarela	5 a 9 exceções
zona vermelha	10 ou mais exceções
multiplicador do VaR	de 3 (piso, zona verde) a 4 (zona vermelha)
exceções esperadas a 99% em 250 dias	cerca de 2,5
Basileia — risco de mercado revisado	expected shortfall a 97,5%
propriedades de uma medida coerente	4 — a que o VaR viola é a subaditividade
relação entre as medidas	ES ≥ VaR no mesmo nível de confiança
teste de cobertura × de independência	Kupiec × Christoffersen

Como a CEBRASPE derruba você aqui

Esta seção é julgamento sobre como a banca costuma cobrar o assunto — não medição. Não há itens deste tópico no acervo para medir.

Dar ao VaR informação sobre a cauda. O formato mais provável, porque contraria a intuição de quem só decorou a definição: “o VaR informa a magnitude esperada das perdas que excedem o nível de confiança”. Quem informa isso é o expected shortfall. Defesa: o VaR marca onde a cauda começa e cala sobre o que há nela.

Trocar as funções do estresse e do backtesting. “O teste de estresse consiste em confrontar as perdas efetivamente observadas com as estimativas do modelo” — isso é backtesting. Ou “o backtesting submete a carteira a cenários severos” — isso é estresse. Defesa: backtesting olha para trás e verifica; estresse olha para frente e imagina.

Atribuir probabilidade ao cenário de estresse. “O teste de estresse estima a perda associada a um nível de confiança mais elevado que o do VaR.” Não estima nada: o cenário é escolhido, e é justamente a ausência de probabilidade que o distingue — e que o impede de substituir o VaR no cálculo de capital.

Afirmar que o VaR é subaditivo, ou que é medida coerente. Soa técnico e prestigioso, e é falso. Defesa: das quatro propriedades, a subaditividade é exatamente a que o VaR não garante, e é por isso que o arcabouço regulatório migrou para o expected shortfall.

Tratar zero exceção como o melhor resultado possível. “A ausência de exceções no backtesting comprova a adequação do modelo.” Comprova o contrário: indica superestimação sistemática do risco, com consumo desnecessário de capital. O modelo adequado erra na frequência prevista.

Contar exceções e ignorar o agrupamento. Um modelo com o número esperado de exceções, todas concentradas na mesma semana, está reprovado no teste de independência. Defesa: cobertura e independência são dois requisitos, não um.

Comparar o VaR com o resultado contábil do dia. Introduz comissões e negociação intradiária, que o VaR nunca se propôs a medir. O confronto correto é com o resultado hipotético da carteira do dia anterior.

Restringir o teste de estresse ao que já aconteceu. “Os cenários de estresse devem reproduzir episódios de crise efetivamente observados.” Históricos e hipotéticos convivem, e o hipotético existe precisamente porque o próximo evento não está na série.

Apresentar o estresse como substituto do VaR, ou o VaR como dispensável. A relação é de complementaridade, e os dois são exigidos pelo regulador simultaneamente. Item que elimine um dos dois inverteu o arranjo prudencial.

Absolutos sobre a superação do VaR. “O expected shortfall elimina as limitações do VaR.” Elimina a cegueira à cauda e a incoerência; não elimina a dependência do modelo, a instabilidade das correlações, o problema de liquidez nem a escassez de dados na cauda — que ele, aliás, agrava. Defesa: pergunte de quem é o absoluto.

Erros clássicos

Ler “condições normais de mercado” como formalidade. É a cláusula mais importante da definição do VaR e a mais ignorada. Ela já avisa, por escrito, que o número não descreve crise — e quem a leva a sério não se surpreende com nenhuma das limitações do tópico.

Achar que o problema do VaR é imprecisão. Não é erro de estimativa: é escopo. Um VaR perfeitamente estimado continua sem dizer nada sobre a cauda, porque nenhum quantil diz.

Supor que diversificação protege quando mais se precisa. Correlações sobem em crise. O benefício de diversificação embutido na matriz de covariâncias é o primeiro a desaparecer, e é por isso que um cenário de estresse coerente deve elevar correlações, e não apenas preços.

Esquecer a liquidez. Horizonte de um dia pressupõe conseguir sair em um dia. Quando o mercado seca, a posição continua no balanço e o horizonte efetivo nada tem a ver com o suposto.

Tratar o backtesting como aprovação ou reprovação. Ele é graduado: o número de exceções determina um multiplicador, e o multiplicador determina capital. A consequência é econômica e proporcional, não binária.

Confundir exceção com prejuízo. Exceção é perda maior que a estimada. Um dia de perda expressiva dentro do VaR não é exceção; um dia de perda modesta, num modelo que previa perda mínima, pode ser.

Achar que o expected shortfall é só um VaR mais conservador. Ele responde a outra pergunta. Aumentar o nível de confiança do VaR desloca o corte; usar ES muda o que se lê — de um ponto da distribuição para a média de toda uma região.