Métricas: matriz de confusão, precisão, recall, F1, AUC-ROC; MSE/RMSE/MAE/R²

A ideia que organiza o assunto

Avaliar um modelo de classificação não é um assunto com muitas fórmulas soltas. É uma tabela de quatro casas e as razões que se extraem dela. Fixada a classe positiva e fixado o limiar de decisão, cada observação cai em exatamente uma casa: verdadeiro positivo, falso positivo, falso negativo, verdadeiro negativo. Acurácia, precisão, revocação, especificidade e F1 são todas frações formadas com esses quatro números — não há nada além disso para decorar.

Duas consequências organizam o tópico inteiro.

Primeira: a métrica se escolhe pelo erro que dói mais. A matriz tem dois tipos de erro e eles têm preços diferentes. O falso positivo acusa quem não devia ser acusado; o falso negativo deixa passar quem devia ter sido pego. Precisão olha o falso positivo — dos que o modelo chamou de positivos, quantos eram. A revocação, ou sensibilidade, olha o falso negativo — dos que eram positivos, quantos o modelo encontrou. Não existe “a melhor métrica”: existe a que mede o erro que custa caro no problema em questão. Acurácia, que trata os dois erros como iguais, é justamente a que engana em base desbalanceada.

Segunda: a métrica é ditada pelo tipo de saída do modelo, e as duas listas não se cruzam. Modelo que devolve classe é avaliado por matriz de confusão, precisão, revocação, F1 e AUC-ROC. Modelo que devolve número é avaliado por MSE, RMSE, MAE e R². Levar uma lista para o outro lado é o movimento mais barato que a banca faz aqui, e foi exatamente o que fez no item de MSE deste corpus.

Há ainda uma condição que se esquece de tão óbvia: a matriz de confusão só existe se o rótulo verdadeiro for conhecido. Sem classe real não há verdadeiro positivo nem falso negativo — não há o que confrontar. Por isso a existência de uma matriz de confusão prova, sozinha, que o modelo é supervisionado. É o ponto em que este tópico se apoia no de tipos de aprendizado: lá se decide o que está sendo treinado; aqui, como se sabe que funcionou — e o “aqui” só é possível quando lá havia rótulo.

Por que se usa (e o que custa)

Cada métrica resolve um problema da anterior e cria um novo.

Acurácia é a única que se lê sem explicação: a proporção de acertos. Custa caro em base desbalanceada — com 1% de fraudes, o modelo que nega tudo acerta 99% e não serve para nada. Sempre que a classe de interesse for rara, a acurácia deixa de informar.

Precisão e revocação consertam isso ao olhar apenas a classe positiva, mas vêm em par e em conflito: baixar o limiar aumenta a revocação e derruba a precisão; subir o limiar faz o contrário. Relatar uma só das duas é meio resultado, e é por isso que a banca gosta de oferecer uma delas como se fosse a avaliação completa.

F1 resolve o par juntando os dois num número só, e paga com a legibilidade: um F1 medíocre não diz qual das duas metades está ruim. Usa média harmônica justamente para que um valor baixo puxe o resultado para baixo — uma precisão de 0,99 com revocação de 0,01 dá F1 próximo de 0,02, enquanto a média aritmética daria 0,50 e esconderia o desastre.

AUC-ROC resolve outra limitação: todas as anteriores dependem de um limiar escolhido. A curva ROC percorre todos os limiares e a AUC resume essa varredura num número, o que permite comparar modelos antes de decidir o ponto de operação. Custa o inverso: a AUC não diz em que limiar operar, e é otimista quando a classe positiva é muito rara — situação em que a curva de precisão-revocação informa mais.

A formulação honesta para a prova: cada métrica compra uma propriedade e paga com informação descartada. Item que apresente uma métrica como boa em todos os cenários já enunciou o erro.

Como funciona

A matriz de confusão. Convenção usual, e a que o enunciado do corpus adota explicitamente: linhas são as classes reais, colunas são as classes preditas. A convenção inversa existe, então leia qual é a do item antes de montar as contas — trocar as duas troca precisão por revocação.

Com a classe positiva fixada:

VP (verdadeiro positivo): era positivo, foi predito positivo.
FN (falso negativo): era positivo, foi predito negativo. É o erro tipo II, o que deixa passar.
FP (falso positivo): era negativo, foi predito positivo. É o erro tipo I, o alarme falso.
VN (verdadeiro negativo): era negativo, foi predito negativo.

As razões, e o que cada denominador significa. O truque para não decorar errado é olhar o denominador: ele diz sobre qual população a métrica fala.

Acurácia = (VP + VN) / total — fala sobre tudo.
Precisão = VP / (VP + FP) — denominador é a coluna dos preditos positivos: fala sobre o que o modelo afirmou.
Revocação (sensibilidade, recall, taxa de verdadeiros positivos) = VP / (VP + FN) — denominador é a linha dos reais positivos: fala sobre o que existia.
Especificidade = VN / (VN + FP) — a revocação da classe negativa.
F1 = 2 × (precisão × revocação) / (precisão + revocação) — a média harmônica das duas.

A curva ROC. Varre-se o limiar de decisão de 1 a 0 e, para cada valor, marca-se o par (taxa de falsos positivos, taxa de verdadeiros positivos), isto é, (1 − especificidade, sensibilidade). O canto superior esquerdo é o modelo perfeito; a diagonal é o sorteio. A AUC é a área sob essa curva e tem uma interpretação probabilística direta: é a probabilidade de o modelo atribuir pontuação mais alta a um positivo do que a um negativo sorteados ao acaso. Por isso comparar modelos pela AUC é o uso previsto da medida — maior AUC, melhor separação entre as classes.

Calcular a AUC: paramétrico × não paramétrico. A distinção caiu em item e é puro significado de prefixo. O método não paramétrico — regra trapezoidal sobre os pares observados, equivalente à estatística de Mann-Whitney — não supõe forma de distribuição alguma: usa os dados como estão. O método paramétrico, o modelo binormal, é que assume uma distribuição, tipicamente normalidade das pontuações nos dois grupos, e estima a curva a partir dos parâmetros ajustados.

Métricas de regressão. Existem para saída contínua e comparam previsto com observado. MSE é a média dos quadrados dos erros; RMSE é a sua raiz, o que devolve o resultado à unidade original da variável; MAE é a média dos erros absolutos, menos sensível a valores extremos porque não eleva ao quadrado; R² é a proporção da variância da resposta explicada pelo modelo. Dos quatro, só o MSE foi medido no corpus deste tópico — e num item em que aparece justamente para ser levado indevidamente ao lado da classificação. RMSE, MAE e R² não têm item próprio até aqui.

Storytelling e leitura de painel. Um item do tópico não é métrica nenhuma: é comunicação de resultado. O princípio é o da redução — define-se a mensagem, elimina-se o que não a sustenta e conduz-se o olhar do gestor a poucos indicadores. Densidade visual aumenta a carga cognitiva e dilui a narrativa; num painel estratégico, mais elementos é menos decisão.

O que decide os itens

Qual métrica para qual saída — a separação que decide o item de MSE:

saída do modelo	métricas
classe (classificação)	matriz de confusão, acurácia, precisão, revocação, especificidade, F1, AUC-ROC
número contínuo (regressão)	MSE, RMSE, MAE, R²

Precisão × revocação — o par que a banca troca de lugar:

	precisão	revocação (sensibilidade)
fórmula	VP / (VP + FP)	VP / (VP + FN)
denominador	coluna dos preditos positivos	linha dos reais positivos
erro que controla	falso positivo (alarme falso)	falso negativo (deixou passar)
pergunta	dos que acusei, quantos eram?	dos que existiam, quantos achei?
sobe quando	o limiar sobe	o limiar desce

F1 — média harmônica, nunca aritmética. A harmônica é sempre menor que a aritmética quando os dois valores diferem, e igual apenas quando são iguais. Se o valor oferecido for exatamente a média simples de precisão e revocação, o item está errado antes de a conta fechar.

AUC-ROC — o que a curva é e o que ela não é:

conceito	regra
eixos da ROC	y = sensibilidade; x = 1 − especificidade (taxa de falsos positivos)
o que varia ao longo da curva	o limiar de decisão, não o modelo
AUC	probabilidade de pontuar um positivo acima de um negativo sorteados ao acaso
comparação	maior AUC, melhor discriminação — independe do limiar escolhido
método não paramétrico	trapezoidal / Mann-Whitney — não supõe distribuição
método paramétrico	binormal — supõe distribuição, tipicamente normal

Pré-requisito que decide item sozinho. Matriz de confusão exige classe real conhecida; classe real conhecida é rótulo; rótulo é aprendizado supervisionado. Modelo não supervisionado não tem contra o que confrontar a predição, logo não tem matriz de confusão.

Números que caem


fórmula do F1	2 × (P × R) / (P + R) — média harmônica
faixa de acurácia, precisão, revocação e F1	0 a 1
AUC de um classificador aleatório	0,5 (a diagonal da ROC)
AUC de um classificador perfeito	1,0 (canto superior esquerdo)
AUC abaixo de 0,5	pior que o sorteio, não apenas fraco
exemplo do corpus: VP 60, FN 40, FP 20, VN 80	precisão 0,75; revocação 0,60
F1 desse exemplo	66,7% (a média aritmética, 67,5%, é a isca)
acurácia desse exemplo	(60 + 80) / 200 = 70%
erro tipo I × erro tipo II	falso positivo × falso negativo

Como a CEBRASPE derruba você aqui

Medido sobre os 6 itens do tópico: 2 Certo e 4 Errado. A amostra é pequena e as proporções valem pouco, mas os quatro erros são de quatro moldes distintos e reconhecíveis, o que já ensina.

Levar uma métrica para a família errada de modelo. “MSE (mean squared error) é uma medida usada para a avaliação da acurácia de modelos de classificação” — o MSE mede a distância entre um número previsto e um número observado, o que só existe em regressão. O restante da frase é convincente de propósito: fala em fidelidade de acerto e em atributo alvo, vocabulário que serve às duas famílias. A defesa é olhar apenas a saída do modelo: classe pede matriz de confusão, número pede erro médio.

Trocar a média harmônica pela aritmética. “o F1-score, que é a média harmônica entre precisão e sensibilidade, atingiu 67,5%”, sobre uma matriz em que a precisão é 0,75 e a revocação é 0,60. O item define corretamente o F1 e entrega o número da média simples — (0,75 + 0,60) / 2 = 0,675 — quando a harmônica dá 0,667. É o molde mais perigoso do tópico, porque a definição correta na primeira metade baixa a guarda de quem lê. Quando o enunciado trouxer a matriz e pedir um valor, calcule; e desconfie de imediato se o número oferecido for a média simples das duas parcelas.

Fazer um método não paramétrico exigir distribuição. “o método não paramétrico para calcular a área sob a curva (AUC) assume que os dados seguem uma determinada distribuição” — o prefixo já contém a resposta. Não paramétrico é precisamente o que dispensa suposição sobre a forma da distribuição; quem a assume é o método paramétrico, o binormal. Item que faça um método não paramétrico exigir normalidade se contradiz sozinho, aqui como em estatística.

Inventar a causa e inverter o sinal. “o excesso de elementos visuais e métricas detalhadas fortalece o storytelling ao aumentar a precisão técnica” — excesso aumenta carga cognitiva e dilui a mensagem; o painel fica mais denso, não mais preciso. Em visualização de dados, a banca oferece sempre a mesma troca: mais informação apresentada como mais qualidade. O ganho alegado é o que está errado.

O molde dos itens Certo. Os dois itens corretos do corpus não trazem truque: afirmam uma condição de existência (“inequivocamente, essa matriz de confusão refere-se a um modelo de aprendizagem de máquina supervisionada”) e uma comparação direta de AUC (0,91 > 0,77 > 0,59, logo a primeira curva é a melhor). Vale a observação porque contraria um hábito: advérbio absoluto nem sempre marca erro. Inequivocamente aqui é legítimo, porque sem rótulo verdadeiro a matriz de confusão não pode sequer ser construída — é necessidade lógica, não exagero retórico.

Ainda não medido, mas conhecido do assunto. Precisão e revocação isoladas não foram objeto de nenhum item próprio até aqui, nem RMSE, MAE ou R². Quando aparecerem, o molde previsível é o mesmo da troca de nome: a fórmula de uma sob o rótulo da outra, e a confusão entre sensibilidade e especificidade.

Erros clássicos

Trocar o denominador de precisão e revocação. É o erro que mais custa em item com matriz numérica. Amarre pelo denominador: precisão divide pela coluna predita positiva, revocação divide pela linha real positiva. Se o item inverter a orientação da matriz e você não perceber, os dois valores trocam de lugar e a conta inteira sai coerente — e errada.

Calcular F1 como média simples. Ela só coincide com a harmônica quando precisão e revocação são iguais. Em qualquer outro caso a harmônica é menor, e é justamente esse valor menor que a banca substitui pelo maior.

Confiar na acurácia em base desbalanceada. Com classe positiva rara, a acurácia alta é atingida ignorando-se a classe de interesse. É por isso que precisão, revocação e F1 existem.

Achar que a AUC indica o limiar a usar. Ela resume o desempenho sobre todos os limiares — serve para escolher o modelo, não o ponto de operação. Escolher o limiar é uma decisão posterior, tomada sobre o custo relativo dos dois erros.

Esquecer que 0,5 é o piso útil da AUC. A faixa nominal vai de 0 a 1, mas 0,5 é o sorteio; abaixo disso o modelo está sistematicamente invertido, não apenas fraco.

Aplicar métricas de classificação a modelo de regressão, e vice-versa. Nenhuma matriz de confusão descreve saída contínua, e nenhum MSE descreve acerto de classe. A pergunta que resolve é sempre a mesma: o modelo devolve uma classe ou um número?

Esperar métrica de desempenho onde não há rótulo. Avaliar agrupamento não é avaliar classificação: sem classe verdadeira não há verdadeiro positivo, logo não há precisão, revocação, F1 nem AUC. Item que meça um modelo não supervisionado com a matriz de confusão pediu o impossível.