ML: pipeline, overfitting × underfitting, viés × variância, L1/L2, validação cruzada

A ideia que organiza o assunto

Um modelo que acerta tudo no conjunto em que foi treinado não provou nada. Ele pode ter aprendido o padrão que se repete — e então acertará também amanhã — ou pode ter decorado o ruído daquela amostra específica, e então errará no primeiro dado novo. Olhando um único número de desempenho, as duas hipóteses são indistinguíveis.

Daí a ideia que torna o tópico inteiro derivável: nada aqui se decide com um número, sempre com dois.

Bom no treino e ruim em dados novos — o modelo decorou: overfitting, superajuste.
Ruim no treino e ruim em dados novos — o modelo é simples demais para o padrão: underfitting, subajuste.
Bom nos dois — é o que se quer.

Tudo o mais neste tópico é consequência dessa leitura em par. A validação cruzada existe para produzir o segundo número de forma confiável, sem gastar dados. A regularização existe para puxar um modelo que decorou de volta para o meio. Viés e variância são o nome teórico das duas colunas: viés é o erro de quem simplifica demais, variância é o erro de quem se ajusta demais à amostra que recebeu.

E há um segundo par, que este corpus cobra ainda mais: acertar tecnicamente não é o mesmo que servir ao negócio. É a separação que o CRISP-DM formaliza entre a avaliação técnica feita dentro da modelagem, com métrica de erro, e a fase de avaliação, em que o resultado é confrontado com o objetivo que motivou o projeto. Um modelo com acurácia excelente e sem uso é reprovado na segunda.

O que este tópico realmente cobra. Vale dizer com clareza, porque o título promete outra distribuição. Nos quatorze itens medidos, o CRISP-DM aparece em três, a validação cruzada em três e a definição de superajuste e subajuste em três — juntos, mais de metade do tópico. A regularização L1 e L2 aparece em um. Já viés × variância, que nomeia o tópico, é cobrado em um único item, cujo enunciado está truncado no corpus; e hiperparâmetros, ajuste fino, busca em grade ou aleatória: zero itens. Estude viés e variância porque é a teoria que explica os outros três blocos — não porque a banca os tenha cobrado por esse nome.

Fronteira: qual algoritmo usar — regressão, árvores, SVM, agrupamento — é da nota de Algoritmos; como se mede o acerto, matriz de confusão, precisão, revocação, AUC, é da nota de Métricas.

Por que se usa (e o que custa)

O compromisso central deste tópico tem nome: o dilema viés-variância. Não se reduzem os dois ao mesmo tempo com o mesmo movimento. Aumentar a capacidade do modelo — mais parâmetros, árvore mais profunda, mais graus de polinômio — reduz o viés e aumenta a variância. Reduzir a capacidade — regularizar, podar, simplificar — reduz a variância e aumenta o viés. O erro total é a soma dos dois mais um ruído irredutível, e existe um ponto intermediário em que essa soma é mínima. Todo ajuste deste tópico é a busca desse ponto.

Validação cruzada compra uma estimativa de desempenho muito mais estável, e compra sem sacrificar dados: cada registro serve ao teste uma vez e ao treino nas demais rodadas, o que a torna especialmente valiosa quando a base é pequena. Paga em processamento — são k treinamentos em vez de um — e não corrige o modelo, apenas o mede com honestidade.

Regularização compra estabilidade e capacidade de generalizar, penalizando coeficientes grandes. Paga em viés: o modelo regularizado é deliberadamente pior no treino do que poderia ser, e essa é a intenção.

CRISP-DM compra disciplina e comparabilidade: seis fases nomeadas, iterativas, independentes de ferramenta e de setor, que impedem que o projeto comece pelo modelo e termine sem pergunta. Paga em cerimônia, e paga sobretudo se for lido como sequência rígida — é um ciclo, com retornos previstos de qualquer fase para as anteriores, e não uma esteira.

Como funciona

CRISP-DM — as seis fases. É o modelo de referência para projetos de mineração de dados, e o que a banca cobra é o verbo de cada fase.

Entendimento do negócio. Traduzir o objetivo organizacional em objetivo de mineração de dados, avaliar a situação, montar o plano.
Entendimento dos dados. Coletar os dados iniciais, descrevê-los, explorá-los e verificar sua qualidade. É aqui que se identificam os dados existentes e suas características — e não na preparação.
Preparação dos dados. Selecionar, limpar, construir novos atributos, integrar fontes e formatar. É a fase mais longa, e as transformações escolhidas dependem da técnica que será usada depois, não de uma regra fixa.
Modelagem. Escolher a técnica, montar o desenho de teste, construir o modelo e fazer a sua avaliação técnica, com métricas de erro.
Avaliação. Confrontar o resultado com os objetivos de negócio, revisar todo o processo e decidir os próximos passos: implantar, iterar ou parar.
Implantação. Pôr em produção, planejar monitoramento e manutenção, documentar, encerrar.

O ciclo é iterativo: a avaliação pode devolver o projeto ao entendimento do negócio, e a modelagem pode devolvê-lo à preparação quantas vezes for preciso.

Superajuste e subajuste. Overfitting é o modelo que se ajustou às particularidades e ao ruído do conjunto de treinamento em vez do padrão geral: desempenho alto no treino, significativamente pior em dados novos. Underfitting é o modelo simples demais, ou treinado com informação insuficiente, para captar o padrão que existe: desempenho ruim nos dois conjuntos. Os remédios são opostos e é aí que se perde item:

contra superajuste — simplificar o modelo, mais dados, regularizar, podar a árvore, aplicar parada antecipada, usar dropout, usar métodos de conjunto;
contra subajuste — aumentar a complexidade do modelo, acrescentar ou construir atributos mais informativos, treinar por mais tempo, afrouxar a regularização.

Viés e variância. Viés é o erro sistemático de um modelo cujas suposições são simples demais para o fenômeno — ele erra na mesma direção sempre, e é a assinatura do subajuste. Variância é a sensibilidade do modelo à amostra de treinamento — treinado em outra amostra, daria resposta bem diferente, e é a assinatura do superajuste. A leitura que a banca já usou em item com gráficos: o modelo mais simples tem o maior viés, não o menor; e o modelo ideal é o de baixo viés e baixa variância, nunca o de viés alto.

Regularização L1 e L2. As duas acrescentam à função de custo uma penalidade sobre a magnitude dos coeficientes, para conter o superajuste. A diferença está no que acontece com os coeficientes irrelevantes:

L1, lasso — penaliza a soma dos valores absolutos. Consegue zerar coeficientes, e por isso realiza seleção automática de variáveis, produzindo modelo esparso.
L2, ridge — penaliza a soma dos quadrados. Encolhe os coeficientes para perto de zero sem anulá-los; não seleciona variáveis, e estabiliza o modelo diante de multicolinearidade.
Elastic net — combina as duas penalidades.

Validação cruzada. Serve para estimar a generalização, não para treinar melhor. Na retenção simples (holdout), separa-se uma parte para teste; a estimativa resultante depende do sorteio, e outra divisão daria outro número. No k-fold, o conjunto é particionado em k dobras disjuntas e o procedimento roda k vezes, cada rodada usando uma dobra diferente como teste e as demais como treino; a média dos k resultados é a estimativa. Duas consequências que a banca cobra diretamente: cada instância é usada exatamente uma vez como teste e k − 1 vezes como treino — ninguém fica de fora, ninguém é avaliado duas vezes; e a média sobre k partições reduz a variabilidade decorrente da segmentação do conjunto. Variantes: estratificado, que preserva a proporção das classes em cada dobra; leave-one-out, o caso extremo em que k é igual ao número de registros; e, para séries temporais, divisões que respeitam a ordem do tempo, já que sortear embaralharia passado e futuro.

Hiperparâmetros — vocabulário do título ainda não cobrado. Parâmetro é o que o algoritmo aprende dos dados (os coeficientes da regressão, os pesos da rede); hiperparâmetro é o que se fixa antes do treinamento e governa como ele ocorre: o k do k-means, a profundidade máxima da árvore, a taxa de aprendizado, a força da regularização, o número de dobras. Ajustam-se por busca em grade, busca aleatória ou otimização bayesiana, e a busca deve ser avaliada em um conjunto de validação, nunca no de teste — do contrário a estimativa final fica contaminada. Nenhum dos quatorze itens medidos cobra este bloco.

Aceleração por hardware. O treinamento de redes profundas é uma sequência enorme de multiplicações de matrizes, na passagem para a frente e de novo na retropropagação. São operações independentes e repetidas milhares de vezes — o tipo de carga que GPU e TPU, com muitos núcleos paralelos, executam muito mais rápido que a CPU. O que o deep learning reduz é a engenharia manual de atributos, porque as camadas aprendem representações do dado bruto; o pré-processamento continua necessário: normalizar, redimensionar, tokenizar, tratar ausentes, codificar categorias, separar treino, validação e teste.

O que decide os itens

O diagnóstico, pela leitura em par:

desempenho no treino	desempenho em dados novos	diagnóstico	o que dizer dele
alto	significativamente pior	overfitting	alta variância, baixo viés
baixo	baixo	underfitting	alto viés
alto	alto	modelo adequado	baixo viés e baixa variância

Remédios opostos — a banca oferece o de um como se fosse o do outro:

	overfitting	underfitting
complexidade do modelo	reduzir	aumentar
quantidade de dados	aumentar	aumentar
atributos	remover irrelevantes	acrescentar informativos
regularização	reforçar	afrouxar
treinamento	parada antecipada	treinar por mais tempo
na árvore	podar	deixar crescer

L1 × L2 — resolve o item sozinho:

	L1 (lasso)	L2 (ridge)
penalidade	soma dos valores absolutos	soma dos quadrados
efeito no coeficiente	zera	encolhe sem anular
seleção de variáveis	sim, automática	não
modelo resultante	esparso	denso, estabilizado

As seis fases do CRISP-DM e o verbo de cada uma — a banca desloca a atividade uma casa, para a fase vizinha, e mantém o resto da frase certo:

fase	o verbo dela	o que não é dela
entendimento do negócio	traduzir objetivo em problema de mineração	não coleta nem descreve dados
entendimento dos dados	coletar, descrever, explorar, identificar o que existe	não limpa nem transforma
preparação dos dados	selecionar, limpar, construir, integrar, formatar	não constrói o modelo
modelagem	escolher a técnica, construir o modelo, avaliar tecnicamente	não confronta com o negócio
avaliação	confrontar com os objetivos de negócio, revisar, decidir	não mede acurácia pela primeira vez
implantação	pôr em produção, monitorar, documentar	não é o fim do ciclo, que é iterativo

Validação cruzada — o que se pode afirmar dela:

afirmação	vale?
estima a generalização em dado não visto	sim — é a razão de existir
expõe overfitting e underfitting	sim, pela comparação treino × dobras
reduz a variabilidade da divisão treino-teste	sim, pela média sobre k partições
cada instância é testada exatamente uma vez	sim, no k-fold: as dobras são disjuntas
melhora o modelo em si	não — ela mede, não treina
dobras podem se sobrepor	não — isso é bootstrap, com reposição

O verbo e o quantificador do enunciado. Dos quatro itens errados explicados, três carregam uma palavra que fecha alternativas — a única maneira, elimina completamente, todos os dados, independentemente de sua natureza original. Nenhum dos nove itens corretos fecha alternativas desse modo. Vale a distinção fina: “cada instância é utilizada uma única vez para teste” também soa absoluto e é Certo, porque descreve uma propriedade do procedimento, não uma exclusão de alternativas.

Números que caem


fases do CRISP-DM	6
ordem das fases	negócio → dados → preparação → modelagem → avaliação → implantação
treinamentos numa validação k-fold	k
vezes que cada instância entra no teste, no k-fold	1
vezes que cada instância entra no treino, no k-fold	k − 1
valores usuais de k	5 ou 10
k do leave-one-out	igual ao número de registros
saída da regressão logística	entre 0 e 1

Como a CEBRASPE derruba você aqui

Medido sobre os treze itens explicados do tópico: nove Certo e quatro Errado. O item restante é errado, mas seu enunciado está truncado no corpus, no ponto em que remetia a três gráficos.

Levar uma vantagem verdadeira ao absoluto — dois dos quatro itens errados, e o padrão mais produtivo do tópico. A banca pega uma propriedade real e fecha a porta com uma palavra: “elimina completamente a necessidade de pré-processamento de dados” — o deep learning reduz a engenharia manual de atributos, não o pré-processamento, que continua indispensável; “é necessário que todos os dados sejam normalizados e transformados em variáveis numéricas, independentemente de sua natureza original” na preparação do CRISP-DM — a normalização é exigida por métodos sensíveis à escala, como k-means, kNN, SVM e redes neurais, e é irrelevante para árvores, de modo que a preparação segue a técnica escolhida e não uma regra universal. Some a estas o “A única maneira de se evitar o underfitting” de um terceiro item: três dos quatro itens errados carregam um absoluto. A defesa é isolar a palavra — completamente, todos, única, independentemente de, sempre — e procurar um único contraexemplo antes de julgar o resto da frase.

Oferecer o remédio trocado entre superajuste e subajuste. “reduzir a quantidade de dados de entrada, pois isso impede que o modelo fique sobrecarregado de informações irrelevantes” — apresentado como forma de evitar o underfitting, quando reduzir a entrada é precisamente o que o provoca. O subajuste se combate no sentido oposto: mais capacidade, mais atributos, mais treinamento, menos regularização. Antes de avaliar a providência, identifique qual dos dois problemas o item nomeou e lembre que as colunas são espelhadas.

Descrever a atividade certa e deslocá-la de fase no CRISP-DM. “Na etapa de preparação de dados do modelo CRISP-DM”, seguido de “ocorre a identificação dos dados existentes, com suas respectivas características” — identificar e descrever é entendimento dos dados, a fase anterior; a preparação trabalha sobre o que já foi identificado. É a mesma engenharia do item, medido em outro tópico, que põe a construção dos modelos na preparação em vez da modelagem. Leia o nome da fase por último, depois de já ter classificado a atividade pelo verbo dela.

O que não derruba, e custa item por excesso de desconfiança. Nove dos treze itens são Certo, e três padrões aparecem entre eles: a lista exemplificativa, aberta por “como, por exemplo” e fechada por “entre outros”, que não precisa ser exaustiva nem homogênea para o item valer; o verbo permissivo — “pode-se utilizar machine learning para…” —, que apenas afirma uma aplicação real e não tem o que exceder; e a limitação assumida, como em “mas não realiza seleção automática de variáveis” a respeito da ridge, que é exatamente o que distingue a L2 da L1 e é a razão de o item ser correto. Enunciado que concede uma limitação raramente é o que a banca usa para mentir.

Erros clássicos

Definir overfitting por um número só. Superajuste é sempre uma diferença entre dois desempenhos. Nem o acerto alto no treinamento sozinho, nem o erro alto em produção sozinho o caracterizam.

Achar que a validação cruzada melhora o modelo. Ela mede. O que muda o modelo é a regularização, a poda, a mudança de complexidade ou o ajuste de hiperparâmetros que ela ajuda a escolher.

Trocar o sinal de viés e complexidade. O modelo mais simples é o de maior viés. Item que chame o modelo simples de “baixo viés”, ou que descreva o modelo ideal como de “alto viés”, inverteu o eixo.

Dar seleção de variáveis à ridge. L1 zera e seleciona; L2 encolhe e não seleciona. Uma palavra para cada, e o item se resolve.

Confundir k-fold com bootstrap. No k-fold as dobras são disjuntas e a amostragem é sem reposição — daí a garantia de uso único no teste. No bootstrap há reposição, e o mesmo registro pode aparecer várias vezes na mesma amostra.

Ajustar hiperparâmetros olhando o conjunto de teste. O teste é gasto uma vez, no fim. A busca se avalia em um conjunto de validação, ou dentro das dobras da validação cruzada; usar o teste para escolher contamina a estimativa final.

Ler o CRISP-DM como esteira. É ciclo, e prevê retorno de qualquer fase às anteriores. Item que o descreva como sequência rígida e irreversível, ou que encerre o projeto na implantação, perdeu a natureza iterativa do modelo.

Confundir as duas avaliações do CRISP-DM. A técnica está dentro da modelagem e mede erro; a fase de avaliação confronta o resultado com o objetivo de negócio e decide se o modelo vai para produção.