Qualidade de dados: dimensões, profiling, cleansing, linhagem

A ideia que organiza o assunto

Comece pelo tamanho da evidência, porque ele muda o que se deve estudar. Este tópico tem cinco itens no corpus — dois Certos e três Errados. O título promete dimensões, profiling, cleansing e linhagem, e a medição só confirma três quartos disso: a palavra linhagem não aparece em nenhum dos 16.161 itens do corpus, e deduplicação aparece em seis, todos sobre becape e armazenamento — Windows Server, SSD, becape de origem e de destino —, nenhum sobre registros duplicados em uma base. Cinco itens não produzem frequência; produzem, no máximo, uma direção. Leia esta nota sabendo disso: o que está medido está marcado como medido, e o resto é a disciplina, ensinada porque a prova pode cobrá-la amanhã sem nunca a ter cobrado ontem.

A ideia que organiza o assunto cabe em uma frase que a própria banca já cobrou e deu como Certa: a qualidade dos dados é relativa, não absoluta. Não existe dado bom em abstrato. Existe dado adequado ao uso que se pretende fazer dele: o cadastro cuja data de nascimento vale para segmentar faixa etária é o mesmo cadastro que não serve para conceder benefício etário. Daí decorre tudo o mais. Se a qualidade é relativa a requisitos, ela precisa ser decomposta em dimensões para ser medida — e é por isso que a prova vive em cima do nome das dimensões.

A segunda ideia é a que resolve o item na leitura: cada verbo do assunto pertence a uma de três etapas, e elas não se substituem. Diagnosticar é medir o que existe — profiling. Corrigir é alterar o que está errado — limpeza, padronização, deduplicação. Prevenir é impedir que volte a entrar — padrões de modelagem, regras de validação, revisão, linhagem, governança. Quase todo item deste assunto descreve uma atividade de uma etapa e a batiza com o nome de outra, ou descreve uma dimensão e a batiza com o nome da vizinha. Antes de julgar o conteúdo, localize a etapa e a dimensão.

Por que se usa (e o que custa)

Ganha-se a única coisa que faz o resto do ciclo analítico valer alguma coisa: confiança no resultado. Um modelo, um relatório e um indicador herdam a qualidade da entrada, e nenhum algoritmo recupera informação que não foi registrada. Como a falha se propaga para diante e fica mais cara a cada estágio, corrigir na origem custa menos que corrigir no data warehouse, que custa menos que descobrir o erro na decisão já tomada.

Paga-se em três moedas. Fidelidade: limpar é alterar, e dado alterado não concilia mais com o sistema de origem — por isso a correção precisa ser registrada e rastreável, e por isso a limpeza excessiva destrói o que era exceção legítima (o outlier verdadeiro, o endereço estranho porém real). Custo: o perfilamento e o monitoramento contínuo consomem processamento e tempo de gente que conhece o negócio; não existe qualidade “automática”. Requisito: como a qualidade é relativa, alguém precisa dizer, por escrito, qual é o nível suficiente para aquele uso — sem essa definição, qualquer medição é opinião.

A formulação honesta para a prova: qualidade de dados troca esforço permanente e alguma fidelidade ao registro original por confiabilidade de uso. Quem descreve a limpeza como um passo único, executado uma vez, já está escrevendo o item errado.

Como funciona

Definir o requisito. Antes de medir, decide-se para que o dado serve e qual dimensão importa nesse uso. É o passo que torna legítima a frase “qualidade é relativa”.

Profiling (perfilamento) — diagnosticar. Analisa-se o dado que existe para entender estrutura (tipos, tamanhos, formatos, padrões), conteúdo (valores distintos, nulos, mínimos e máximos, distribuições, aderência ao domínio) e inter-relações (chaves candidatas, integridade referencial, dependências entre colunas). O produto é um retrato: onde há nulo, duplicata, inconsistência e anomalia. O que o profiling não faz é corrigir; e, sozinho, ele também não determina a origem do problema nem o impacto dele no processo de negócio — isso exige investigação e gente do negócio.

Cleansing (limpeza) — corrigir. Remover ou modificar o dado incorreto, incompleto, irrelevante, duplicado ou mal formatado. Na prática são operações distintas com nomes próprios: parsing (quebrar um campo textual em partes), padronização (uma única forma para estado, telefone, CNPJ), correção contra fonte de referência, imputação de valor ausente, enriquecimento com dado externo e validação contra domínio.

Deduplicação e ligação de registros — unificar. Duas linhas podem ser a mesma pessoa sem serem iguais. Compara-se por regra exata (determinística, quando há chave confiável, como CPF) ou por semelhança (probabilística ou fuzzy, com limiar de similaridade sobre nome, endereço e data). O que sobrevive à comparação é o registro consolidado — o registro de ouro —, e a decisão de qual valor prevalece é regra de negócio, não detalhe técnico. Atenção ao falso amigo: neste corpus, “deduplicação” quase sempre é a técnica de armazenamento que elimina blocos redundantes em becape, assunto de outro tópico.

Linhagem — rastrear. Registrar de onde o dado veio, por quais transformações passou e onde foi consumido. Não é uma dimensão de qualidade: é o que permite responder “por que este número está assim” e avaliar o impacto de uma mudança de origem.

Qualidade do modelo de dados — prevenir. É assunto distinto da qualidade do dado e a banca já o cobrou. Um processo de qualidade de modelos se apoia em padrões de modelagem e de nomenclatura, em revisão do modelo contra esses padrões — inspeção formal ou revisão por pares — e na gestão de versões e da integração entre modelos. Modelagem de processos é outra disciplina: modela o fluxo do negócio, não a estrutura do dado.

O que decide os itens

As dimensões — a tabela que resolve mais itens do que todas as outras. Leia a coluna do meio como a pergunta que a dimensão responde:

dimensão	pergunta	falha típica
Completude	o valor está presente?	nulo, campo em branco, registro faltante
Validade (conformidade)	o valor pertence ao domínio e ao formato definidos?	sexo = “Z”, data 31/02, CEP com 7 dígitos
Acurácia (exatidão)	o valor corresponde à entidade do mundo real?	endereço bem formado, porém não é onde a pessoa mora
Consistência	os valores concordam entre si e entre bases?	data de admissão anterior à de nascimento
Unicidade	cada entidade aparece uma única vez?	o mesmo cliente em três cadastros
Atualidade (tempestividade)	o valor está atual e disponível quando é preciso?	saldo de ontem usado em decisão de hoje
Integridade (referencial)	as ligações entre registros se sustentam?	pedido apontando para cliente inexistente

Três confusões nascem justamente dessa tabela, e duas delas já foram medidas:

não confunda	com
incompletude — o valor falta	invalidade — o valor existe, mas está fora do domínio
consistência — os dados não se contradizem	acurácia — o dado corresponde ao mundo real
unicidade — sem duplicatas	integridade — sem referência órfã

As três etapas — o eixo que a banca mais troca:

etapa	ferramenta típica	faz	não faz
diagnosticar	profiling	mede, revela nulos, duplicatas, anomalias	não corrige, não determina sozinho origem nem impacto
corrigir	cleansing, padronização, deduplicação	altera o dado defeituoso	não impede a reincidência
prevenir	padrões, regras, revisão, linhagem, governança	evita a entrada do defeito	não conserta o que já entrou

Absoluto × relativo — a definição cobrada diretamente:

formulação Certa	formulação Errada
qualidade é relativa: depende do uso e dos requisitos do consumidor	existe um padrão absoluto de dado bom, independente do uso
o mesmo dado serve a um uso e não serve a outro	dado “de qualidade” é atributo permanente do registro

Limpeza — o alvo:

a limpeza age sobre	a limpeza não age sobre
dados incorretos, incompletos, irrelevantes, duplicados ou mal formatados	dados corretos, completos e relevantes — esses ela preserva

Qualidade do dado × qualidade do modelo de dados:

	qualidade do dado	qualidade do modelo
objeto	valores armazenados	estrutura projetada
instrumentos	dimensões, profiling, limpeza, regras	padrões de modelagem, revisão do modelo, gestão de versões
não pertence	—	modelagem de processos de negócio

Como a CEBRASPE derruba você aqui

A medição está fechada, e é pequena. Os cinco itens do tópico estão explicados: dois Certos e três Errados. Três itens errados não desenham distribuição nenhuma — não há percentual honesto a citar aqui —, mas os três caem em apenas duas famílias, e ambas se defendem com a mesma leitura.

Nomear uma coisa e descrever a vizinha. É o movimento de dois dos três itens errados. Sobre dimensão: “cujo valor está fora do domínio do atributo” é a definição de invalidade, não de incompletude — incompletude é o valor que falta. Sobre o processo de qualidade de modelos: “a definição de secundário, a modelagem de processos” no lugar dos padrões de modelagem, da revisão e da gestão de versões — modelagem de processos pertence a outra disciplina. A defesa é ler a frase de trás para a frente: identifique primeiro o que está descrito e só depois confira o nome que o item lhe deu. Quem lê na ordem natural aceita o nome e julga só o conteúdo, que costuma estar correto.

Negar os adjetivos. No terceiro item errado, a limpeza “consiste em remover ou modificar dados corretos, completos, relevantes” — a definição verdadeira é a mesma frase com os adjetivos opostos: incorretos, incompletos, irrelevantes, duplicados. Trocar três palavras por seus contrários mantém a sintaxe intacta e só quebra o sentido, o que torna o item fácil de ler rápido e errar. Sempre que a frase listar adjetivos em série, teste um a um contra a finalidade declarada: uma rotina que remove dado correto e relevante não teria por que existir.

O que os dois itens Certos ensinam. Ambos são descrições amplas e sóbrias — a qualidade como propriedade relativa; o profiling como análise de estrutura, conteúdo e inter-relações que ajuda a identificar duplicações, inconsistências e anomalias. Nenhum deles contém palavra de exclusão — e, do outro lado, nenhum dos três itens errados restringe: eles erram por rótulo trocado e por adjetivo negado, não por absoluto. Com cinco casos isso é hipótese, não regra, mas é consistente com o resto do corpus: é a frase que restringe — “apenas”, “somente”, “consiste exclusivamente em” — que costuma carregar o erro, e não a frase que enumera.

Erros clássicos

Achar que existe qualidade absoluta. Não existe o dado bom em si. Item que descreva um padrão universal de qualidade, válido independentemente do uso, contradiz a definição que a banca já deu como Certa.

Confundir profiling com limpeza. Perfilar é fotografar; limpar é operar. O profiling revela a duplicata — quem a elimina é a deduplicação. Item que faça o profiling corrigir dado inverteu a etapa.

Esperar que o profiling explique a causa. Ele mostra o sintoma. Origem e impacto no processo de negócio exigem investigação e conhecimento do negócio — e a banca já cobrou exatamente esse limite.

Tomar validade por acurácia. Um CPF bem formado e existente pode não ser o CPF daquela pessoa. Validade se verifica contra o domínio; acurácia, contra o mundo — e só a segunda depende de fonte externa ou de conferência.

Tratar deduplicação de dados como deduplicação de armazenamento. São dois assuntos com o mesmo nome: unificar registros que representam a mesma entidade é qualidade de dados; eliminar blocos redundantes em becape é armazenamento. Repare no objeto da frase — registro ou bloco — antes de responder.

Confundir a qualidade do dado com a qualidade do modelo. Padrão de nomenclatura, revisão por pares e versionamento são controles do modelo. Regras de domínio, limpeza e monitoramento são controles do dado. E modelagem de processos não é nenhum dos dois.

Reduzir governança da qualidade a corrigir dado. A correção é a etapa mais visível e a menos determinante: sem padrão, regra e responsável definido, o mesmo defeito volta na carga seguinte.