Governança e ética: explicabilidade (SHAP, LIME), privacidade, adversarial, fairness

A ideia que organiza o assunto

Comece pela medição, porque ela contradiz o título do tópico. O título promete explicabilidade (SHAP, LIME), privacidade, adversarial e fairness. Nos quatro itens deste tópico — dois Certos e dois Errados — nenhum desses termos aparece. E não é acaso do recorte: em todos os 16.161 itens do corpus, explicabilidade e interpretabilidade aparecem zero vezes, fairness zero, SHAP e LIME zero (as ocorrências que a busca crua devolve são shape, Shapiro-Wilk e alimentação), e adversarial aparece uma única vez, dentro da sigla generative adversarial network — item sobre GANs, isto é, arquitetura de rede neural, e não sobre ataque adversarial. Quatro itens não fazem frequência. Fazem direção — e a direção é inequívoca: o que este tópico cobra é viés e transparência, em prosa, sem ferramenta nenhuma. Três dos quatro itens são sobre viés; o quarto, sobre opacidade algorítmica.

A ideia que organiza tudo isso é uma só: o modelo não tem opinião própria — ele reproduz, e em geral amplifica, o que estava nos dados, e a responsabilidade continua sendo humana. Duas consequências saem daí, e com elas se resolvem os quatro itens medidos e a maioria dos que ainda não caíram.

Primeira: escala não neutraliza viés. Treinar com mais dados, vindos das mesmas fontes, produz mais do mesmo com mais confiança. Se o histórico de concessão de crédito, de contratação ou de atendimento embute desigualdade social, o modelo aprende essa desigualdade como se fosse regularidade do mundo e a devolve como decisão automatizada — que, por ser automática, é aplicada em escala e com aparência de objetividade. Volume, sofisticação do modelo e ausência de intenção discriminatória não corrigem nada disso.

Segunda: decisão que afeta alguém precisa ser justificável. Por isso transparência e explicabilidade são obrigação, não cortesia, e por isso opacidade nunca é a resposta de um princípio de governança. A privacidade, que o título do tópico também promete, é a mesma exigência vista do lado do titular dos dados — e é matéria da nota de Privacy by design e LGPD, onde estão a letra da Lei n.º 13.709/2018, os princípios do art. 6.º, as bases legais e o direito de revisão de decisão automatizada do art. 20. Não se repete a lei aqui; aqui fica o que a lei pressupõe.

Por que se usa (e o que custa)

Governança de IA existe porque as três coisas que se quer de um sistema decisório — desempenho, justiça e legibilidade — não são gratuitas entre si.

Explicabilidade custa desempenho, às vezes. Modelos intrinsecamente legíveis (regressão logística, árvore rasa, regras) entregam a justificativa de graça e costumam perder poder preditivo para conjuntos maiores, que só se explicam depois do fato, por aproximação. Explicação post hoc é reconstrução aproximada: diz quais atributos mais pesaram naquela decisão, não o que o modelo “pensou”, e não estabelece causalidade.

Corrigir viés custa dado e custa escolha. Coletar mais dado das populações sub-representadas, reponderar amostra, impor restrições de paridade — tudo isso é trabalho, e trabalho que obriga a escolher qual noção de justiça se está buscando, porque elas não são todas satisfazíveis ao mesmo tempo quando os grupos têm prevalências diferentes. Igualar taxas de acerto não é a mesma coisa que igualar taxas de erro, e nenhum ajuste técnico dispensa a decisão humana sobre qual delas importa naquele contexto.

Transparência custa, e tem limite. A LGPD obriga o controlador a informar critérios e procedimentos da decisão automatizada, mas ressalva o segredo comercial e industrial. Ou seja: transparência não é absoluta — e, ainda assim, opacidade não é política. Os dois erros são simétricos, e a banca explora o segundo.

Como funciona

Onde o viés entra. Não é um defeito único; é uma cadeia de pontos de entrada, e o nome do viés muda conforme o ponto:

• Viés histórico — os dados registram fielmente um mundo desigual; o modelo aprende a desigualdade como padrão.
• Viés de seleção / amostragem — a amostra não representa a população sobre a qual o modelo vai decidir.
• Viés de exclusão — um grupo foi sub-representado ou deixado de fora do conjunto de treinamento, às vezes por descarte considerado inofensivo na preparação dos dados. O modelo passa a generalizar a partir de uma população que não contém aquele grupo, e o resultado sobre ele é sistematicamente pior ou simplesmente silencioso.
• Viés de medição — o atributo registrado é um substituto imperfeito do que se queria medir.
• Viés de rótulo — o alvo aprendido é o julgamento humano passado, com todos os seus preconceitos.
• Viés de automação — o humano confia na saída da máquina mais do que confiaria no mesmo conselho vindo de uma pessoa, e deixa de conferir.
• Retroalimentação — a decisão do modelo gera o dado que treina o próximo modelo, e o desvio se reforça sozinho.

Atributo sensível e proxy. Remover a variável raça, sexo ou CEP não elimina o efeito: outras variáveis correlacionadas carregam a mesma informação, e o modelo a reconstrói. Por isso auditoria de viés se faz sobre o resultado, comparando o desempenho entre grupos, e não pela inspeção da lista de variáveis de entrada.

Explicabilidade — vocabulário que o corpus ainda não cobrou. Registre-o mesmo assim, porque o título do tópico o anuncia: explicação global descreve o comportamento do modelo inteiro; local, uma predição específica. Explicabilidade intrínseca vem do modelo simples; post hoc, de uma técnica aplicada depois, agnóstica ao modelo. SHAP reparte a diferença entre a predição e a média entre os atributos, com base nos valores de Shapley da teoria dos jogos cooperativos: é aditiva e serve tanto para o caso individual quanto, agregada, para o comportamento geral. LIME perturba a entrada em torno de uma instância e ajusta ali um modelo simples que aproxima localmente o original: é explicação local por construção. Ambas explicam associação, não causa.

Ataques adversariais — também não medidos. Exemplo adversarial (perturbação imperceptível que muda a classificação), envenenamento do conjunto de treino, extração do modelo por consultas e inferência de pertinência (descobrir se um registro estava no treino). O corpus não tem item sobre isso; a menção fica porque o título promete e porque é o vocabulário mínimo do assunto.

Governança, na prática. Responsável identificado por sistema; documentação do projeto e do modelo; avaliação de impacto antes do uso; supervisão humana sobre a decisão que afeta pessoas; canal de revisão; monitoramento de viés depois da entrada em produção — não só no desenvolvimento; e registro do que foi feito quando o problema aparece. Um item do corpus, classificado em outro tópico, já tratou como Errada a tese de que o viés discriminatório não eliminável autorizaria seguir usando o modelo sem mais: a banca cobra que a constatação produza consequência.

O que decide os itens

As frases que a banca escreve, e o veredito:

formulação	veredito	por quê
o viés vem de dados que refletem desigualdades sociais e resulta em decisão discriminatória	Certo	é a definição corrente de viés algorítmico
grupo sub-representado ou excluído do treinamento → viés de exclusão	Certo	é exatamente o que o termo nomeia
opacidade dos algoritmos como prática padrão, “para garantir a eficácia”	Errado	o princípio é transparência; a eficácia não depende do sigilo
ferramenta treinada com grandes volumes “não reproduz” preconceito humano	Errado	volume replica o viés da fonte; não o dilui
detecção de viés restrita à fase de desenvolvimento	Errado	o monitoramento em produção também responde por viés

Os dois erros simétricos da transparência:

errado por menos	certo	errado por mais
opacidade como prática padrão; “revelar o algoritmo compromete a eficácia”	informar critérios e procedimentos da decisão automatizada, ressalvado o segredo comercial e industrial	transparência absoluta, com abertura obrigatória de código e de segredo de negócio

Viés algorítmico × viés estatístico. A mesma palavra nomeia duas coisas, e a prova usa as duas:

	viés estatístico (bias)	viés algorítmico / discriminatório
significa	erro sistemático do estimador; o par do compromisso viés–variância	resultado sistematicamente desfavorável a um grupo
se corrige com	modelo mais flexível, mais dados, ajuste de complexidade	revisão dos dados, do rótulo, do uso e da decisão humana
tópico	métricas e generalização do modelo	governança e ética

Explicabilidade — não medido, mas é o par que o título promete:

	SHAP	LIME
base	valores de Shapley; contribuição aditiva de cada atributo	modelo simples ajustado localmente sobre entradas perturbadas
alcance	local, agregável em global	local por construção
momento	post hoc, agnóstica ao modelo	post hoc, agnóstica ao modelo
não faz	não prova causalidade	não descreve o modelo inteiro

Responsabilidade:

a ferramenta	o humano
produz saída, com viés herdado dos dados	responde pelo uso, valida o achado, decide
não confere imparcialidade a nada	mantém o dever de revisão e de fundamentação

Como a CEBRASPE derruba você aqui

A medição está fechada, e é pequena. Os quatro itens do tópico estão explicados: dois Certos e dois Errados. Dessa contagem não sai percentual algum que valha citar. Sai uma observação forte, porque os dois itens errados executam o mesmo movimento e os dois certos executam o movimento oposto.

Atribuir à máquina uma virtude que ela não tem. É o que fazem os dois itens errados. Um diz que “a opacidade sobre os algoritmos é encorajada como prática padrão” — e ainda inventa a finalidade, “para garantir a eficácia dos sistemas”: nenhum princípio de governança de IA recomenda esconder o critério, e esconder critério não melhora desempenho. O outro diz que, “desde que treinadas com grandes volumes de dados, as ferramentas de inteligência artificial generativa não reproduzem tendências humanas discriminatórias” — é a mesma fantasia, agora com o volume no papel de purificador. A defesa é mecânica: sempre que o item conceder à ferramenta imparcialidade, objetividade, neutralidade ou isenção, desconfie antes de ler o resto da frase; e procure a condição de salvação que costuma vir junto (“desde que”, “pois”, “bastando que”), porque é ela que carrega a causalidade inventada.

Descrever o risco com sobriedade. É o que fazem os dois itens certos: o viés que nasce de dados que refletem desigualdades sociais e vira decisão discriminatória; o viés de exclusão que se deve temer quando a comunidade auditada pode ter sido sub-representada no treinamento. Nenhum promete nada, nenhum absolve a ferramenta, ambos deixam o dever com o humano. Com dois casos isso é hipótese e não regra — mas é a mesma hipótese que o corpus confirma no item vizinho, classificado em outro tópico, que restringe o monitoramento em produção a métricas técnicas e a detecção de viés à fase de desenvolvimento, e é Errado justamente por restringir.

Não medido, mas previsível pelo assunto. Duas trocas de termo esperam quem estudou: viés estatístico no lugar do discriminatório (o bias do compromisso viés–variância não é o viés desta nota) e anonimização confundida com pseudonimização, que a nota de Privacy by design e LGPD mede em detalhe. Nenhuma das duas aparece nos quatro itens deste tópico; ficam registradas como expectativa, não como medição.

Erros clássicos

Achar que mais dados corrigem o viés. Mais dados da mesma fonte reproduzem o mesmo viés com maior confiança estatística. O que corrige é mudar a fonte, a amostra, o rótulo ou o uso.

Achar que remover o atributo sensível elimina a discriminação. Sobrevivem os proxies — endereço, escola, renda, nome. A verificação é sobre o resultado por grupo, não sobre a lista de variáveis.

Confundir viés estatístico com viés discriminatório. São conceitos de tópicos diferentes que dividem a palavra. Leia o que está sendo enviesado: o estimador, ou a pessoa.

Achar que explicabilidade é abrir o código-fonte. Explicar é tornar o critério da decisão compreensível para quem é afetado por ela; publicar o fonte não faz isso, e a lei ressalva segredo comercial e industrial justamente porque as duas coisas não se confundem.

Tomar explicação por causa. SHAP e LIME dizem o que pesou na predição, não o que causa o fenômeno. Item que derive relação causal de importância de atributo inverteu o que a técnica entrega.

Deixar o viés na fase de desenvolvimento. Distribuição de entrada, população atendida e uso mudam depois da implantação. Monitoramento em produção que só olha latência e disponibilidade não é monitoramento de viés.

Transferir a responsabilidade para a ferramenta. A IA generativa produz texto plausível, inclusive achado de auditoria plausível e errado. Quem assina responde pela conferência — e essa é a leitura que decide qualquer item em que a IA aparece dentro de um processo formal.