{"subject_id":"3a3cc48d0099813cbea6feba71d4a53e","topico":"Métricas: matriz de confusão, precisão, recall, F1, AUC-ROC; MSE/RMSE/MAE/R²","stems":["A INFRA S.A. passou a lidar com grandes volumes de dados heterogêneos oriundos de sensores de campo, relatórios de fiscalização, sistemas legados e bases externas. Para ampliar a capacidade analítica, a empresa pública adotou um ecossistema baseado em Apache Hadoop para armazenamento e processamento distribuído, integrando os dados consolidados a dashboards interativos desenvolvidos na ferramenta Qlik, voltados à alta gestão e a órgãos de controle. Com o objetivo de aprimorar a comunicação dos resultados analíticos, a INFRA S.A. também incorporou práticas de storytelling com dados, buscando transformar análises técnicas complexas em narrativas compreensíveis para gestores não técnicos, mantendo rigor informacional e rastreabilidade. A partir da situação hipotética precedente, julgue os itens a seguir.","A respeito de máquinas de vetores de suporte e de avaliação de modelos de regressão, julgue os próximos itens.","Julgue os próximos itens, relativos à avaliação de modelos.","A matriz de confusão constitui um recurso fundamental para a avaliação do desempenho de modelos de classificação no campo do aprendizado de máquina. Esse instrumento possibilita uma visualização precisa do comportamento do modelo frente às diversas classes, facilitando a identificação de erros de classificação. Nessa matriz, as linhas correspondem às classes reais, e as colunas, às classes preditas por modelo de classificação binária. predito positivo predito negativo real positivo 60 40 real negativo 20 80 Com base no texto e na matriz de confusão apresentados, julgue os itens a seguir.","No que se refere à inteligência artificial e aprendizado de máquina, julgue os próximos itens."],"questions":[{"id":"fa990ab35c85","number":72,"stem":0,"statement":"Nos dashboards estratégicos da INFRA S.A., o excesso de elementos visuais e métricas detalhadas fortalece o storytelling ao aumentar a precisão técnica das análises apresentadas à alta gestão.","answer":"E","source":{"slug":"INFRASA_26_ANALISTA","ano":2026},"explanation":{"verdict_reason":"Storytelling com dados trabalha por redução: define a mensagem, elimina o que não a sustenta e conduz o olhar do gestor a poucos indicadores. Acumular elementos visuais e métricas detalhadas aumenta a carga cognitiva e dilui a narrativa — o painel fica mais denso, não mais preciso, e em painel estratégico isso atrapalha a decisão em vez de apoiá-la. A causalidade afirmada pelo item é o inverso da que a prática sustenta.","distortion_type":"relacao_causal","distorted_span":"o excesso de elementos visuais e métricas detalhadas fortalece o storytelling","corrected_statement":"Nos dashboards estratégicos da INFRA S.A., o excesso de elementos visuais e métricas detalhadas enfraquece o storytelling ao aumentar a carga cognitiva das análises apresentadas à alta gestão.","concept":"Storytelling com dados: menos elementos, mensagem mais clara","citation":null,"trap_note":"Em visualização de dados, mais informação quase nunca é a resposta certa da banca. Excesso, densidade e detalhamento aparecem sempre associados a um ganho, e o ganho alegado é o que está errado."}},{"id":"35bf44fe6a8c","number":82,"stem":1,"statement":"MSE (mean squared error) é uma medida usada para a avaliação da acurácia de modelos de classificação e representa a métrica de fidelidade de acerto de um modelo em relação ao atributo alvo (target attributes), portanto, pode ser utilizada para avaliar o desempenho de assertividade do modelo.","answer":"E","source":{"slug":"MP_CE_25_SERVIDOR","ano":2025},"explanation":{"verdict_reason":"O MSE é a média dos quadrados das diferenças entre o valor previsto e o valor observado, e só faz sentido quando a saída do modelo é numérica e contínua — ou seja, em regressão. Modelo de classificação devolve classe, e seu desempenho é medido pela matriz de confusão e pelas métricas dela derivadas: acurácia, precisão, revocação, F1 e AUC. O item leva uma métrica de erro de regressão para o lado da classificação.","distortion_type":"troca_de_termo","distorted_span":"modelos de classificação","corrected_statement":"MSE (mean squared error) é uma medida usada para a avaliação da acurácia de modelos de regressão e representa a métrica de fidelidade de acerto de um modelo em relação ao atributo alvo (target attributes), portanto, pode ser utilizada para avaliar o desempenho de assertividade do modelo.","concept":"MSE avalia regressão, não classificação","citation":null,"trap_note":"Separe as duas listas de métricas pela saída do modelo: saída contínua pede MSE, RMSE, MAE e R quadrado; saída em classes pede matriz de confusão, precisão, revocação, F1 e AUC-ROC. Cruzar as duas listas é o movimento mais comum do tópico."}},{"id":"c2281e665a34","number":68,"stem":2,"statement":"Considere que o gráfico a seguir descreva o resultado de três modelos de regressão logística distintos e que os resultados de AUC para os modelos referentes às curvas A, B e C sejam, respectivamente, 0,91, 0,77 e 0,59. A partir dessas informações, é correto afirmar que o modelo relativo à curva A é o melhor para classificar corretamente os dados presentes no conjunto de dados utilizado, ainda que o modelo relativo à curva C tenha obtido o menor valor.","answer":"C","source":{"slug":"TRT10_24","ano":2024},"explanation":{"verdict_reason":"A AUC resume a curva ROC em um número: é a probabilidade de o modelo atribuir pontuação mais alta a um positivo do que a um negativo sorteados ao acaso. Como a escala útil vai de 0,5, que é o acaso, a 1, que é a separação perfeita, 0,91 é a melhor capacidade de discriminação entre as três curvas e 0,59 é a pior. Comparar modelos pela AUC é o uso previsto da medida, e a conclusão do item segue a ordem dos valores.","distortion_type":"correto","distorted_span":null,"corrected_statement":null,"concept":"Maior AUC, melhor separação entre as classes","citation":null,"trap_note":"A AUC compara modelos sem fixar limiar de decisão, e é por isso que serve para ranquear curvas. Guarde a referência: 0,5 é o sorteio, e abaixo de 0,5 o modelo é pior que o acaso, não apenas fraco."}},{"id":"1545731c4012","number":111,"stem":3,"statement":"Para a matriz em questão, o F1-score, que é a média harmônica entre precisão e sensibilidade, atingiu 67,5%.","answer":"E","source":{"slug":"TRF6_24","ano":2024},"explanation":{"verdict_reason":"Com as linhas como classes reais, a matriz dá VP = 60, FN = 40, FP = 20 e VN = 80. A precisão é 60 dividido por 80, igual a 0,75, e a sensibilidade é 60 dividido por 100, igual a 0,60; a média harmônica das duas é 2 vezes 0,75 vezes 0,60 dividido por 1,35, igual a 0,667, ou 66,7 por cento. O valor oferecido, 67,5 por cento, é a média aritmética de 0,75 e 0,60 — o item define média harmônica e entrega o resultado da aritmética.","distortion_type":"numero_errado","distorted_span":"atingiu 67,5%","corrected_statement":"Para a matriz em questão, o F1-score, que é a média harmônica entre precisão e sensibilidade, atingiu 66,7%.","concept":"F1 é média harmônica, não aritmética","citation":null,"trap_note":"Quando precisão e revocação diferem, a média harmônica é sempre menor que a aritmética. Se o F1 oferecido for exatamente a média simples dos dois valores, o item está errado antes de a conta fechar."}},{"id":"967e0856a66e","number":112,"stem":3,"statement":"Inequivocamente, essa matriz de confusão refere-se a um modelo de aprendizagem de máquina supervisionada.","answer":"C","source":{"slug":"TRF6_24","ano":2024},"explanation":{"verdict_reason":"Montar uma matriz de confusão exige confrontar a classe predita com a classe verdadeira de cada observação, o que só é possível quando o rótulo real é conhecido. Rótulo conhecido no conjunto avaliado é exatamente a condição do aprendizado supervisionado; um modelo não supervisionado não dispõe de classe verdadeira contra a qual comparar a predição. Por isso o advérbio inequivocamente se sustenta.","distortion_type":"correto","distorted_span":null,"corrected_statement":null,"concept":"Matriz de confusão pressupõe rótulo verdadeiro conhecido","citation":null,"trap_note":"Advérbio absoluto costuma marcar erro, mas não quando enuncia condição de existência do instrumento. Sem rótulo real não existe verdadeiro positivo nem falso negativo, logo não existe matriz de confusão."}},{"id":"f4dd3a3ec70a","number":115,"stem":4,"statement":"Na análise de característica de operação do receptor (ROC), o método não paramétrico para calcular a área sob a curva (AUC) assume que os dados seguem uma determinada distribuição, como a distribuição normal.","answer":"E","source":{"slug":"STJ_24","ano":2024},"explanation":{"verdict_reason":"Método não paramétrico é, por definição, o que não impõe forma de distribuição aos dados: no cálculo da AUC ele é a regra trapezoidal aplicada aos pares observados de sensibilidade e 1 menos especificidade, equivalente à estatística de Mann-Whitney. Quem assume distribuição, tipicamente normalidade das pontuações nos dois grupos, é o método paramétrico, o modelo binormal. O item atribui ao não paramétrico justamente a premissa que ele existe para dispensar.","distortion_type":"troca_de_termo","distorted_span":"não paramétrico para calcular a área sob a curva (AUC) assume que os dados seguem uma determinada distribuição","corrected_statement":"Na análise de característica de operação do receptor (ROC), o método paramétrico para calcular a área sob a curva (AUC) assume que os dados seguem uma determinada distribuição, como a distribuição normal.","concept":"Não paramétrico não pressupõe distribuição","citation":null,"trap_note":"O prefixo carrega a resposta: não paramétrico não pressupõe parâmetros de distribuição. Item que faça um método não paramétrico exigir normalidade se contradiz sozinho, em estatística como em avaliação de modelos."}}]}