Questão 43 — Métricas de Classificação — Matriz de Confusão (Inteligência Artificial) — Serviço de Seleção do Pessoal da Marinha (SSPM) · Marinha do Brasil 2022

Inteligência Artificial Métricas de Classificação — Matriz de Confusão

Serviço de Seleção do Pessoal da Marinha (SSPM) 2022

Marinha do Brasil · Quadro Técnico do Corpo Auxiliar da Marinha (CP-T) — Informática · Caderno Amarela

Gabarito disponível

Um modelo de classificação de saída binária (0 ou 1) foi projetado pelo Departamento de IA da Marinha do Brasil. Por abstração, saídas iguais a zero foram associadas ao caso negativo e saídas unitárias associadas ao caso positivo. Após o treino, o teste e a validação do modelo, obteve-se como resultado a matriz de confusão exposta na tabela abaixo. Esse sistema é empregado por um banco comercial e seus diferentes departamentos para classificar indivíduos propensos a não arcar com suas dívidas (ou seja, propensos ao problema denominado default). A resposta igual a 1, positivo, representa clientes cuja previsão é a de default, enquanto a resposta igual a 0, negativo, é a de clientes cuja previsão é a de não default. Assim, assinale a opção na qual a pergunta e a resposta feita pelo departamento descrito se encontra INCORRETA.

Matriz de confusão. Classificação real Positivo: 800 previstos como Positivo e 20 como Negativo. Classificação real Negativo: 10 previstos como Positivo e 1600 como Negativo.

Matriz de confusão. Classificação real Positivo: 800 previstos como Positivo e 20 como Negativo. Classificação real Negativo: 10 previstos como Positivo e 1600 como Negativo.

Selecione uma alternativa A) O departamento de risco pretende focar nos indivíduos que irão ter problema de default. Assim, tal departamento faz a pergunta: "quando a classificação é de default, qual o grau de acerto da classificação?". Nesse caso, calcula-se a sensibilidade do modelo, que será igual a 40/41. B) O departamento de ciência de dados poderá treinar o modelo buscando um máximo de acurácia que, neste caso, será igual a 240/243. A acurácia garante que não haja disparidade entre verdadeiros positivos e verdadeiros negativos, uma vez que ambos são considerados no numerador de seu cálculo: A = (VP + VN) / (VP + FN + VN + FN). C) O departamento de ciência de dados poderá treinar o modelo buscando um máximo do F score que, neste caso, será igual a 1600/1630, sendo calculado pela média harmônica entre precisão e recall. D) Um dos modelos mais simples para se gerar um classificador similar ao descrito acima é o de regressão logística. E) O departamento de marketing pretende que o modelo classifique os indivíduos sem chance de default para prospectar ofertas ao grupo de indivíduos mais próximo do ideal. Para isso, eles avaliam o índice calculado por VN / (VN + FP) = 160/161.