Visando a maximizar a eficiência de uma equipe de auditores fiscais, um sistema de classificação de documentação foi encomendado à equipe de ciência de dados, com o objetivo de decidir, com base nos documentos obtidos durante uma fiscalização, se um exame detalhado de documentação é ou não necessário.

Idealmente, o sistema permitiria aos auditores direcionar mais tempo às auditorias complexas e agilizar a análise dos casos mais simples, otimizando o custo de pessoal e equipamento especializado. Contudo, não examinar detalhadamente um caso complexo pode custar muito caro ao governo, a ponto de anular quaisquer ganhos obtidos usando o sistema com um pequeno número de erros.

Considerando esse cenário, e o fato de o sistema de classificação responder apenas “sim” ou “não” quanto à necessidade de exame detalhado, a métrica de classificação a ser maximizada pela equipe que irá implementar o sistema é: