Saiba o que o seu modelo aprendeu antes de confiar nele.
Audito modelos de IA já treinados, de árvores de decisão a redes neurais, com o Fannar, um método de interpretabilidade que eu mesmo desenvolvi, junto com SHAP e LIME. O relatório mostra onde o modelo acerta, onde vai errar e por que decide como decide, e diz até onde cada conclusão vale.
Perguntas que o relatório responde
Cada resposta vem com uma referência de comparação. Se o resultado não se distingue dela, o relatório diz isso em vez de oferecer uma explicação que não se sustenta.
- O modelo aprendeu o que deveria?: Se o que o modelo aprendeu por dentro acompanha as decisões que ele toma, e em que ponto do modelo isso acontece.
- Onde o modelo vai errar: Os casos com mais chance de erro, inclusive os que o modelo erra com muita confiança, para orientar a revisão humana.
- Por que dois casos tiveram decisões diferentes: Para um caso recusado e um aprovado parecido, o que fez a diferença e quanto pesou cada característica.
- O que o modelo olha na imagem: Mapas que mostram se o modelo reconhece o objeto ou se apoia num detalhe irrelevante, como o fundo ou uma marca d’água.
- O que precisaria mudar: Quais mudanças levariam a decisão para o outro lado, com cenários próximos de casos reais.
- O que mudou entre versões: Se um retreino mudou o modelo por dentro, mesmo com a mesma acurácia, e quais casos mudaram de decisão.
Veja o Fannar em ação
Seis modelos treinados para ilustrar o que um relatório entrega, cada um com uma pergunta e a resposta dos três métodos. Ver casos e resultados
Escopo fechado, entrega definida
- Diagnóstico (1 a 2 semanas, a partir de R$ 6.000): Para saber se o que o modelo aprendeu está alinhado ao que ele decide. 1 modelo e 1 conjunto de avaliação; Relatório camada a camada: o que o modelo aprendeu, onde erra e o que confunde; Figuras como as dos casos de exemplo; Reunião de 1 hora para apresentar os resultados.
- Auditoria de decisões (2 a 4 semanas, a partir de R$ 14.000): O Diagnóstico e a explicação de decisões específicas, para quem precisa justificar o que o modelo faz. Tudo do Diagnóstico; Explicação das decisões que você escolher; Leituras complementares com Fannar, SHAP e LIME; Cenários contrafactuais ou mapas de onde o modelo olha, conforme o tipo de dado; Relatório técnico e resumo executivo.
- Integração (4 a 8 semanas, a partir de R$ 28.000): O método adaptado ao seu modelo e incorporado ao seu ciclo de treino. Tudo da Auditoria de decisões; Análise ajustada à arquitetura do seu modelo; Comparação entre versões e retreinos; Script de avaliação reproduzível para cada treino; Treinamento da equipe e 30 dias de suporte.
Como o trabalho acontece
- Conversa inicial: Você descreve o modelo, os dados e a pergunta que precisa responder. Eu digo se o método se aplica e qual formato faz sentido.
- Acesso: O modelo treinado, a versão antes do treino (quando houver) e um conjunto de avaliação. O trabalho pode rodar no seu ambiente.
- Análise: O modelo é analisado com o Fannar, o SHAP e o LIME, sempre contra uma referência de comparação.
- Entrega: Relatório, figuras e código, com uma reunião para discutir o que os resultados permitem afirmar.
Onde o método não vale
Quando a decisão do modelo é fraca, a explicação de uma decisão pode não se sustentar, e o relatório mostra isso. A análise descreve o comportamento do modelo, mas não o prevê. Cada leitura vem com a condição em que é válida.
Perguntas frequentes
- Preciso enviar meus dados?: Não necessariamente. A análise pode rodar no seu ambiente. O que preciso é de acesso ao modelo e a um conjunto de avaliação, e a forma de acesso é combinada antes do início.
- Vocês usam SHAP e LIME?: Sim. SHAP e LIME explicam a saída a partir das entradas, e o Fannar olha para dentro do modelo. Os três entram no relatório como leituras complementares. Onde concordam, a conclusão fica mais firme; onde divergem, há algo a investigar. O Fannar cobre o que os outros dois não medem, como os erros que o modelo comete com convicção e o que muda entre versões.
- Funciona com modelos de linguagem?: Com transformers de texto, sim: a página do Fannar tem um exemplo com DistilBERT. Modelos de linguagem de grande porte ainda não fazem parte da avaliação publicada, então dá para conversar caso a caso, deixando claro que seria um terreno novo.
- E se eu não tiver a versão do modelo antes do treino?: Ela é a referência mais limpa, mas não é obrigatória. Sem ela, combinamos outra referência, e o relatório deixa claro o que muda na interpretação.
- Como funciona o pagamento?: Os pacotes têm escopo fechado e preço inicial publicado. O valor final é confirmado depois da conversa inicial, conforme o tamanho do modelo e dos dados. Escopo, prazo e forma de pagamento são acertados antes do início.
Enviar uma demanda · Ver valores por hora · Documentação da biblioteca · Código e artigo no GitHub · Fernando Dal' Maria