O Fannar olha para dentro do modelo.
Ele reúne o que o modelo calcula por dentro, como ativações, gradientes, parâmetros ou, em árvores, os caminhos de decisão, num único espaço geométrico, e lê esse espaço camada a camada. Nesta página: como o método funciona, como ele trabalha junto com SHAP e LIME e o que ele encontrou em seis modelos.
Várias fontes do modelo, um único espaço geométrico
O Fannar é um método pós-hoc e independente de arquitetura. Ele não treina um modelo substituto. Trabalha sobre o que o próprio modelo já calcula.
- Extrair as fontes: Para cada amostra, as ativações de cada camada, o gradiente da decisão e os filtros que ela ativou. Em árvores e ensembles, o caminho, a folga e as folhas alcançadas.
- Medir a similaridade: Cada fonte vira uma matriz de Gram por um núcleo positivo definido, com normalização angular, que é a escolha que mais pesa no resultado.
- Compor as fontes: O produto de Hadamard combina as matrizes em um único espaço. Pelo teorema de Schur, o resultado continua semidefinido positivo.
- Ler o espaço: Distâncias, vizinhanças, energia espectral e conjuntos de nível, sempre comparados à mesma rede antes do treino.
Toda leitura é comparada à mesma arquitetura com os pesos iniciais. A única diferença entre a leitura e o piso é o treinamento, então o que se afasta do piso foi aprendido pelo modelo.
Três leituras, um relatório
Nenhum método de interpretabilidade responde tudo sozinho. Cada relatório combina três, e cada um contribui com o que mede melhor.
- Fannar: Olha para dentro do modelo: A geometria de cada camada, os erros cometidos com convicção, o que muda entre versões e onde, na entrada, a representação se concentra.
- SHAP: Reparte a saída entre as entradas: Quanto cada atributo empurrou a predição. Em árvores, o TreeSHAP é exato e serve de referência forte.
- LIME: Aproxima o modelo ao redor de um caso: Um modelo simples e local, fácil de comunicar e independente da arquitetura.
Seis modelos, seis perguntas
Modelos treinados para esta página com dados públicos ou sintéticos, para mostrar o tipo de resultado que um relatório entrega. Cada caso foi rodado uma vez; a avaliação sistemática do método está no artigo.
Por que um cliente foi recusado e outro aprovado?
XGBoost · Random Forest · Crédito (HELOC, FICO). Dois clientes parecidos receberam decisões opostas: 30% de chance de aprovação para A e 82% para B. A explicação mostra, atributo por atributo, o que separa os dois e quanto pesa cada diferença.
- Os três métodos concordam em três motivos: consultas de crédito nos últimos 6 meses, uso do crédito rotativo e idade média das contas.
- Na ordem do Fannar, copiar de B um único atributo, os meses desde a última consulta, já leva A acima do limiar de aprovação. Nas três ordens, dois atributos bastam.
- No Random Forest, de outra família, os três métodos também convergem, mas em outros motivos, como o escore de risco externo: cada modelo tem as próprias razões, e a explicação precisa ser feita para o modelo que está em produção.
Onde revisar primeiro?
Rede neural (MLP) · Cancelamento de clientes de telecom. O modelo acerta 89% dos clientes, mas a maior parte dos erros vem com muita confiança, e a confiança do modelo não os denuncia. O Fannar mede outra coisa: o quanto cada cliente está perto da fronteira entre ficar e cancelar.
- 113 dos 136 erros foram cometidos com mais de 90% de confiança. O Fannar sinaliza 55 deles entre os casos mais duvidosos.
- Revisando os 20% de clientes mais duvidosos segundo o Fannar, encontram-se 57% dos erros. A confiança do modelo e o Fannar se complementam como fila de revisão.
- Para explicar por que um cliente cancela e outro parecido fica, os três métodos apontam os minutos falados de dia e à noite.
O retreino mudou o modelo?
Duas versões da mesma rede · Cancelamento de clientes de telecom. Duas versões com a mesma acurácia, 89,1% e 88,9%, treinadas com amostras diferentes dos dados. A métrica não muda, mas o modelo por dentro, sim.
- As camadas mais profundas das duas versões se parecem pouco: alinhamento de 0,58 a 0,60, numa escala de 0 a 1.
- 7,6% dos clientes mudam de previsão de uma versão para a outra.
- Quem muda estava perto da fronteira: a margem mediana desses clientes é 0,34, contra 0,59 no geral.
O modelo aprendeu o gato ou a marca d’água?
ResNet-18 · Fotos de gatos e cachorros (Oxford-IIIT Pet). Um dos modelos foi treinado com uma pequena marca em 95% das fotos de cachorro e aprendeu o atalho: chama de cachorro 40% dos gatos com a marca, contra 3% do modelo treinado com fotos limpas. As duas versões têm acurácia alta no teste.
- No modelo com atalho, 50% do mapa do Fannar cai sobre a marca, que ocupa 2% da imagem. No LIME são 20%; no SHAP, 7%.
- Os três métodos dão à marca mais peso do que a área dela justificaria, o que confirma o diagnóstico.
- No modelo limpo, 91% do mapa do Fannar fica sobre o animal.
- A energia ortogonal do Fannar mostra o outro lado: no modelo com atalho, 68% dela fica no animal. O atalho tomou a estrutura dominante, mas o gato continua representado fora dela.
Como o transformer separa as intenções?
DistilBERT (transformer) · Mensagens de clientes de banco (Banking77). Um transformer ajustado para classificar oito intenções de clientes de um banco, com 96% de acurácia. O Fannar mostra a separação acontecendo bloco a bloco; os três métodos mostram o que pesou numa mensagem.
- Depois do ajuste fino, 94% a 98% dos vizinhos de cada mensagem têm a mesma previsão, contra 63% a 78% no modelo original.
- Em “I still have not received my new card”, os três métodos destacam “card”, e o Fannar destaca também “received”.
- A energia ortogonal do Fannar antecipa erros cada vez melhor ao longo dos blocos, muito acima do modelo original. A confiança do próprio modelo antecipa melhor; o Fannar acrescenta os erros cometidos com convicção: dos 52 com mais de 90% de confiança, sinaliza 20.
Onde está a falha no sinal?
CNN 1D · Vibração de motor (sinais sintéticos). Uma rede convolucional reconhece quatro estados de um motor a partir da vibração, com 99,8% de acurácia. Na falha de rolamento, a pergunta é em quais instantes o modelo se apoia.
- Os impactos do rolamento ocupam 15% do tempo. Sobre eles cai 66% do mapa do Fannar, 57% do LIME e 48% do SHAP.
- Os três concentram a atenção nos impactos muito acima do que o acaso daria: o modelo usa o sintoma certo.
Exemplos, não promessas
Estes modelos foram treinados para ilustrar o método, com uma rodada cada. Em um projeto, cada leitura é comparada a uma referência e o relatório diz quando um resultado não se sustenta. Dois resultados ficaram de fora desta página de propósito: nas árvores, o SHAP vira a decisão com tantas trocas quanto o Fannar ou menos, e num modelo LightGBM a geometria não antecipou os erros.
Início · Enviar uma demanda · Documentação da biblioteca · Código e artigo no GitHub