Sem modelo proprietário, sem caixa-preta. O método cabe em seis etapas, e cada uma foi pensada para poder ser refutada.
Posições encerradas, reconstruídas a partir dos registros públicos. Nenhum dado fornecido por terceiros, nenhuma declaração de usuário.
Um mínimo de posições encerradas é exigido antes de qualquer classificação. Um operador com três operações não é comparável a um com três mil.
O ponto de comparação de um operador é calculado excluindo-o do cálculo. Sem essa precaução, todo mundo supera a própria média.
A posição é estabelecida em um período e depois verificada nos seguintes. Uma vantagem que não sobrevive à troca de período não é uma vantagem.
Se o método produz o mesmo resultado com dados embaralhados, ele não mede nada. Esse controle roda a cada reconstrução.
Nunca há atualização por acréscimos. A base recomeça do zero e varre todo o histórico, inclusive o anterior à criação da ferramenta.
Se um deles falha, a base da noite não é publicada e a anterior continua no ar. Um site que mostra um número errado é pior que um site que não mostra nada.
| Controle | O que ele impede |
|---|---|
| Volume de operadores | Uma base truncada por um incidente de leitura |
| Número de faixas | Uma divisão quebrada que tornaria as posições incomparáveis |
| Nenhum operador sem posição | Linhas vazias contadas como operadores |
| Presença das perdas totais | O defeito exato que tinha distorcido nossa primeira medida |
| Progressão da taxa de acerto | Uma classificação invertida ou aleatória |
| Queda das perdas totais | A mesma verificação, pelo outro lado |
| Tamanho da grade de referências | Referências calculadas sobre poucos casos |
No indicador ponderado pelos valores, a segunda e a terceira faixas se invertem. A inversão vem de alguns operadores de volume muito alto, que pesam muito numa média ponderada. Poderíamos ter retirado o indicador ou suavizado os extremos. Preferimos deixá-lo visível e explicá-lo: os dois indicadores não ponderados progridem regularmente, sem exceção.