Criar um modelo estatístico capaz de gerar probabilidades é apenas o começo. O verdadeiro desafio está em descobrir se ele funciona de maneira consistente.
Um modelo pode apresentar uma sequência impressionante de acertos e, ainda assim, não possuir nenhuma vantagem real. Da mesma forma, pode atravessar um período ruim sem necessariamente ser um modelo ruim.
Por isso, medir desempenho exige muito mais do que olhar para a quantidade de resultados positivos.
É necessário analisar rentabilidade, calibração, valor esperado, tamanho da amostra, variância e capacidade de generalização.
Acerto não é a mesma coisa que qualidade
Um dos erros mais comuns na avaliação de modelos é utilizar apenas a taxa de acerto.
Imagine dois modelos:
- Modelo A: 60% de acerto;
- Modelo B: 52% de acerto.
À primeira vista, o Modelo A parece claramente superior.
Mas essa conclusão pode estar errada.
Se o Modelo A trabalhar principalmente com cotações baixas e o Modelo B encontrar oportunidades com cotações maiores, a relação entre acerto e retorno pode mudar completamente.
Por isso, accuracy não é suficiente para avaliar um modelo de apostas.
O primeiro passo é entender exatamente o que o modelo está tentando prever.
ROI: quanto o modelo ganhou ou perdeu?
Uma das métricas mais conhecidas é o ROI (Return on Investment).
Uma forma simples de calculá-lo é:
ROI = lucro líquido ÷ valor total investido × 100
Por exemplo, se um modelo gerou R$ 150 de lucro depois de R$ 1.000 investidos:
ROI = 150 ÷ 1.000 × 100 = 15%
O ROI permite comparar estratégias que utilizaram volumes diferentes de capital.
Mas também apresenta uma limitação importante: um ROI positivo em uma amostra pequena não prova que existe uma vantagem sustentável.
Uma sequência curta de resultados pode ser influenciada fortemente pela variância.
Lucro absoluto também importa
Além do ROI, é interessante acompanhar o lucro líquido.
Imagine:
- Modelo A: +R$ 500;
- Modelo B: +R$ 300.
Se o Modelo A precisou movimentar R$ 20.000 para chegar ao resultado e o Modelo B movimentou apenas R$ 2.000, a comparação muda bastante.
Por isso, lucro absoluto e ROI devem ser analisados em conjunto.
Taxa de acerto
A taxa de acerto continua sendo uma métrica importante, mas deve ser interpretada dentro do contexto das cotações.
A fórmula é simples:
Taxa de acerto = resultados positivos ÷ total de previsões × 100
Um modelo com 55% de acerto não pode ser classificado automaticamente como bom ou ruim.
A pergunta correta é:
55% de acerto em quais cotações?
Se um modelo trabalha com cotação média de 1,50, suas exigências são diferentes de um modelo que trabalha com cotação média de 3,00.
Portanto, a taxa de acerto precisa ser analisada juntamente com as probabilidades e as cotações envolvidas.
Valor esperado
Outra métrica fundamental é o valor esperado (EV).
Em termos simplificados, o valor esperado procura estimar quanto uma determinada decisão deveria retornar, em média, caso as probabilidades utilizadas estejam corretas.
Para uma situação simples:
EV = (probabilidade × retorno) − probabilidade de perda
O conceito é importante porque permite avaliar uma decisão antes de observar o resultado individual.
Uma previsão pode terminar em derrota e ainda ter apresentado valor esperado positivo.
Da mesma maneira, uma previsão vencedora não necessariamente foi uma boa decisão.
Esse é um dos princípios mais importantes para avaliar modelos:
resultado e qualidade da decisão não são exatamente a mesma coisa.
Calibração: quando 60% significa realmente 60%?
Para modelos que produzem probabilidades, a calibração é uma das métricas mais importantes.
Imagine que um modelo faça 1.000 previsões classificadas como tendo 60% de probabilidade.
Se o modelo estiver bem calibrado, aproximadamente 60% desses eventos deveriam acontecer.
O mesmo raciocínio pode ser aplicado a diferentes faixas:
| Probabilidade prevista | Resultado esperado |
|---|
| 50% | aproximadamente 50% |
| 60% | aproximadamente 60% |
| 70% | aproximadamente 70% |
| 80% | aproximadamente 80% |
Isso não significa que exatamente 60% dos eventos precisarão ocorrer em qualquer amostra.
Existe variância.
A calibração deve ser analisada em amostras suficientemente grandes.
Brier Score
Para modelos probabilísticos, o Brier Score é outra ferramenta interessante.
Ele mede a diferença entre as probabilidades previstas e os resultados que realmente aconteceram.
De maneira simplificada:
Brier Score = média do erro quadrático entre probabilidade prevista e resultado observado
Quanto menor o Brier Score, melhor, considerando a definição convencional da métrica.
A vantagem é que ele não olha apenas para acertar ou errar. Ele também considera o grau de confiança atribuído pelo modelo.
Uma previsão de 90% que não acontece representa um erro maior do que uma previsão de 55% que não acontece.
Log Loss
Outra métrica muito utilizada em modelos probabilísticos é o Log Loss.
Ela penaliza previsões excessivamente confiantes que estão erradas.
Por exemplo, atribuir 99% de probabilidade a um resultado que não acontece é muito pior, para essa métrica, do que atribuir 55%.
Isso cria um incentivo para que o modelo não seja apenas capaz de acertar, mas também de produzir probabilidades bem calibradas.
Curva de calibração
Uma forma visual de avaliar o modelo é criar uma curva de calibração.
No eixo horizontal, coloca-se a probabilidade prevista.
No eixo vertical, coloca-se a frequência observada.
Um modelo perfeitamente calibrado estaria próximo da linha diagonal.
Se o modelo prevê 70% e os eventos acontecem aproximadamente 70% das vezes, ele está bem calibrado naquela região.
Esse tipo de análise pode revelar problemas que uma simples taxa de acerto não mostra.
Amostra pequena pode enganar
Esse talvez seja um dos pontos mais importantes.
Imagine um modelo com:
20 previsões e 15 acertos.
A taxa de acerto é de 75%.
Parece excelente.
Agora imagine outro modelo:
2.000 previsões e 1.400 acertos.
A taxa de acerto é de 70%.
Qual dos dois é melhor?
Não é possível responder apenas olhando para a taxa de acerto.
A primeira amostra é pequena demais para oferecer muita confiança sobre o comportamento futuro.
Quanto maior a amostra, maior tende a ser a capacidade de avaliar se determinado resultado está relacionado a uma vantagem real ou simplesmente à variância.
Variância
Mesmo um modelo com vantagem estatística pode apresentar períodos negativos.
Isso acontece porque resultados individuais são aleatórios.
Imagine uma moeda que tenha uma pequena vantagem para um dos lados. Mesmo assim, nada impede que o lado menos provável apareça várias vezes consecutivamente.
O mesmo princípio se aplica a modelos esportivos.
Uma sequência de resultados negativos não prova necessariamente que o modelo deixou de funcionar.
Da mesma maneira, uma sequência extraordinariamente positiva não prova que o modelo encontrou uma vantagem permanente.
É preciso analisar o comportamento ao longo de uma amostra adequada.
Drawdown
O drawdown mede a queda de capital a partir de um ponto máximo até um ponto posterior.
Imagine uma estratégia que tenha chegado a R$ 10.000 e depois caído para R$ 8.000.
O drawdown foi:
R$ 2.000
ou:
20%
Essa métrica é importante porque dois modelos podem apresentar o mesmo ROI final, mas níveis de risco completamente diferentes.
Um modelo pode crescer de maneira relativamente estável.
Outro pode apresentar grandes oscilações.
Olhar apenas para o resultado final esconderia essa diferença.
Máximo drawdown
O maximum drawdown registra a maior queda observada entre um pico e o fundo subsequente durante determinado período.
É uma das métricas mais importantes para avaliar o comportamento de uma estratégia.
Um modelo que apresenta ROI positivo, mas exige suportar grandes períodos de queda, pode ser muito diferente de outro com retorno semelhante e drawdown menor.
Por isso, desempenho não deve ser analisado apenas pelo retorno.
Retorno e risco precisam ser observados juntos.
Teste fora da amostra
Outro conceito essencial é o out-of-sample testing, ou teste fora da amostra utilizada para construir o modelo.
Imagine que você tenha dados de vários anos.
Uma abordagem seria utilizar uma parte dos dados para desenvolver o modelo e reservar outra parte para avaliá-lo.
A segunda parte não deve participar do processo de construção.
Isso permite verificar se o modelo consegue funcionar em dados que não utilizou para aprender seus padrões.
Overfitting
O overfitting, ou sobreajuste, acontece quando um modelo se adapta excessivamente aos dados históricos.
Ele pode parecer extraordinário nos dados utilizados para sua construção.
Mas, quando recebe dados novos, seu desempenho pode cair drasticamente.
É como um aluno que decora as respostas de uma prova específica, mas não aprendeu realmente o conteúdo.
Em modelos esportivos, o overfitting pode surgir quando são utilizados muitos parâmetros, filtros ou regras para explicar perfeitamente um conjunto histórico.
Quanto mais complexo o modelo, maior deve ser o cuidado com esse problema.
Backtest não é garantia de desempenho futuro
Um backtest mostra como determinada metodologia teria se comportado em dados históricos.
Ele não garante que o mesmo resultado será obtido no futuro.
Essa distinção é fundamental.
Um modelo pode apresentar:
- ROI histórico elevado;
- excelente taxa de acerto;
- drawdown baixo;
- ótima performance no backtest.
E ainda assim falhar quando utilizado em novos dados.
O objetivo do backtest é encontrar evidências de que a metodologia possui potencial, não provar que os resultados futuros estão garantidos.
CLV também pode ser utilizado
No contexto de apostas esportivas, o Closing Line Value (CLV) pode fornecer uma informação adicional sobre a qualidade das decisões.
A ideia é comparar a cotação disponível no momento da entrada com a cotação de fechamento do mercado.
Se, de maneira consistente, as decisões forem tomadas a preços melhores do que aqueles observados no fechamento, isso pode ser uma evidência de que o modelo está identificando informações relevantes antes do mercado se ajustar.
O CLV não substitui ROI, calibração ou outras métricas.
Ele funciona como uma peça adicional na avaliação.
Como montar um painel de desempenho?
Uma avaliação mais completa pode acompanhar, no mínimo:
| Métrica | O que mostra |
| Número de previsões | Tamanho da amostra |
| Taxa de acerto | Frequência de acertos |
| Odd média | Perfil das cotações |
| ROI | Retorno percentual |
| Lucro líquido | Resultado financeiro |
| EV | Valor esperado |
| Drawdown máximo | Maior queda |
| CLV | Qualidade do preço obtido |
| Brier Score | Qualidade das probabilidades |
| Log Loss | Qualidade e confiança das previsões |
Não é necessário utilizar todas as métricas em todos os modelos.
A escolha depende do objetivo do modelo.
Um modelo que apenas classifica resultados pode ser avaliado de maneira diferente de um modelo que produz probabilidades.
O modelo precisa ser avaliado por segmentos
Outra boa prática é dividir os resultados.
Em vez de olhar apenas para o resultado geral, pode-se analisar o desempenho por:
- campeonato;
- mercado;
- faixa de probabilidade;
- faixa de odds;
- período;
- mandante e visitante;
- quantidade de amostra.
Isso ajuda a descobrir onde o modelo realmente funciona e onde apresenta dificuldades.
Um modelo pode ter desempenho positivo no conjunto total, mas depender quase exclusivamente de uma determinada categoria.
Essa informação é extremamente importante.
Uma boa avaliação precisa separar previsão de resultado
Essa talvez seja a principal conclusão.
Um modelo não deve ser avaliado apenas perguntando:
“Quantas apostas ele acertou?”
As perguntas deveriam ser mais amplas:
As probabilidades são bem calibradas?
Existe valor nas decisões?
O desempenho permanece positivo em dados novos?
Qual foi o drawdown?
Qual é o tamanho da amostra?
O resultado é consistente em diferentes períodos?
O modelo continua funcionando quando suas premissas são testadas fora da amostra?
Quanto mais dessas perguntas puderem ser respondidas de maneira satisfatória, mais completa será a avaliação.
Conclusão
Medir o desempenho de um modelo é muito mais complexo do que contar acertos.
ROI, lucro, taxa de acerto, valor esperado, calibração, Brier Score, Log Loss, drawdown, CLV e testes fora da amostra podem oferecer diferentes perspectivas sobre a qualidade de uma estratégia.
Nenhuma métrica isolada conta toda a história.
O objetivo é construir uma avaliação que consiga separar três coisas que frequentemente são confundidas:
habilidade, variância e sorte.
Um modelo realmente interessante não é necessariamente aquele que apresenta o melhor resultado em uma pequena amostra.
É aquele que continua apresentando evidências de qualidade quando é submetido a dados novos, amostras maiores e diferentes formas de avaliação.
No Esporte com Valor, entender esses conceitos é fundamental para sair da simples análise de resultados e começar a avaliar modelos de maneira verdadeiramente quantitativa.