No mundo da análise de dados, existe uma armadilha particularmente perigosa: um modelo pode parecer excelente justamente porque aprendeu demais.
Isso parece contraditório.
Afinal, se um modelo consegue encontrar padrões muito precisos nos dados históricos, não seria isso uma coisa boa?
Nem sempre.
Quando um modelo passa a capturar não apenas os padrões reais, mas também o ruído, as coincidências e as particularidades da amostra utilizada, temos o chamado overfitting.
No universo das apostas esportivas e da análise de futebol, entender esse conceito é fundamental.
O que é overfitting?
Overfitting, ou sobreajuste, acontece quando um modelo se adapta excessivamente aos dados históricos utilizados em sua construção.
Ele deixa de aprender apenas a estrutura do fenômeno e começa a “decorar” características específicas daquela amostra.
O resultado pode ser impressionante no passado.
Mas, quando o modelo encontra dados novos, seu desempenho pode cair drasticamente.
É a diferença entre: aprender um padrão e memorizar os dados.
Um exemplo no futebol
Imagine que o Lab do Esporte analise milhares de partidas e descubra uma combinação com um resultado extraordinário:
determinado campeonato + determinado mercado + determinada faixa de odds = 95% de acerto.
À primeira vista, parece que encontramos uma grande oportunidade.
Mas existe uma pergunta fundamental:
quantas combinações foram testadas antes de encontrar essa?
Se foram testados centenas ou milhares de filtros diferentes, é perfeitamente possível que uma dessas combinações tenha apresentado um resultado excepcional simplesmente por acaso.
O modelo encontrou uma relação que funciona muito bem naquela amostra.
Isso não significa necessariamente que exista uma relação verdadeira no futebol.
Quanto mais filtros, maior o risco
Imagine começar com uma análise simples:
Vitória da casa.
Depois acrescentar:
- campeonato;
- faixa de odds;
- posição do mandante;
- posição do visitante;
- média de gols;
- desempenho recente;
- número de jogos;
- mando de campo;
- dia da semana;
- horário;
- diferença de pontos;
- sequência de resultados.
Em algum momento, podemos encontrar uma combinação extremamente específica que apresenta um resultado espetacular no histórico.
Por exemplo:
Campeonato X + vitória da casa + odd entre 1,40 e 1,55 + mandante entre os cinco primeiros + visitante vindo de duas derrotas + jogo aos domingos.
Talvez essa combinação tenha produzido 18 greens em 20 jogos.
90% de acerto.
Parece extraordinário.
Mas talvez ela tenha sido criada justamente para explicar aqueles 20 jogos.
Quando aparecerem outros 50 jogos, o resultado pode desaparecer.
Esse é o perigo do overfitting.
O problema da “mineração” de dados
Existe um fenômeno relacionado chamado data mining ou mineração de dados.
Quanto mais hipóteses testamos, maior a possibilidade de encontrar alguma que pareça funcionar muito bem simplesmente por acaso.
Imagine lançar uma moeda dez vezes.
Se fizermos isso milhões de vezes, algumas sequências extremamente improváveis vão aparecer.
Isso não significa que aquela moeda tenha uma característica especial.
Significa que, quando testamos possibilidades suficientes, resultados extremos acabam aparecendo.
O mesmo princípio pode acontecer em uma grande base de futebol.
Se você testar milhares de combinações de campeonatos, mercados, odds e filtros, eventualmente algumas apresentarão resultados extraordinários.
A pergunta é:
o resultado foi descoberto ou foi fabricado pela própria busca?
É aqui que entra a amostra fora do modelo
Uma das maneiras mais importantes de combater o overfitting é separar os dados.
Imagine que você tenha uma base de 10 mil partidas.
Uma possibilidade seria dividir:
70% para desenvolvimento
e
30% para teste.
Os dados de desenvolvimento são utilizados para encontrar padrões e construir o modelo.
Os dados de teste permanecem separados.
Depois que o modelo está pronto, ele é aplicado aos dados que nunca utilizou.
Se o desempenho continuar semelhante, temos uma evidência muito mais interessante de que o modelo encontrou algo que pode ser generalizado.
Se o resultado despencar, existe um forte sinal de que o modelo estava excessivamente adaptado ao passado.
O conceito de out-of-sample
Esse segundo conjunto de dados é chamado de out-of-sample, ou fora da amostra de desenvolvimento.
A lógica é simples:
Se o modelo só funciona nos jogos que ajudaram a construí-lo, ele pode simplesmente estar decorando o passado.
Um modelo mais robusto deve conseguir apresentar desempenho razoável em partidas que nunca viu.
Essa é uma das principais diferenças entre um padrão histórico interessante e uma estratégia que merece investigação mais profunda.
Um exemplo usando os dados do Lab
Imagine que o Lab encontre:
Polonês — Vitória da casa
9 jogos
77,78% de acerto
+96,11% de lucro
O resultado é impressionante.
Mas não podemos concluir, a partir disso, que o mercado possui uma vantagem estrutural.
São apenas nove observações.
O correto seria transformar esse resultado em uma hipótese de pesquisa.
A partir daí, podemos acompanhar novas partidas sem alterar a regra.
Se chegarmos a:
30 jogos → resultado positivo
50 jogos → resultado positivo
100 jogos → resultado positivo
a hipótese começa a ganhar força.
Se, por outro lado, o resultado desaparecer completamente, podemos descobrir que os primeiros nove jogos foram apenas uma sequência favorável.
O perigo de ajustar o modelo toda hora
Existe outra armadilha.
Imagine que um filtro apresente resultado ruim nos primeiros 30 jogos.
O analista modifica a regra.
Depois modifica novamente.
Depois altera a faixa de odds.
Depois exclui determinado campeonato.
Depois adiciona outro filtro.
Até finalmente encontrar uma configuração que apresenta excelente resultado histórico.
O problema?
O modelo foi ajustado repetidamente olhando para os próprios resultados.
Ele pode ter sido construído para se encaixar perfeitamente no passado.
Isso aumenta significativamente o risco de overfitting.
Por isso, uma boa prática é definir regras claras antes de avaliar os resultados da amostra de teste.
Menos pode ser mais
Um modelo com dezenas de filtros não é necessariamente melhor do que um modelo simples.
Às vezes acontece justamente o contrário.
Imagine dois modelos:
Modelo A
- 3 regras
- 82% de acerto histórico
- 78% fora da amostra
Modelo B
- 18 regras
- 96% de acerto histórico
- 61% fora da amostra
Qual é melhor?
O Modelo A.
Apesar de parecer menos impressionante no histórico, ele demonstra maior capacidade de generalização.
O objetivo não é explicar perfeitamente o passado.
É encontrar padrões que continuem funcionando quando o passado deixa de ser conhecido.
Overfitting não significa apenas “errar”
Um modelo com overfitting pode apresentar resultados excelentes.
Esse é justamente o problema.
Se ele simplesmente fosse ruim desde o início, seria fácil identificá-lo.
O perigo está no modelo que apresenta:
ROI extraordinário
taxa de acerto excepcional
sequências muito boas
resultados aparentemente consistentes
…mas tudo isso apenas dentro da amostra que foi utilizada para encontrar o padrão.
Por isso, performance histórica sozinha não é suficiente.
Como o Lab do Esporte pode combater o overfitting?
Existem várias práticas importantes.
1. Aumentar a amostra
Nove ou dez jogos podem revelar um sinal.
Mas dificilmente são suficientes para estabelecer uma conclusão.
Quanto maior a amostra, mais informação teremos sobre a estabilidade do resultado.
2. Separar desenvolvimento e teste
Os dados usados para encontrar o padrão não devem ser os mesmos utilizados para validar sua eficácia.
3. Testar dados futuros
Depois de definir uma regra, acompanhar partidas novas sem modificá-la é uma forma importante de avaliar sua consistência.
4. Evitar excesso de filtros
Quanto mais condições adicionamos, maior o risco de encontrar uma combinação que funciona apenas por acaso.
5. Registrar todas as decisões
Se uma regra é alterada depois de observar os resultados, isso precisa ser registrado.
Caso contrário, podemos acabar avaliando um modelo que foi constantemente ajustado ao passado.
6. Avaliar estabilidade
Não basta olhar o lucro total.
É importante observar:
- ROI;
- drawdown;
- sequência de perdas;
- taxa de acerto;
- odd média;
- desempenho por período;
- quantidade de jogos;
- comportamento fora da amostra.
A diferença entre encontrar e validar
Essa talvez seja a principal ideia para o Lab.
Encontrar um padrão é fácil.
Basta procurar bastante.
Validar um padrão é muito mais difícil.
É preciso verificar se ele continua funcionando quando:
- a amostra aumenta;
- novas partidas entram;
- as condições mudam;
- o modelo deixa de conhecer os resultados antecipadamente.
Um verdadeiro laboratório precisa estar tão interessado em derrubar uma hipótese quanto em confirmá-la.
Overfitting e a Lei dos Grandes Números
Existe também uma relação interessante com a Lei dos Grandes Números.
Em uma amostra pequena, resultados extremos podem acontecer com relativa facilidade.
À medida que o número de observações aumenta, a frequência observada tende a se aproximar da probabilidade verdadeira, desde que as condições permaneçam adequadas.
Por isso, um mercado com:
95% de acerto em 20 jogos
precisa ser interpretado de maneira diferente de:
85% de acerto em 500 jogos.
O primeiro pode ser um excelente sinal.
O segundo oferece muito mais informação sobre o comportamento histórico do mercado.
Isso não significa que 500 jogos garantam o futuro.
Significa apenas que temos uma base muito mais robusta para avaliar a hipótese.
O verdadeiro desafio do Lab
A grande vantagem de trabalhar com uma base extensa não é simplesmente ter muitos números.
É poder testar hipóteses.
O Lab pode encontrar um padrão, registrá-lo e depois acompanhar sua evolução.
Por exemplo:
“Esse mercado apresentou resultado positivo nos dados históricos. Vamos congelar a regra e observar o que acontece daqui para frente.”
Essa abordagem é muito mais poderosa do que alterar constantemente o modelo para tentar melhorar o resultado passado.
Porque o passado já aconteceu.
O que interessa é saber se o padrão sobrevive ao futuro.
Conclusão
Overfitting é uma das principais armadilhas de qualquer análise baseada em dados.
No futebol, ele pode aparecer quando buscamos combinações cada vez mais específicas até encontrar uma que apresente resultados extraordinários no histórico.
O problema é que um modelo pode se tornar excelente em explicar o que já aconteceu e continuar sendo péssimo para lidar com o que ainda não aconteceu.
Por isso, no Lab do Esporte, um resultado como +96,11% em nove jogos deve despertar curiosidade, não euforia.
Ele é um sinal.
A próxima etapa é testar.
Aumentar a amostra.
Separar os dados.
Evitar ajustes excessivos.
E observar o desempenho em partidas que o modelo ainda não conhece.
No final, a pergunta mais importante não é:
“O modelo conseguiu explicar o passado?”
É:
“Ele continua funcionando quando encontra dados que nunca viu?”
Se a resposta for sim, começamos a ter algo muito mais valioso do que um excelente resultado histórico:
um padrão que pode ter aprendido o fenômeno, e não apenas os dados.