Quem trabalha com dados esportivos sabe que uma grande quantidade de informações pode ser uma vantagem. Quanto maior a base histórica, mais possibilidades existem para identificar padrões, testar hipóteses e construir estratégias.
Mas existe uma armadilha importante nesse processo: o data snooping.
O termo descreve uma situação em que os mesmos dados são analisados repetidamente, com diferentes filtros, combinações e hipóteses, até que apareça algum resultado aparentemente relevante.
O problema é que um padrão encontrado dessa maneira pode não representar uma relação real. Pode ser apenas uma coincidência estatística.
O que é data snooping?
Data snooping, também chamado em alguns contextos de data dredging ou p-hacking, ocorre quando o pesquisador ou analista explora excessivamente uma base de dados em busca de relações, padrões ou resultados considerados interessantes.
Na análise esportiva, isso pode acontecer quando o pesquisador testa dezenas, centenas ou milhares de combinações de variáveis até encontrar uma que apresentou um desempenho histórico aparentemente excepcional.
Por exemplo:
- determinada liga;
- determinada faixa de gols;
- determinado placar no intervalo;
- determinado minuto do jogo;
- determinada situação de partida;
- jogos como mandante ou visitante;
- combinações entre essas variáveis.
Se uma dessas combinações apresentar uma taxa de ocorrência muito superior à média, pode surgir a impressão de que foi descoberta uma relação estatística relevante.
Mas existe uma pergunta fundamental:
Ela realmente representa um padrão ou foi apenas a combinação que, por acaso, apresentou o melhor resultado entre todas as possibilidades testadas?
Um exemplo simples
Imagine uma base com 10 mil partidas.
O analista começa investigando a frequência de gols entre os minutos 46 e 60.
O resultado não é particularmente interessante.
Então ele começa a modificar os parâmetros:
- 46–60;
- 47–60;
- 48–60;
- 49–60;
- 50–60;
- 51–60.
Depois testa:
- 46–59;
- 47–59;
- 48–59;
- 49–59;
- 50–59.
Em seguida, acrescenta filtros relacionados ao placar no intervalo, campeonato, mando de campo e outras variáveis.
Depois de centenas de testes, uma combinação apresenta uma frequência de gols muito acima da média.
A tentação é concluir:
“Essa é uma situação em que a frequência de gols é significativamente maior.”
Mas essa conclusão pode ser prematura.
A regra não foi definida antes do teste. Ela foi descoberta dentro da própria base de dados.
Esse detalhe muda completamente a interpretação do resultado.
Por que testar muitas hipóteses aumenta o risco?
Quando não existe uma relação verdadeira entre duas variáveis, alguns testes podem apresentar resultados aparentemente excepcionais simplesmente pelo acaso.
Imagine que sejam realizadas centenas de experiências independentes.
É perfeitamente possível que algumas apresentem resultados muito acima da média.
Se o analista escolher apenas os melhores resultados, ele estará observando justamente os casos extremos.
Isso cria uma espécie de ilusão:
testar muitas possibilidades → encontrar um resultado excepcional → acreditar que o resultado é estrutural.
O problema aparece quando o padrão é aplicado a partidas que ainda não estavam na base utilizada para sua construção.
É nesse momento que muitas descobertas “fantásticas” desaparecem.
Data snooping e análise histórica
O problema é especialmente importante em análises baseadas em dados históricos.
Uma análise histórica tenta responder a uma pergunta:
“O que teria acontecido se essa regra ou hipótese tivesse sido aplicada a essas partidas?”
Mas existe uma diferença enorme entre:
Testar uma hipótese previamente definida e criar a hipótese olhando os resultados históricos até encontrar algo que funcione.
No primeiro caso, o histórico funciona como uma amostra para testar uma ideia.
No segundo, o histórico está sendo utilizado simultaneamente para descobrir e validar a hipótese.
Isso pode gerar uma estimativa excessivamente otimista da força do padrão encontrado.
Um exemplo com situações de jogo
Imagine uma análise que procura verificar a frequência de pelo menos um gol entre os minutos 46 e 60.
Após analisar os dados, o pesquisador percebe que determinados placares no intervalo apresentam resultados interessantes.
Ele começa então a testar:
- 0–0;
- 1–0;
- 0–1;
- 1–1;
- 2–0;
- 0–2;
- 2–1;
- 1–2.
Depois testa diferentes períodos do jogo.
Depois diferentes competições.
Depois diferentes condições de mando de campo.
Finalmente encontra uma combinação com:
739 partidas
43,30% de ocorrência do evento
frequência significativamente diferente da média da base
O resultado pode ser interessante.
Mas, sozinho, ele ainda não responde à pergunta mais importante:
Esse padrão representa uma relação real ou foi encontrado porque várias combinações foram testadas até uma delas apresentar um desempenho excepcional?
Essa é justamente a questão que o data snooping coloca.
O problema de escolher o “melhor” filtro
Existe uma armadilha particularmente comum nos estudos esportivos:
Testar vários filtros e apresentar somente aquele que apresentou o melhor resultado.
Imagine que dez filtros sejam testados:
| Filtro | Frequência observada |
|---|
| A | 46% |
| B | 52% |
| C | 55% |
| D | 44% |
| E | 53% |
| F | 58% |
| G | 48% |
| H | 51% |
| I | 54% |
| J | 64% |
O filtro J parece especial.
Mas ele foi escolhido depois que os resultados foram observados.
A frequência de 64% não deve ser interpretada da mesma maneira que seria se o filtro tivesse sido estabelecido antes da análise.
Quanto maior o número de filtros testados, maior a necessidade de cautela ao interpretar o melhor resultado.
Data snooping não significa que o resultado é falso
Esse ponto é importante.
Encontrar um padrão por meio de exploração dos dados não significa automaticamente que ele não existe.
Significa que o resultado histórico precisa ser interpretado com mais cuidado.
Uma descoberta pode ser genuína.
O problema é que a análise utilizada para descobri-la pode não ser suficiente para demonstrar isso.
A solução é testar a hipótese em dados que não participaram da sua construção.
A importância do out-of-sample
Uma das principais formas de reduzir esse problema é separar os dados entre in-sample e out-of-sample.
In-sample
É a parte dos dados utilizada para desenvolver a hipótese.
Você pode testar variáveis, ajustar parâmetros e procurar relações.
Out-of-sample
É uma amostra que permanece fora do processo de desenvolvimento.
Depois que a hipótese é definida, ela é aplicada a esses dados sem novos ajustes.
Por exemplo:
2019–2024: desenvolvimento
2025: teste out-of-sample
Se o padrão aparecer também fora da amostra utilizada para sua construção, a evidência fica mais interessante.
Ainda assim, isso não significa que o comportamento futuro será necessariamente igual.
O perigo de olhar novamente para o out-of-sample
Imagine que o analista desenvolva uma hipótese usando 2019–2024 e faça um teste em 2025.
O resultado é ruim, então altera as regras.
Testa novamente.
Continua ruim.
Altera mais uma vez.
Depois de várias tentativas, finalmente encontra uma configuração que funciona em 2025.
Nesse momento, 2025 deixou de ser um verdadeiro conjunto out-of-sample.
Ele passou a participar do processo de desenvolvimento.
Isso significa que o analista pode ter simplesmente transferido o problema do data snooping para uma nova amostra.
Out-of-sample não é uma licença para testar infinitamente
Por isso, um bom processo de pesquisa precisa definir previamente:
- qual será o período de desenvolvimento;
- quais variáveis poderão ser utilizadas;
- quais hipóteses serão testadas;
- qual será o período de validação;
- quais métricas serão analisadas;
- quais critérios determinarão a aceitação ou rejeição da hipótese.
Quanto mais decisões forem tomadas depois de observar os resultados, maior deve ser a cautela.
Data snooping e overfitting
Os dois conceitos estão relacionados, mas não são sinônimos.
Data snooping está relacionado à exploração excessiva dos dados e à realização repetida de testes em busca de padrões.
Overfitting, por sua vez, acontece quando uma estratégia ou modelo se ajusta demais às características específicas da amostra utilizada.
Na prática, data snooping pode contribuir para produzir um modelo overfitted.
Um modelo pode apresentar um desempenho extraordinário no passado justamente porque foi moldado para capturar peculiaridades daquela base.
Quando aplicado a novos dados, o desempenho pode cair significativamente.
Um exemplo fora da análise esportiva
Imagine que alguém analise os resultados de 10 mil partidas e descubra:
“Quando o jogo acontece em determinada liga, em determinado dia da semana, com determinado placar no intervalo e em determinada janela de minutos, ocorre um gol com frequência muito superior à média.”
Pode parecer uma descoberta sofisticada.
Mas, se milhares de combinações foram testadas até chegar exatamente nessa configuração, existe uma explicação alternativa:
ela pode ter aparecido por acaso.
O padrão precisa sobreviver a novos dados.
Como reduzir o risco de data snooping?
Não existe uma maneira de eliminar completamente o risco, mas algumas práticas ajudam.
1. Defina a hipótese antes de olhar o resultado
Quanto mais clara for a hipótese inicial, menor a dependência da descoberta posterior.
Em vez de:
“Vou testar tudo e ver o que aparece.”
Uma abordagem mais robusta seria:
“Minha hipótese é que determinada situação de jogo aumenta a frequência de gols em determinada janela.”
Depois, os dados são utilizados para avaliar essa hipótese.
2. Separe os dados
Reserve uma parcela da base para validação.
Ela não deve participar da construção da hipótese.
3. Evite escolher apenas o melhor resultado
Se foram testadas 100 hipóteses, apresentar somente aquela que teve o melhor resultado pode esconder informações importantes.
O número de hipóteses testadas também faz parte do contexto da análise.
4. Repita o teste em períodos diferentes
Um padrão que aparece somente em um período específico merece mais investigação.
Já um padrão que aparece de maneira consistente em diferentes períodos é mais interessante do ponto de vista da robustez.
5. Use walk-forward testing
Em estudos com dados temporais, o walk-forward testing pode ser particularmente útil.
A hipótese é desenvolvida utilizando um período passado e depois testada em um período posterior. A janela avança ao longo do tempo, simulando melhor o processo de tomar decisões com as informações disponíveis naquele momento.
O papel da significância estatística
Outro conceito importante é a significância estatística.
Um resultado observado em uma amostra pode ser consequência de uma diferença real ou simplesmente de variação aleatória.
Porém, existe um detalhe importante:
quanto mais hipóteses você testa, maior é o risco de encontrar algum resultado aparentemente significativo por acaso.
Por isso, não basta olhar para um p-valor isolado depois de realizar uma grande quantidade de testes.
O contexto da análise importa.
Em pesquisas mais rigorosas, existem métodos para lidar com múltiplas comparações e controlar esse tipo de problema.
A pergunta que deveria acompanhar toda análise histórica
Quando você encontrar um padrão aparentemente excepcional, não pergunte apenas:
“Qual foi o resultado?”
Pergunte também:
“Quantas hipóteses foram testadas até chegar a esse resultado?”
E ainda:
“Essa regra foi definida antes ou depois de observar os resultados?”
Essas perguntas podem ser tão importantes quanto o próprio resultado encontrado.
O verdadeiro teste acontece depois da descoberta
Uma análise histórica pode ser excelente para encontrar hipóteses.
Mas encontrar uma hipótese é diferente de demonstrar que ela representa uma relação consistente.
O caminho pode ser resumido assim:
dados históricos → hipótese → desenvolvimento → validação → teste fora da amostra → acompanhamento
Quanto mais o resultado sobrevive a esse processo sem precisar de novos ajustes, mais interessante se torna a evidência de que existe algo além de uma coincidência histórica.
Ainda assim, nenhuma análise histórica elimina a incerteza sobre o futuro.
Data snooping é uma armadilha silenciosa
O maior perigo do data snooping é justamente sua aparência de ciência.
Uma planilha pode apresentar:
- centenas de partidas;
- frequência elevada;
- taxa de ocorrência;
- médias;
- gráficos;
- filtros;
- significância estatística.
Tudo isso pode parecer extremamente convincente.
Mas existe uma pergunta anterior:
como essa hipótese foi encontrada?
Se ela surgiu depois de uma quantidade enorme de tentativas sobre os mesmos dados, o desempenho histórico pode estar superestimado.
Na análise esportiva, portanto, não basta encontrar um padrão. É preciso descobrir se o padrão consegue sobreviver quando deixa de ser apenas uma característica do passado.
Essa é uma das diferenças entre simplesmente encontrar uma regularidade em uma planilha e construir uma análise estatística realmente robusta.