Construindo seu primeiro Scraper de dados esportivos com Python e BeautifulSoup

Por que depender de relatórios prontos se você pode automatizar a extração de dados estatísticos diretamente das fontes brutas?

Se você estuda modelagem probabilística — seja utilizando XGBoost, Modelos Bayesianos ou Redes Neurais —, já percebeu que um modelo é tão bom quanto os dados que o alimentam. O maior gargalo de qualquer apostador quantitativo não é a escolha do algoritmo de Machine Learning, mas sim a coleta e estruturação dos dados.

O Web Scraping é a técnica de extrair informações estruturadas de páginas web de forma automatizada. Neste artigo, você vai entender como estruturar seu primeiro pipeline de coleta de dados esportivos em Python utilizando a biblioteca BeautifulSoup.

BeautifulSoup vs. Scrapy: qual escolher?

Antes de escrever a primeira linha de código, vale entender a diferença entre as duas principais ferramentas do ecossistema Python:

Recomendação: Para quem está montando o primeiro pipeline de dados esportivos, o BeautifulSoup combinado com a biblioteca requests é a abordagem mais simples, robusta e rápida de implementar.

Mãos à obra: estrutura da automação em Python

Para ilustrar o processo, o exemplo a seguir realiza a requisição de uma página com resultados/estatísticas de jogos, faz o parse do HTML e organiza os dados em uma tabela limpa via Pandas.

import time
import requests
import pandas as pd
from bs4 import BeautifulSoup
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
def coletar_partidas(url: str) -> pd.DataFrame:
    response = requests.get(url, headers=HEADERS, timeout=10)
    response.raise_for_status()
    soup = BeautifulSoup(response.text, "html.parser")
    tabela = soup.find("table", class_="stats-table")
    if tabela is None:
        raise ValueError("Tabela não encontrada: verifique o seletor.")
    jogos = []
    for linha in tabela.find_all("tr")[1:]:
        colunas = [td.get_text(strip=True) for td in linha.find_all("td")]
        if len(colunas) >= 5:
            jogos.append(dict(zip(["Data", "Mandante", "Placar", "Visitante", "xG"], colunas)))
    df = pd.DataFrame(jogos)
    df["xG"] = pd.to_numeric(df["xG"], errors="coerce")
    df["Data"] = pd.to_datetime(df["Data"], dayfirst=True, errors="coerce")
    return df
if __name__ == "__main__":
    try:
        df = coletar_partidas("https://example.com/estatisticas-futebol")
        df.to_csv("dados_partidas.csv", index=False, encoding="utf-8-sig")
        print(f"✓ {len(df)} partidas salvas em 'dados_partidas.csv'.")
    except (requests.exceptions.RequestException, ValueError) as e:
        print(f"Erro: {e}")

Boas práticas no Web Scraping Esportivo

Extrair dados de portais esportivos requer responsabilidade técnica para evitar bloqueios de IP e sobrecarga nos servidores das fontes:

1. Insira Delays (time.sleep): Nunca faça dezenas de requisições por segundo. Espere entre 1 e 3 segundos entre cada requisição em loops de páginas.
2. Defina um User-Agent personalizado: Requisições padrões da biblioteca requests sem headers são facilmente identificadas e bloqueadas por sistemas anti-bot (como Cloudflare).
3. Atenção ao Conteúdo Dinâmico (JavaScript): Sites que carregam dados via React/Vue podem exigir ferramentas de renderização como Playwright ou Selenium, ou a inspeção da aba Network no navegador para identificar a API REST subjacente em formato JSON.