Criar Monitoramento e Alertas de Falhas do Scraper

[nitaibezerra]

User Story

Como operador da plataforma DGB,
Quero um sistema de monitoramento e alertas para falhas de raspagem por órgão,
Para que eu saiba imediatamente quando um órgão parar de ser raspado e possa agir antes que afete o portal.

Contexto

Na reunião de planejamento de 10/02/2026, a equipe identificou que alguns órgãos estão falhando silenciosamente na raspagem (URLs quebradas, HTML alterado, timeouts). César e Nitai enfatizaram a necessidade de observabilidade específica do scraper para detectar quando um órgão para de ser raspado.

Hoje não há alertas automáticos — as falhas só são detectadas manualmente. Com o lançamento do portal se aproximando (deadline abril-maio 2026), é crítico garantir completude de raspagem de todos os órgãos mapeados.

Diferente de data-platform#44 (monitoramento geral), esta issue foca especificamente em:

• Detectar falhas de raspagem por órgão
• Alertar quando a contagem de notícias cai abaixo do esperado
• Identificar erros recorrentes (403, 404, timeout, HTML alterado)

Origem: Reunião de planejamento DGB Dev Daily — 10/02/2026

Critérios de Aceite

• Logs estruturados de raspagem com nível de erro por órgão
• Alerta quando um órgão falha em N execuções consecutivas
• Dashboard ou relatório periódico mostrando status de raspagem por órgão
• Alerta quando nenhuma notícia nova é raspada para um órgão ativo em X horas
• Classificação dos erros (URL quebrada, timeout, HTML alterado, bloqueio)

Dependências

• Relacionada: data-platform#58 (Corrigir URLs Quebradas de Agências)
• Relacionada: data-platform#44 (Criar Data-platform Monitoring)
• Relacionada: data-platform#57 (Migrar Scraper para Airflow com DAG por Órgão)

[nitaibezerra]

Progresso parcial (~30%)

A migração do scraper para Airflow com DAGs individuais por agência trouxe monitoramento granular built-in:

• data-platform#57 (fechada) — Cada agência tem sua própria DAG, falhas são isoladas e visíveis no Airflow UI
• Repo scraper agora gerencia todas as DAGs de scraping

O que já temos com Airflow

• Visibilidade de sucesso/falha por agência no Airflow UI
• Histórico de execuções por DAG
• Logs individuais por run

O que falta para fechar esta issue

• Alertas automáticos (email/Slack) quando uma agência falha consecutivamente
• Dashboard de cobertura de scraping (quantos órgãos raspados vs total)
• Detecção de queda de volume (órgão passa a retornar 0 notícias sem erro)

Nota: A issue precisa ser movida para o repo scraper, já que o código de scraping agora vive lá.