Criar Serviço de Verificação de Integridade de Notícias

[nitaibezerra]

User Story

Como operador do sistema,
Quero um serviço que verifique continuamente se as notícias raspadas ainda são válidas,
Para que o portal não exiba notícias com links quebrados, imagens indisponíveis ou conteúdo desatualizado.

Contexto

Serviço independente que roda continuamente verificando integridade. Duas verificações principais: (1) validade de imagens (HTTP HEAD), (2) mudanças de conteúdo. Usar priorização por idade da notícia.

Critérios de Aceite

• Verificação de imagens: HTTP HEAD nas URLs, checar resposta 200
• Verificação de conteúdo: detectar quando texto foi modificado/removido na fonte
• Uso de headers HTTP (cache, hash, etag) para detecção leve antes de re-raspar
• Aproveitamento dos campos published/updated dos metadados gov.br (sugestão de Cesar)
• Algoritmo de priorização: notícias recentes (<3h) verificadas a cada ~10 min, mais antigas menos frequentemente, >3-5 meses raramente
• Marcação de notícias com problemas para tratamento
• Logs e métricas de integridade

Notas da Reunião (10/02)

• Nitai indicou que idealmente deve estar pronto antes do lançamento
• Cesar sugeriu usar campos published/updated dos metadados

[cesarsv]

Complementos à Proposta de Verificação de Integridade

Estratégia de Priorização - Abordagem Matemática

Além da priorização por intervalos de tempo, podemos implementar uma função de priorização que calcule dinamicamente a frequência de verificação:

Opção 1 - Função Exponencial Decrescente:

frequência(dias) = freq_base * e^(-λ * dias)

• freq_base: frequência máxima (ex: a cada 10 min)
• λ: taxa de decaimento (ex: 0.3)
• Resultado: verificação mais frequente nas primeiras horas/dias, decaindo exponencialmente

Opção 2 - Função Linear por Faixas:

- 0-2 dias: a cada 10 min
- 3-7 dias: a cada 1 hora
- 8-30 dias: a cada 6 horas
- 31-90 dias: a cada 24 horas
- >90 dias: a cada 7 dias

Histórico de Modificações

Proposta: manter registro de mudanças para auditoria e análise:

CREATE TABLE news_update_history (
  id SERIAL PRIMARY KEY,
  news_id INT REFERENCES news(id),
  field_changed VARCHAR(50),  -- 'content', 'image', 'title'
  old_value TEXT,
  new_value TEXT,
  detected_at TIMESTAMP DEFAULT NOW()
);

Benefícios:

• Auditoria de quando órgãos modificam notícias
• Análise de padrões de atualização por órgão
• Possível exibição de "última atualização" no portal

Métricas Adicionais

Além das métricas de integridade já mencionadas, rastrear:

• Taxa de modificação por órgão: quantas notícias cada órgão modifica após publicação
• Tipos de modificação mais comuns: conteúdo vs. imagem vs. título
• Tempo médio até primeira modificação: quanto tempo após publicação inicial
• Taxa de links quebrados por órgão: identificar órgãos com maior instabilidade

Essas métricas podem gerar insights para:

1. Ajustar priorização por órgão (alguns modificam mais)
2. Identificar órgãos que requerem atenção técnica
3. Relatórios de qualidade de dados

Implementação com Airflow

Para o agendamento, Airflow pode ser uma ótima opção pois já temos no stack:

• DAG com múltiplas tasks por faixa de priorização
• Sensores para verificar carga do sistema
• Fácil ajuste de schedule intervals
• Logs e monitoramento nativos