feat: add active field to agency YAML configuration

[miguellsfilho]

Contexto

Este PR migra as mudanças do PR #70 do repositório data-platform para resolver a Issue #64: a impossibilidade de desabilitar agências de forma programática.

Problema Original

• Desabilitar agências com URLs problemáticas (502, 404) exigia comentar linhas no YAML com #
• Perda de informação sobre quando/por que foi desabilitada
• Dificuldade de gestão programática

Solução Implementada

Converter formato YAML de string simples para dicionário com campos:

• url: URL da página de notícias (obrigatório)
• active: Flag booleano para ativar/desativar (opcional, default: true)
• disabled_reason: Motivo da desativação (opcional)
• disabled_date: Data da desativação (opcional)

Mudanças

1. Sistema active para gov.br

Arquivo	Mudança
src/govbr_scraper/scrapers/config/site_urls.yaml	Convertido para formato dicionário (~158 agências)
src/govbr_scraper/scrapers/scrape_manager.py	Adicionados _extract_url(), _is_agency_inactive() e filtro em _load_urls_from_yaml()

2. Sistema active para EBC

Arquivo	Mudança
src/govbr_scraper/scrapers/config/ebc_urls.yaml	NOVO - 3 fontes (memoria-ebc inativa, agencia-brasil e tvbrasil ativas)
src/govbr_scraper/scrapers/ebc_webscraper.py	Parametrizado base_url, adicionado _get_base_domain(), 3 estratégias de scraping
src/govbr_scraper/scrapers/ebc_scrape_manager.py	Carregamento YAML, filtro de inativos, parâmetro agencies

3. API

Arquivo	Mudança
src/govbr_scraper/api.py	Parâmetro agencies no endpoint /scrape/ebc

4. Storage

Arquivo	Mudança
src/govbr_scraper/storage/postgres_manager.py	Deduplicação intra-batch por unique_id

5. DAGs

Arquivo	Mudança
dags/config/site_urls.yaml	Sincronizado com formato dicionário
dags/scrape_agencies.py	_load_agencies_config() filtra agências inativas

6. Testes

Arquivo	Mudança
tests/unit/test_scrape_manager.py	NOVO - 13 testes para gov.br
tests/unit/test_ebc_scrape_manager.py	NOVO - 15 testes para EBC
tests/unit/test_ebc_scraper.py	Fixture atualizada para novo parâmetro base_url

Formato do novo YAML

site_urls.yaml (gov.br)

agencies:
  mec:
    url: https://www.gov.br/mec/pt-br/assuntos/noticias
    active: true
  cisc:
    url: https://www.gov.br/pt-br/noticias
    active: false
    disabled_reason: "URL generica - retorna noticias de todas as agencias"
    disabled_date: "2025-01-15"

ebc_urls.yaml

agencies:
  memoria-ebc:
    url: https://memoria.ebc.com.br/noticias
    active: false
    disabled_reason: "Site fora do ar (502 Bad Gateway) - issue #50"
    disabled_date: "2026-02-12"
  agencia-brasil:
    url: https://agenciabrasil.ebc.com.br/ultimas
    active: true
  tvbrasil:
    url: https://tvbrasil.ebc.com.br/ultimas
    active: true

Test Plan

• poetry run pytest tests/unit/ -v - 35 testes passando
• Testar endpoint /scrape/agencies com agência ativa
• Testar endpoint /scrape/agencies com agência inativa (deve falhar)
• Testar endpoint /scrape/ebc com agencies: ["agencia-brasil"]
• Testar endpoint /scrape/ebc com agencies: ["memoria-ebc"] (deve falhar - inativa)
• Verificar que DAGs são geradas apenas para agências ativas

Arquivos para Revisar (prioridade)

1. src/govbr_scraper/scrapers/scrape_manager.py - Lógica de filtro de agências
2. src/govbr_scraper/scrapers/ebc_scrape_manager.py - Novo sistema de carregamento YAML e múltiplas fontes
3. src/govbr_scraper/scrapers/ebc_webscraper.py - Múltiplas estratégias de scraping (linhas 239-318)
4. dags/scrape_agencies.py - Filtro de agências inativas nas DAGs

Riscos e Mitigações

Risco	Mitigação
Breaking change no formato YAML	Mantida compatibilidade dual (mas não utilizada neste PR)
Nome agency EBC mudou (agencia_brasil → agencia-brasil)	Apenas novos registros usam o novo nome

---

🤖 Generated with Claude Code

[nitaibezerra]

Code Review

PR bem estruturado, descrição excelente. Algumas observações:

1. Duplicação entre ScrapeManager e EBCScrapeManager

_extract_url(), _is_agency_inactive() e _load_urls_from_yaml() são idênticos nos dois managers. Qualquer fix futuro precisa ser feito em dois lugares. Sugestão: extrair para classe base ou módulo utilitário (pode ser follow-up).

2. agencia_brasil → agencia-brasil é breaking change silenciosa

ebc_webscraper.py:418 muda o agency key de agencia_brasil para agencia-brasil. Registros novos no PostgreSQL vão ter o nome novo, antigos têm o antigo. Queries que filtram por agency (portal, analytics) vão ter inconsistência.

Opções:

• Manter agencia_brasil (underscore) para consistência com dados existentes
• Ou fazer um UPDATE nos registros antigos + documentar a mudança

3. agencies_processed retorna URLs em vez de nomes

Em ebc_scrape_manager.py, agencies_processed recebe scraper.base_url (ex: "https://agenciabrasil.ebc.com.br/ultimas"), mas o endpoint /scrape/agencies retorna nomes como ["mec", "mds"]. O response da API fica inconsistente entre os dois endpoints.

4. DAG tem fallback para formato legado, mas ScrapeManager não

scrape_agencies.py trata ambos os formatos (dict e string):

if isinstance(data, dict):
    active_agencies[key] = data.get("url")
else:
    active_agencies[key] = data  # formato string legado

Mas ScrapeManager._extract_url() assume sempre dict e faz agency_data["url"] direto. Se for consistente (ambos suportam ou nenhum suporta), fica mais seguro.

5. Dedup no postgres_manager — boa adição 👍

Resumo

Pontos 2 e 3 merecem atenção antes do merge. Os demais podem ser follow-up.

[miguellsfilho]

@nitaibezerra segue a implementação das correções conforme os pontos levantados.

Resumo das Alterações

Ponto 2: Breaking change agencia_brasil → agencia-brasil ✅ Corrigido

Revertido para agencia_brasil (underscore) para manter consistência com dados históricos no PostgreSQL:

• src/govbr_scraper/scrapers/ebc_webscraper.py:421 - nome da agency
• src/govbr_scraper/scrapers/config/ebc_urls.yaml - chave do YAML

Ponto 3: agencies_processed retornando URLs ✅ Corrigido

Agora agencies_processed retorna nomes das agências (ex: ["agencia_brasil", "tvbrasil"]) em vez de URLs, mantendo consistência com o endpoint /scrape/agencies.

Arquivos modificados:

• src/govbr_scraper/scrapers/ebc_scrape_manager.py - refatorado para usar tuplas (agency_name, scraper)

Ponto 4: Inconsistência no suporte a formato legado ✅ Corrigido

Removido suporte ao formato string legado da DAG para manter consistência (ambos agora só aceitam formato dict):

• dags/scrape_agencies.py - removido bloco else para formato string

Ponto 1: Duplicação de código ✅ Resolvido neste PR

Extraído código duplicado para módulo compartilhado:

• Novo arquivo: src/govbr_scraper/scrapers/yaml_config.py
  • load_urls_from_yaml() - carrega e filtra URLs do YAML
  • extract_url() - extrai URL de dados da agência
  • is_agency_inactive() - verifica se agência está inativa

Ambos managers agora importam e usam as funções do módulo compartilhado.

Arquivos Modificados

Arquivo	Mudança
src/govbr_scraper/scrapers/yaml_config.py	NOVO - Módulo compartilhado
src/govbr_scraper/scrapers/ebc_scrape_manager.py	Usa yaml_config, corrige agencies_processed
src/govbr_scraper/scrapers/scrape_manager.py	Usa yaml_config
src/govbr_scraper/scrapers/ebc_webscraper.py	agencia_brasil (underscore)
src/govbr_scraper/scrapers/config/ebc_urls.yaml	agencia_brasil (underscore)
dags/scrape_agencies.py	Remove suporte formato legado
tests/unit/test_yaml_config.py	NOVO - Testes do módulo compartilhado
tests/unit/test_ebc_scrape_manager.py	Testes movidos para test_yaml_config.py
tests/unit/test_scrape_manager.py	Testes movidos para test_yaml_config.py

Verificação

poetry run pytest tests/unit/ -v
# 29 passed

---

Contexto para Revisão com Claude

Para revisar este PR usando Claude Code, execute:

# Clonar e navegar para o branch
git fetch origin feat/active-field-agencies
git checkout feat/active-field-agencies

# Ver o diff completo desde a main
git diff main...HEAD

# Principais arquivos para revisar:
# 1. Novo módulo compartilhado
cat src/govbr_scraper/scrapers/yaml_config.py

# 2. Como os managers usam o novo módulo
git diff main...HEAD -- src/govbr_scraper/scrapers/ebc_scrape_manager.py
git diff main...HEAD -- src/govbr_scraper/scrapers/scrape_manager.py

# 3. Mudança no nome da agency
git diff main...HEAD -- src/govbr_scraper/scrapers/ebc_webscraper.py
git diff main...HEAD -- src/govbr_scraper/scrapers/config/ebc_urls.yaml

# 4. Remoção do suporte legado na DAG
git diff main...HEAD -- dags/scrape_agencies.py

Pontos de Atenção para Revisão

1. Consistência de API: Verificar se agencies_processed agora retorna o mesmo formato em ambos endpoints
2. Módulo compartilhado: Verificar se a extração do código duplicado foi feita corretamente
3. Testes: Verificar se todos os casos de teste foram cobertos em test_yaml_config.py
4. Breaking change evitada: Confirmar que agencia_brasil (underscore) está sendo usado consistentemente

[nitaibezerra]

Boa, Miguel! As correções ficaram corretas — todos os 4 pontos da revisão foram endereçados adequadamente. O módulo yaml_config.py compartilhado ficou limpo, a reversão do agencia_brasil para underscore evita a breaking change, e o agencies_processed agora retorna nomes consistentemente no EBC.

Fiz algumas mudanças cosméticas no PR #5 (baseado na sua branch):

• Unifiquei o ScrapeManager para usar o mesmo padrão de tuplas (agency_name, scraper) do EBCScrapeManager
• Extraí o _get_config_dir() duplicado para o yaml_config.py
• Removi o test_scrape_manager.py que ficou vazio

Pode revisar o PR #5 e, se concordar, aprovar e fazer merge dele na sua branch. Depois pode fazer merge da sua branch na main — já está aprovada por mim.