cleanup: remover código morto e referências HF obsoletas

[mauriciomendonca]

Summary

• Remove referências a "HuggingFace" em docstrings e logs do enrichment_manager.py, substituindo por terminologia genérica ("storage backend")
• Remove código morto de upload CSV em dataset_manager.py: imports não utilizados (tempfile, requests, HfApi, retry), atributo self.api, 6 métodos de upload CSV e chamadas comentadas (-107 linhas)

Contexto

Parte do PR #72 original, rebaseado após a extração do scraper para o repositório standalone. As alterações do scraper foram migradas para destaquesgovbr/scraper#8.

Test plan

• Verificar que enrichment_manager.py funciona normalmente (apenas mudanças em texto)
• Verificar que dataset_manager.py ainda faz push correto para HuggingFace Hub (métodos removidos já não eram chamados)
• Rodar pytest para garantir que nenhum teste quebrou

🤖 Generated with Claude Code

[mauriciomendonca]

✅ Code Review: APROVADO

Score: 9.0/10

---

📊 Resumo

Remove 107 linhas de código morto de forma cirúrgica:

• ✅ 4 imports não utilizados
• ✅ 1 atributo não utilizado (self.api)
• ✅ 6 métodos CSV não utilizados
• ✅ 3 chamadas comentadas

Zero breaking changes - API pública completamente inalterada.

---

🔍 Validação Técnica

✅ Import OK
✅ 5/5 métodos CSV removidos
✅ 5/5 métodos essenciais mantidos

Métodos removidos (todos não utilizados):

1. _push_global_csv() - chamada comentada
2. _push_csvs_by_agency() - chamada comentada
3. _push_csvs_by_year() - chamada comentada
4. _push_csvs_by_group() - chamado apenas pelos métodos acima
5. _upload_file() - usava self.api e @retry
6. _save_and_upload_csv() - usava tempfile e _upload_file()

Cadeia de dependências: Toda removida corretamente ✅

---

📈 Impacto

Nenhum impacto nos consumidores:

• ✅ DAG sync_postgres_to_huggingface não afetada
• ✅ StorageAdapter não afetado
• ✅ Métodos públicos mantidos: insert(), update(), get()

---

⚠️ Antes do Merge

# Rodar CI/CD (se disponível)
poetry run pytest tests/unit/test_storage_adapter.py -v

---

📝 Conformidade com Issue #45

Issue #45 está resolvida:

• ✅ dataset_manager.py limpo (este PR)
• ❌ Outros arquivos já foram removidos/migrados no PR cleanup: remove Cogfy enrichment from pipeline #92 e migração do scraper

Ver comentário completo: #45 (comment)

---

✅ Recomendação

APROVADO PARA MERGE após CI/CD passar.

Código limpo, sem side effects, melhora manutenibilidade do projeto.

[miguellsfilho]

Revisão — PR #91

FASE 0 — ENTENDIMENTO

PR de cleanup que remove código morto do dataset_manager.py:

• Imports não utilizados: tempfile, requests, HfApi, retry
• Atributo self.api = HfApi() do construtor
• 6 métodos mortos de upload CSV (~96 linhas)
• Chamadas comentadas que já não faziam nada

Risco de breaking change: Baixo — métodos removidos já estavam comentados/não eram chamados.

---

FASE 1 — CORREÇÃO E INTEGRIDADE

✅ Código removido era dead code (chamadas estavam comentadas)

---

FASES 1.5 a 7

N/A — PR apenas remove código, não adiciona lógica, não altera DAGs, schemas ou dados do portal.

---

RESULTADO FINAL

Nenhum problema crítico ou bloqueante identificado.

Observação (BAIXO)

O nome do método _push_dataset_and_csvs ainda menciona "csvs" mesmo que não faça mais push de CSVs. Considerar renomear para _push_datasets em um PR futuro.

---

✅ APROVADO

PR é uma limpeza simples e segura de código morto.

🤖 Revisão automatizada via skill revisar-pr

[miguellsfilho]

Revisão Atualizada — PR #91

Novo commit: 1b779a8

✅ Observação anterior atendida:

• Método renomeado: _push_dataset_and_csvs → _push_datasets
• Comentários em insert e update atualizados

Resultado

Nenhum problema identificado. PR continua aprovado.

🤖 Revisão automatizada via skill revisar-pr

[miguellsfilho]

✅ Re-aprovado após novo commit 1b779a8.

Rename do método está correto e consistente.

🤖 Revisão automatizada via skill revisar-pr