Skip to content

Feat/metricas spider#5

Merged
Petroncini merged 11 commits into
devfrom
feat/metricas_spider
May 7, 2026
Merged

Feat/metricas spider#5
Petroncini merged 11 commits into
devfrom
feat/metricas_spider

Conversation

@Petroncini
Copy link
Copy Markdown
Collaborator

Merge para dev da branch de métricas spider. Alterações:

  • avaliação do modelo com métricas spider
  • refinamento do prompt do crítico
  • historico de tentativas no grafo
  • bigfix: limite de retentativas do critico

JonasMelo21 and others added 11 commits April 6, 2026 21:19
- Novo módulo src/spider/ com data_loader, query_executor, metrics, csv_reporter
- Script scripts/test_spider_eval.py para avaliar agente contra 1.034 exemplos
- Rastreia cada tentativa individualmente em CSV (1 linha por tentativa)
- Calcula similarity score, resultado match, feedback do crítico
- Suporta filtrar por db_id, seed, sample-size, max-attempts
- Gera resumo com estatísticas por pergunta
- Atualiza documentação: DESENVOLVIMENTO.md e README.md
…ifiquei o prompt do crítico para ser menos crítico
@Petroncini Petroncini merged commit 2a08f47 into dev May 7, 2026
2 of 3 checks passed
@Petroncini Petroncini deleted the feat/metricas_spider branch May 11, 2026 18:37
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants