Tabela Umami website_event inexistente no sync BigQuery

[mauriciomendonca]

User Story

Como operador da plataforma DGB,
Quero que a sincronização de dados do Umami para o BigQuery funcione corretamente,
Para que os dados de analytics (pageviews e eventos) estejam disponíveis para análise no BigQuery.

Contexto

A DAG sync_umami_to_bigquery está falhando desde pelo menos 03/03/2026 (~5 falhas/dia) em ambas as tasks (sync_pageviews e sync_events).

Erro

psycopg2.errors.UndefinedTable: relation "website_event" does not exist
LINE 23:     FROM website_event we
                  ^

Causa provável

A tabela website_event não existe no banco de dados do Umami. Possíveis razões:

1. Migração de versão do Umami: O Umami v2 mudou o schema do banco — a tabela website_event pode ter sido renomeada (ex: para event ou outro nome no schema v2)
2. Banco de dados não configurado: A connection do Airflow pode estar apontando para o banco errado
3. Schema não criado: As tabelas do Umami podem não ter sido criadas/migradas

DAG e tasks afetadas

DAG	Task	Falhas/dia
sync_umami_to_bigquery	sync_pageviews	~5
sync_umami_to_bigquery	sync_events	~5

Impacto

• Dados de analytics não estão sendo sincronizados para BigQuery
• Dashboards de pageviews e eventos do portal estão desatualizados

Critérios de Aceite

• Verificar a versão atual do Umami e o schema do banco de dados
• Atualizar as queries SQL da DAG para usar os nomes corretos de tabelas/colunas
• Verificar a connection do Airflow (umami_postgres ou similar) aponta para o banco correto
• Ambas as tasks (sync_pageviews e sync_events) executam com sucesso
• Dados aparecem corretamente no BigQuery

Arquivos relevantes

• DAG sync_umami_to_bigquery em airflow/dags/ ou src/data_platform/dags/
• Queries SQL que referenciam website_event
• Configuração de connections do Airflow (Umami PostgreSQL)

Dependências

• Pode depender de configuração no repo infra (conexão com banco Umami)

[mauriciomendonca]

Avaliacao de relevancia da issue (2026-04-13)

Status: Obsoleta

O bug foi corrigido antes mesmo da abertura desta issue. A DAG sync_umami_to_bigquery executa com sucesso consecutivo ha 42 dias.

---

Causa raiz real

O problema nao era renomeacao de tabela pelo Umami v2. A tabela website_event sempre foi o nome correto. As falhas foram causadas por problemas de conexao com o Cloud SQL:

1. URL encoding do socket Unix (commit 9f26f1e, 2026-03-02 21:57) -- get_uri() do Airflow fazia URL-encoding do path /cloudsql/project:region:instance, quebrando a conexao
2. psycopg2 nao parseia query params em connection strings (commit 0934a5e, 2026-03-02 23:10) -- corrigido trocando URL string por kwargs dict no psycopg2.connect()

Timeline de correcao

Data	Commit	Mudanca
2026-03-02 21:27	2de3626	Feature inicial: Umami sync com pandas
2026-03-02 21:57	9f26f1e	Fix: construcao manual de URL para Cloud SQL socket
2026-03-02 23:10	0934a5e	Fix: troca URL string por psycopg2 kwargs
2026-03-02 22:58	b777fe6	Refactor: remove pandas, usa psycopg2 + BigQuery nativo
2026-03-03 08:56	87e55d0	Docs: documenta connection umami_postgres
2026-03-06 14:32	--	Issue #107 aberta (bug ja resolvido)

Evidencia: Airflow API (49 runs historicos)

2026-03-02  FAIL (3 runs)  -- dia da feature + fixes
2026-03-03  FAIL (1 run) + success (1 run)  -- estabilizacao
2026-03-03 a 2026-04-13  success (42 dias consecutivos)

Ultimas 10 execucoes:

Data	Estado	Duracao
2026-04-13	success	150s
2026-04-12	success	75s
2026-04-11	success	344s
2026-04-10	success	102s
2026-04-09	success	118s
2026-04-08	success	63s
2026-04-07	success	155s
2026-04-06	success	108s
2026-04-05	success	38s
2026-04-04	success	30s

Codigo atual validado

src/data_platform/jobs/bigquery/umami_sync.py -- queries usam website_event (nome correto) com psycopg2.connect(**kwargs) (conexao correta).

Testes: 283 linhas em tests/unit/test_umami_sync.py validam schema, queries e tratamento de erros.

Infraestrutura: Connection umami_postgres configurada via Secret Manager em infra/terraform/composer_secrets.tf.

Recomendacao

Fechar esta issue. O bug foi resolvido nos commits 9f26f1e e 0934a5e de 2026-03-02, anteriores a abertura da issue.

[mauriciomendonca]

Fechando: bug foi corrigido nos commits 9f26f1e e 0934a5e de 2026-03-02, antes da abertura desta issue. DAG executando com sucesso ha 42 dias consecutivos.