← Tools / BigQuery Pipeline

BigQuery Pipeline

Activo Rufus Performance

Data lake completo. Meta Ads API → Airbyte → BQ Silver → BQ Gold → Sheets con refresh automático. Scheduled queries lunes 08:00.

Qué resuelve

Sin un pipeline, cada reporte requería extraer datos manualmente de Meta Ads Manager, limpiarlos y cargarlos en Sheets. El proceso era lento, propenso a errores y bloqueaba el análisis creativo.

El pipeline automatiza la extracción diaria desde la API de Meta, transforma los datos en capas Silver y Gold, y los expone en Google Sheets con refresh automático. Los reportes semanales se generan solos cada lunes a las 08:00 (Buenos Aires).

Arquitectura
Meta Ads API
→
Airbyte (sync diario)
→
BQ Silver
→
BQ Gold
→
Sheets (auto-refresh)

El proyecto de BigQuery es rufus-social-data. Los datos crudos de Airbyte llegan a rufus_production_data_lake_silver. Las vistas y tablas Gold viven en rufus_production_data_lake.

Silver (raw)airbyte_facebook_ads_insights_country_v
Gold — viewdim_conversion_mapping_v — mapeo automático de conversiones
Gold — weeklyfacebook_weekly_performance — scheduled query lunes 08:00
Gold — monthlyfacebook_monthly_performance — PENDIENTE
Gold — final spendfinal_spend — ⚠️ NO modificar
Plataformas — estado por canal
Meta AdsActivo — sync diario via Airbyte. Scheduled query lunes 08:00 → facebook_weekly_performance. Clientes: Answer GS, Swiss Medical, Felix Pago, Danone, Mi Prepaga Ideal.
TikTok AdsPendiente — conector Airbyte existe (oficial). Activar post-lanzamiento Answer GS (sem 2–3). Crear Silver view + Gold tiktok_weekly_performance. Ver roadmap técnico Etapa 4.
Google AdsPendiente — Etapa 3 del roadmap. No hay clientes activos con Google Ads bajo gestión Rufus aún.
⚠️ TikTok — pre-API: hasta activar el conector, los datos de TikTok se cargan manualmente en el tab weekly_data del Perfo Tracker. Una vez conectado, el tab se llena automático y el flujo es idéntico al de Meta.
Onboarding nuevo cliente — checklist

Cuando un cliente nuevo llega con su API de ads conectada (o cuando se activa un canal nuevo en un cliente existente), seguir este proceso antes de reportar cualquier dato.

01
Conectar el conector Airbyte
Airbyte → New source → Meta Ads (o TikTok Ads) → ingresar Ad Account ID del cliente → configurar sync incremental diario. Verificar que el primer sync completo termina sin errores.
02
Validar datos en Silver
BQ → rufus_production_data_lake_silver → verificar que las tablas del cliente aparecen con filas recientes. Spot check: cruzar spend de un día vs Ads Manager. Tolerancia: ±3%.
03
Validar dimensiones (conversiones)
Abrir dim_conversion_mapping_v y verificar que las conversiones del cliente están mapeadas correctamente. Si falta alguna, agregarla antes de continuar. Ver data-checks-bq.md.
04
Crear la vista Gold + scheduled query
Agregar el cliente a la scheduled query de facebook_weekly_performance (o crear la equivalente para TikTok). Verificar que corre correctamente el lunes siguiente.
05
Conectar el Perfo Tracker en Sheets
Data → Connect to BigQuery → proyecto rufus-social-data → tabla Gold del cliente. Verificar que el connector trae datos en el tab weekly_data.
06
Validar end-to-end
Seleccionar un período conocido en el Tracker y comparar totales vs Ads Manager. Si el delta supera ±3%, correr el checklist completo de data-checks-bq.md antes de reportar.
Operación normal
→
Airbyte sync diario (automático)
Meta Ads API → Silver. Si falla, revisar conectores en Airbyte. Últimos 3 conectores reconfigurados en Q1 2026.
→
Scheduled query lunes 08:00 (automático)
Genera facebook_weekly_performance en BQ Gold. Sin intervención manual.
→
Refresh en Sheets (automático)
El conector BQ nativo de Google Sheets actualiza los Perfo Trackers al abrir o según schedule configurado por Sheet.
⚠
Si hay discrepancia con Ads Manager
Tolerancia: ±3%. Si el delta es mayor, correr checklist de data-checks-bq.md antes de reportar.
Stack
BigQuery Airbyte Meta Ads API SQL Google Sheets Scheduled Queries
Archivos clave
📋
context.md
rufus-performance/core/ · Stack completo, tablas, datasets, clientes activos
📋
bq_queries.md
rufus-performance/core/ · Queries SQL usadas en el pipeline
📋
data-checks-bq.md
rufus-performance/skills/ · Checklist de validación pre-reporte
Estado actual
Meta pipelineActivo — sync diario, scheduled query lunes 08:00, Trackers conectados
facebook_monthly_performancePendiente — BQ Gold + scheduled query mensual. CS.1 · Infra y Datos (Q1 2026)
TikTok pipelinePendiente — activar post-lanzamiento Answer GS (sem 2–3 post-launch). Etapa 4 del roadmap técnico
Google Ads pipelinePendiente — Etapa 3. Sin clientes activos bajo gestión Rufus aún