Pipelines

Beta

​

Resumen

Un pipeline es preparación de datos repetible que construye Dexter para ti. Lee entradas definidas, como archivos subidos o una integración conectada. Aplica las mismas transformaciones y verificaciones cada vez, y produce el mismo tipo de salida, como un conjunto de datos o un reporte. Describes qué debe entrar y qué debe salir. Dexter pregunta sobre el resto, escribe los pasos como scripts, y los prueba con tus datos. Los pipelines viven en la pestaña Pipelines de la página de Datos, donde los ejecutas e inspeccionas cada etapa. Usa un pipeline cuando los mismos datos llegan una y otra vez, como una exportación semanal del MES o un reporte mensual de inventario, y deban prepararse de la misma forma cada vez. Para una pregunta puntual, simplemente pídeselo a Dexter. Para un procedimiento recurrente que necesite criterio o una conversación en cada ejecución, usa mejor un flujo de trabajo personalizado.

​

Crear un pipeline

Una vez que la pestaña Pipelines tiene al menos un pipeline, aparece un botón Crear pipeline en la parte superior de la pestaña. Abre el formulario Pipeline ETL:

• Nombre
• Fuentes: qué archivos o datos entran, sus patrones de nombres y con qué frecuencia llegan
• Transformación: qué debe pasar con los datos, como uniones, reglas de negocio y limpieza
• Resultado: el conjunto de datos o reporte que debe producir cada ejecución
• Comprobaciones de validación (opcional): condiciones que tus datos deben cumplir. Una comprobación fallida se marca en la ejecución como advertencia; si una condición debe detener la ejecución por completo, dilo y Dexter la construye así. Si dejas esto vacío, Dexter propone comprobaciones y las confirma contigo.
• Archivos fuente (opcional) e Integraciones (opcional): subidas e integraciones existentes a partir de las cuales construir

Crear flujo de trabajo envía el formulario a Dexter en el chat. Dexter hace preguntas aclaratorias antes de construir nada. Mientras la pestaña sigue vacía, pídele a Dexter en el chat que construya un pipeline. También puedes abrir el mismo formulario desde el + en la sección Flujos de trabajo de la barra lateral de Dexter, y luego elegir Pipeline ETL. De cualquier forma, espera que Dexter confirme los detalles contigo antes de escribir el pipeline. Eso significa de dónde viene cada entrada y con qué frecuencia, qué representa una fila, qué significan las columnas y los códigos, las reglas de negocio, y qué comprobaciones solo deben advertir y cuáles deben detener una ejecución.

​

Qué construye Dexter

Un pipeline es una secuencia de pasos, cada uno respaldado por un script. El primer paso verifica que las entradas estén presentes y con la forma esperada, y detiene la ejecución con un error específico si no lo están. Cada etapa de negocio que produce el pipeline se guarda como una tabla versionada en Conjuntos de datos, para que puedas inspeccionar cada etapa, no solo el resultado final. La salida final es una tabla o un archivo de reporte. Antes de terminar, Dexter ejecuta el pipeline contra tus datos, verifica las salidas y te explica el resultado. Para cambiar un pipeline, como una columna nueva, una regla distinta o una comprobación adicional, pídele a Dexter que lo revise.

​

La página del pipeline

Abre un pipeline desde la pestaña Pipelines. Su página lo pone todo en un solo lugar:

• Ejecutar. Inicia una ejecución. Su menú ofrece Ejecutar todos los pasos y Ejecutar desde un paso seleccionado. Cada ejecución muestra su estado (En ejecución, Completada, Falló, Esperando una decisión) y cómo se inició (Iniciada manualmente, Iniciada por Dexter, Iniciada por programación).
• Los pasos. Míralos como un Grafo del pipeline, Pasos como nodos, o una Lista de pasos. Selecciona un paso para ver su Script, sus Eventos (qué leyó y qué escribió), y un Resumen. Generar resumen hace que Dexter describa qué hace el script.
• Salidas de tabla versionadas. Cada ejecución que cambia una tabla publica una versión nueva (v1, v2, y así sucesivamente). Una ejecución que escribe las mismas filas conserva la versión existente. Para cada versión puedes ver los Cambios desde la versión anterior y su nota de cambio. Abre una tabla en Conjuntos de datos para trabajar con ella. Para preguntarle a Dexter sobre un valor, anota su celda.
• Comprobaciones. Una comprobación marca filas de una tabla publicada que están mal, como stock negativo donde eso es imposible, o un código que falta en la lista maestra. Una comprobación fallida no detiene la ejecución. La ejecución registra qué filas fallaron para que puedas corregir los datos fuente o la regla y volver a ejecutar.
• Corregir con Dexter. Cuando una ejecución falla, Corregir con Dexter abre una conversación donde Dexter trabaja en la falla. Cuando una ejecución tiene éxito pero algunas comprobaciones fallan, Investigar hace lo mismo para las comprobaciones fallidas.
• Decisiones. Un paso puede pausarse para que Dexter o tú tomen una decisión. La ejecución muestra Esperando una decisión, y Abrir Dexter te lleva a la conversación donde se está resolviendo. La ejecución luego continúa por sus pasos restantes.
• Archivos de entrada nuevos. Una entrada de archivo puede vincularse a una carpeta en Archivos subidos, y cada ejecución entonces lee el archivo más reciente de esa carpeta. Subir nueva versión en la entrada agrega un archivo ahí, y Ejecutar pipeline en la confirmación inicia una ejecución con él. Los archivos anteriores quedan como historial.
• Programación. Si tu organización también tiene Trabajos programados, Programar lista las programaciones del pipeline. Usa Nueva programación para describir cuándo debe ejecutarse, y Dexter confirma la programación contigo antes de guardarla. Cada programación tiene Ejecutar ahora y Pausar o Reanudar.
• Editar detalles. En el menú de la página. Cambia el nombre y la descripción del pipeline.

​

Pipelines anteriores

La pestaña Pipelines también puede listar pipelines anteriores. Sus tarjetas llevan una insignia Heredado, y al abrir uno, su título muestra Heredado Solo lectura. No tienen botón Ejecutar:

• Registros de análisis anteriores. Un grafo de las fuentes que se leyeron, las transformaciones que se ejecutaron, y las salidas que produjeron. Nada los ejecuta; Dexter puede leerlos y construir sobre lo que encontraron.
• Pipelines construidos como flujos de trabajo, antes de que se configuraran los pipelines para tu organización. Estos siguen ejecutándose desde la sección Flujos de trabajo de la barra lateral de Dexter, como cualquier flujo de trabajo personalizado. Pídele a Dexter que traslade uno si quieres que se ejecute desde la pestaña Pipelines. El pipeline trasladado escribe tablas nuevas, y Dexter te dice qué apps u otros flujos de trabajo no pudo trasladar a ellas.

​

Para no confundir con

• Flujos de trabajo personalizados: procedimientos recurrentes que Dexter sigue en conversación, con espacio para criterio y preguntas en cada ejecución. Un pipeline es para preparación que debe ejecutarse igual todas las veces.
• Ejecuciones: ejecuciones de simulación de un modelo. Las ejecuciones de pipeline son independientes y aparecen solo en la propia página del pipeline.
• Plantillas de configuración: estructuras de BOM reutilizables en el configurador de BOM. No tienen relación con los pipelines.