Cuarentena, no caída: qué debe hacer un pipeline con las filas erróneasCuarentena, no caída: qué debe hacer un pipeline con las filas erróneas

En la carga de datos aparecen constantemente dos modos de fallo, y son opuestos.

El primero es el pipeline que se detiene en seco con la primera fila errónea. Un registro tiene una fecha mal formada, el proceso lanza un error y 400.000 registros buenos no llegan. Alguien recibe un aviso, corrige una celda y vuelve a ejecutarlo todo.

El segundo es el pipeline que lo acepta todo. Nunca falla nada, lo cual parece estupendo hasta que alguien se da cuenta de que la cifra de ingresos está mal y nadie sabe decir desde cuándo.

La tercera opción

Las filas erróneas deben desviarse, no ser fatales. Valida cada registro con las reglas que de verdad importan, deja pasar los buenos y escribe los fallos en una tabla de cuarentena, junto con el motivo del fallo y el lote del que proceden.

Esto cambia la forma del problema. La carga termina. Los datos buenos están disponibles. Los datos erróneos no se descartan en silencio ni se aceptan en silencio: están en un sitio concreto, con una explicación, esperando a que alguien los revise. Y, sobre todo, el número de filas en cuarentena se convierte en una cifra que se puede vigilar.

Una tabla de cuarentena siempre vacía te dice que las reglas son demasiado laxas. Una que se va llenando te dice exactamente dónde mirar.

Qué reglas vale la pena aplicar

No todas las comprobaciones merecen desviar una fila. Las que en general sí:

• Campos obligatorios de los que dependen los joins posteriores. Un id de cliente que falta no es un problema estético.
• Tipos que deben poder interpretarse. Una fecha que no es una fecha fallará más tarde, más lejos y de forma más confusa.
• Comprobaciones referenciales contra dimensiones que controlas. Un pedido de un producto que no existe es una señal real.
• Rangos físicamente imposibles. Cantidades negativas, marcas de tiempo en el futuro, porcentajes por encima de cien.

Comprobaciones que funcionan mejor como avisos que como desvíos: valores poco habituales pero válidos, campos opcionales, cualquier cosa en la que el negocio tenga casos realmente desordenados pero válidos. Desviarlos acostumbra a la gente a ignorar la cuarentena, y eso anula su propósito.

La deriva de esquema es una categoría aparte

Una columna que desaparece, cambia de tipo o llega con un nombre nuevo no es una fila errónea. Es un contrato roto, y debería detener la carga en lugar de poner en cuarentena el 100 % de los registros uno a uno.

La distinción importa en la operación. Los fallos a nivel de fila son un problema de datos y a menudo se corrigen solos. La deriva de esquema es un cambio en el origen que alguien necesita conocer hoy, porque todas las suposiciones aguas abajo acaban de volverse dudosas.

Cómo se ve cuando está bien

Sabes si un pipeline lo hace bien con una sola pregunta: cuando algo sale mal, ¿el sistema te dice qué, cuánto y desde cuándo? Si la respuesta es un stack trace, el diseño no está terminado. Si la respuesta es un número de filas, un motivo y un id de lote, sí lo está.