Las diferencias y conexiones entre las transacciones en línea y el procesamiento por lotes

Las transacciones en línea se refieren a transacciones proporcionadas directamente por el sistema, que son transaccionales y pueden revertirse. Tiempo real: las transacciones tienen ciclos de vida y mecanismos de tiempo de espera, etc. La persona que llama debe esperar la respuesta de la parte transferida en tiempo real, ya sea exitosa o fallida: varios subprocesos pueden llamar al mismo tipo o incluso a la misma transacción al mismo tiempo, y existe un mecanismo de procesamiento de bloqueo entre ellos; .

El procesamiento por lotes significa que los parámetros y el estado del sistema relacionados con la transacción se han bloqueado y el sistema necesita realizar un cierto tipo de operación. Esta operación está unificada: utiliza las mismas reglas para procesar una gran cantidad. de datos; cadena Operabilidad: esto no significa que las transacciones por lotes no puedan ser simultáneas, pero hay pasos fijos qué paso realizar primero y qué paso realizar a continuación, cada paso depende de ciertas condiciones; esto no es necesario, pero Se recomienda encarecidamente el procesamiento por lotes. La repetibilidad debe considerarse al comienzo del diseño del programa; de lo contrario, la operación y el mantenimiento posteriores causarán muchos problemas;

Una transacción en línea típica es una transacción de retiro, que requiere una sola vez. finalización de la consulta de saldo (cuando el saldo es insuficiente) y actualización, generación de flujo de transacciones, generación de registros de uso de cuentas, generación de comprobantes contables, registro del libro mayor de cuentas de efectivo y depósitos. Si ocurre una excepción en cualquiera de estos pasos, se revertirá toda la transacción. Una transacción por lotes típica es una transacción de conciliación. La premisa de la conciliación es que se haya completado todo el procesamiento del día anterior. Lo que el sistema necesita es verificar los resultados del procesamiento del día anterior estableciendo algunas reglas de filtrado y verificar si hay algún dato que no cumpla con las reglas. Si lo hay, se generará un registro de errores de conciliación para que el operador lo consulte y procese. Si el resultado de la conciliación es completamente correcto, se pasa la transacción y se realiza el siguiente lote de procedimientos (como generar archivos de datos incrementales diarios y enviarlos a sistemas posteriores).

Procesamiento por lotes y procesamiento de flujo

Antes de comprender estos dos conceptos, echemos un vistazo a los siguientes conceptos:

Datos acotados y datos ilimitados

Los datos ilimitados son en realidad un conjunto de datos infinito y en crecimiento. También podemos llamarlo "transmisión de datos".

Los datos delimitados son en realidad un tipo de datos guardados, como datos en una base de datos o datos en un csv.

Tome nuestros datos de transacciones anteriores como ejemplo. Si se toma una pequeña parte de los datos de acuerdo con una determinada ventana de tiempo, los datos extraídos también tienen datos límite. Por ejemplo, extraje los datos mundiales desde 2019 hasta agosto de 2019 para su procesamiento. Los datos que extrajimos son datos acotados.

Tiempo del evento y tiempo de procesamiento

El tiempo del evento se refiere al momento en que realmente se generan los datos, y el tiempo de procesamiento se refiere al momento en que el sistema de procesamiento de datos realmente recibe los datos.