Capacitación en diseño de NLM: ¿Introducción al marco de procesamiento por lotes Springbatch?
Las tareas de procesamiento por lotes son una parte importante de la mayoría de los proyectos de TI. El procesamiento por lotes en los sistemas empresariales es responsable de procesar cantidades masivas de datos, lo que permite realizar análisis y procesamiento de datos complejos de forma automática y eficiente sin intervención manual.
El procesamiento por lotes leerá periódicamente los datos por lotes y realizará operaciones comerciales de archivado después del procesamiento comercial correspondiente. Las características del procesamiento por lotes son ejecución automática, procesamiento de datos masivos y ejecución programada.
Todo el proceso de procesamiento por lotes se puede dividir lógicamente en tres partes: lectura de datos, procesamiento de datos y escritura de datos.
La siguiente es una recopilación de conocimientos introductorios sobre el marco Springbatch. Espero que le resulte útil.
Springbatch abstrae las características del procesamiento por lotes en sí, abstrae los trabajos de procesamiento por lotes en trabajos y pasos de trabajo, y descompone el procesamiento por lotes en lectura de datos, procesamiento de datos y escritura de datos.
Divida el mecanismo de manejo de excepciones en omitir, reiniciar y reintentar.
Clasifique los trabajos en trabajos multiproceso, paralelos, remotos y particionados.
Springbatch no es un marco de programación, sino una tarea de procesamiento por lotes que requiere la cooperación de un marco de programación para completarse. Solo se centra en problemas de tareas relacionados con el procesamiento por lotes, pero no proporciona las funciones de programación correspondientes. necesitas usar Para la función de programación, necesitas usar un marco de programación. Existe un marco de programación más comúnmente usado, Quartz, que puede cooperar con springbatch para completar el procesamiento por lotes de la programación de tareas.
La arquitectura Springbatch se divide en tres capas: capa de infraestructura, capa central y capa de aplicación.
La capa de aplicación contiene todos los trabajos de procesamiento por lotes. La capa central proporciona principalmente JobLauncher, Job y step. La capa de infraestructura proporciona principalmente lectura (ItemReader), escritura (ItemWriter) y procesamiento de servicios (como: RetryTemplate). Plantilla de prueba; RepeatTemplate. Repetir plantilla), el sistema de arquitectura de tres niveles de Springbatch permite expandir el marco de Springbatch en diferentes niveles, evitando interacciones entre diferentes niveles.
Introducción al trabajo Un trabajo por lotes consta de un conjunto de pasos y el trabajo en sí es el elemento de nivel superior del archivo de configuración.
Cada trabajo tiene su propio nombre, que define el orden en que se ejecuta STEPS y define si el trabajo se puede reiniciar.
La ejecución de la tarea generará una instancia de trabajo y una ejecución de trabajo.
Las instancias de trabajo contienen datos generados durante la ejecución del trabajo e información del estado de ejecución del trabajo; un trabajo puede corresponder a múltiples instancias de trabajo y una instancia de trabajo puede corresponder a múltiples ejecuciones de trabajo.
Los principales atributos configurados en el trabajo son id (el identificador único del trabajo)
Los principales atributos configurados en el trabajo son id (el identificador único del trabajo), job -repositorio (definición de repositorio de trabajos), incrementador (incrementador de parámetros del trabajo), reiniciable (si el trabajo se reinicia), padre (especifica el trabajo principal del trabajo), abstracto (define si el trabajo es abstracto).
Introducción al paso Un paso representa un paso completo en un trabajo. Un trabajo puede estar compuesto por uno o más pasos. Los pasos son principalmente responsables de ejecutar la lógica empresarial principal cuando se ejecuta el lote.
Entrenamiento informático de Nanchang/Se cree que la ejecución de cada paso generará una o más ejecuciones de trabajo. Después de que falle la ejecución de cada tarea, se regenerará un paso para los pasos de la tarea cuando se repita la tarea. -ejecutado la próxima vez.