Introducción al marco de procesamiento por lotes Springbatch para compartir capacitación informática en Beijing
Las tareas de procesamiento por lotes son una parte importante de la mayoría de los proyectos de TI. El procesamiento por lotes es responsable de procesar cantidades masivas de datos en sistemas empresariales y puede realizar de forma automática y eficiente análisis y procesamiento de datos complejos sin intervención manual. El procesamiento por lotes leerá datos periódicamente en lotes y realizará operaciones comerciales de archivo después del procesamiento comercial correspondiente. El procesamiento por lotes se caracteriza por la ejecución automática, el procesamiento de datos masivos y la ejecución programada. Todo el proceso de procesamiento por lotes se puede dividir lógicamente en tres enlaces: leer datos, procesar datos y escribir datos. La siguiente es una introducción al conocimiento relevante sobre el marco Springbatch compilado por el editor. Espero que sea útil para todos.
springbatch abstrae las características del procesamiento por lotes en sí, abstrae los trabajos de procesamiento por lotes en trabajos y pasos de trabajo, y descompone el procesamiento por lotes en lectura de datos, procesamiento de datos y escritura de datos.
Divida el mecanismo de manejo de excepciones en omitir, reiniciar y reintentar. Clasifique los trabajos en trabajos particionados, remotos y paralelos de subprocesos múltiples.
Springbatch no es un marco de programación, sino una tarea de procesamiento por lotes que requiere la cooperación de un marco de programación para completarse. Solo se centra en problemas de tareas relacionados con el procesamiento por lotes, pero no proporciona las funciones de programación correspondientes. necesitas usar Para la función de programación, necesitas usar un marco de programación. Aquí hay un marco de programación más comúnmente utilizado, Quartz, que puede cooperar con springbatch para completar la programación de tareas por lotes.
La arquitectura Springbatch se divide en tres capas: capa de infraestructura, capa central y capa de aplicación. La capa de aplicación contiene todos los trabajos de procesamiento por lotes, la capa central proporciona principalmente JobLauncher, Job y step, y la capa de infraestructura proporciona principalmente lectura genérica (ItemReader), escritura (ItemWriter) y procesamiento de servicios (como: plantilla de reintento RetryTemplate; repetirTemplate: repetir plantilla), la capa .Application contiene todos los trabajos por lotes, y la capa central proporciona principalmente JobLauncher, Job y step. Spring
La arquitectura de tres niveles de Springbatch permite expandir el marco Springbatch en diferentes niveles, evitando interacciones entre diferentes niveles.
Introducción al trabajo
Un trabajo por lotes consta de un conjunto de PASOS y el trabajo en sí es el elemento de nivel superior del archivo de configuración. Cada trabajo tiene su propio nombre, que define el orden en el que se ejecutan los pasos y si el trabajo se puede reiniciar. La ejecución de un trabajo genera una instancia de trabajo y una ejecución de trabajo. Una instancia de trabajo contiene datos generados durante la ejecución del trabajo e información sobre el estado de ejecución del trabajo; un trabajo puede corresponder a múltiples instancias de trabajo y una instancia de trabajo puede corresponder a múltiples ejecuciones de trabajo.
Los principales atributos de la configuración del trabajo incluyen id (identificador único del trabajo), repositorio de trabajos (que define el repositorio de trabajos) e incrementador (incrementador de parámetros del trabajo), reiniciable (si se reinicia el trabajo), padre (Especifica el trabajo principal del trabajo), abstracto (define si el trabajo es un trabajo abstracto).
Introducción al paso
Un paso representa un paso completo en un trabajo. Un trabajo puede estar compuesto por uno o más pasos. Los pasos son los principales responsables de la implementación de la lógica empresarial principal. en el proceso de operación por lotes. Beijing Computer Training cree que cada vez que se ejecuta un paso, se generarán una o más ejecuciones de trabajo. Siempre que la ejecución del trabajo falle, se generará una nueva ejecución de paso para los pasos del trabajo la próxima vez que se vuelva a ejecutar el trabajo. "