Escenarios de aplicación de Flink de la serie Flink (1)

En la era DT, los requisitos de datos de las personas son cada vez más estrictos. Desde big data al principio hasta fast data ahora, muchas de nuestras empresas han construido sus propios almacenes de datos basados ​​​​en el ecosistema Hadoop y han colocado datos heterogéneos en nuestros almacenes para que los analistas los utilicen a través de ETL (extracción, conversión, carga, etc.) . ) según un ciclo determinado. Pero a medida que el negocio se desarrolla, tenemos que enfrentar el hecho de que lo que hemos hecho anteriormente es todo procesamiento por lotes. Nuestros analistas o nuestro negocio necesitan datos en tiempo real, por lo que cuando el procesamiento por lotes se convierta en computación en flujo, enfrentaremos muchos problemas, como. como baja latencia, alto rendimiento, exactamente una vez, fuera de servicio, etc. ¿tormenta? Para lograr una baja latencia, no se puede lograr un alto rendimiento y el estado de cálculo no se puede procesar con precisión cuando ocurre una falla. Spark Streaming utiliza el procesamiento por microlotes para lograr un alto rendimiento y tolerancia a fallas, pero sacrifica la baja latencia y las capacidades de procesamiento en tiempo real; y no puede igualar la ventana y el tiempo natural, rendimiento deficiente. Flink es la mejor respuesta hasta ahora.

Cuando elegimos un nuevo marco técnico, lo primero que consideramos son sus escenarios de aplicación. No importa cuán maravilloso sea el marco, es inútil sin escenarios de aplicación. Por supuesto, la mayoría de los marcos impresionantes se basan en uno o determinado escenario de aplicación. Flink se utiliza principalmente en los siguientes tres escenarios:

1 Aplicaciones controladas por eventos

2. Aplicación de análisis de datos

3. ¿ETL de canalización de datos?

¿Qué es una aplicación basada en eventos?

Definición: una aplicación controlada por eventos es un tipo de aplicación con estado que activa cálculos, actualiza el estado o realiza operaciones del sistema externo basadas en eventos en el flujo de eventos.

Palabras clave: evento->estado->sistema externo

Cada dato (evento) provocará cambios.

Por ejemplo: antifraude financiero, implementación de recomendaciones, implementación de normas y alarmas.

Antes de hablar de esto, hablemos de qué es el análisis. Estamos involucrados en industrias relacionadas con el análisis de datos y, a veces, tendemos a olvidar qué es el análisis en sí. Aquí está la definición de análisis de Wikipedia.

Después de ver la definición, a menudo dividimos varios datos según diferentes dimensiones en nuestro trabajo para analizar el fenómeno de la representación de datos, a fin de comprender mejor los datos.

Entonces primero defina:

La aplicación del análisis de datos es extraer información e indicadores valiosos a partir de datos sin procesar. Palabras clave: datos originales (conjunto), extracción (análisis de filtro).

Su principal aplicación es la manipulación de conjuntos de datos, centrándose en el análisis.

Para las aplicaciones de análisis de datos de Dianxing, como la epidemia de este año, contaremos la información cargada todos los días y en cada lugar, y luego la mostraremos en plataformas como Alipay.

¿Cuál es la diferencia esencial entre aplicaciones basadas en eventos y aplicaciones de análisis de datos?

Un breve resumen:

Los cálculos activados por datos envían nuevas operaciones (estado/mensaje)

El análisis de datos no deriva nuevas acciones (solo genera resultados).

He visto muchos nombres importantes compartir sus puntos de vista sobre ETL del almacén de datos. También he realizado algunos trabajos de almacén de datos, pero nunca lo he resumido seriamente. Resumiré mis conocimientos de ETL en el próximo artículo y hablaré sobre mis puntos de vista sobre el lago de datos emergente.

Supera