Los principios, la infraestructura y los escenarios de uso de la mensajería distribuida Kafka

Como se puede ver en la figura anterior, el productor envía datos al agente Broker. El agente Broker tiene múltiples temas y el consumidor obtiene datos del Broker.

1. Alto rendimiento, baja latencia

Kafka puede procesar cientos de miles de mensajes por segundo y su latencia es de solo unos pocos milisegundos como mínimo. Cada tema se puede dividir en. múltiples particiones. El grupo de consumidores realiza una operación de consumo en la partición.

2. Escalabilidad

El clúster Kafka admite expansión en caliente

3. Durabilidad y confiabilidad

Los mensajes se conservan en el disco local y son compatibles copia de seguridad de datos para evitar la pérdida de datos

4. Tolerancia a fallos

Permitir fallas de nodos en el clúster (si el número de réplicas es n, se permite que fallen n-1 nodos) < / p>

5. Alta concurrencia

Admite que miles de clientes lean y escriban al mismo tiempo

1. Recopilación de registros

Una empresa puede utilizar Kafka Recopile registros de varios servicios y ábralos a varios consumidores a través de Kafka en forma de servicios de interfaz unificada, como hadoop, Hbase, Solr, etc.

2. Sistema de mensajes

Desacoplamiento de productores y consumidores, almacenamiento en caché de mensajes, etc.

3. Seguimiento de la actividad del usuario

4. Indicadores operativos

Kafka también se utiliza a menudo para registrar datos de seguimiento operativo. Incluyendo la recopilación de datos de varias aplicaciones distribuidas y la producción de comentarios centralizados para diversas operaciones, como alarmas e informes.

5. Procesamiento de streaming

Como Spark Streaming y Storm