Cómo utiliza Weibo la tecnología de almacenamiento de big data
Mongodb y Redis, Mongodb puede almacenar grandes cantidades de datos. Redis es una base de datos en memoria, adecuada para lectura y escritura rápidas en forma de valor clave. muchos recursos de memoria y no es adecuado para almacenar grandes cantidades de datos.
Weibo es una plataforma para publicar e compartir información que se ha desarrollado extremadamente rápido en los últimos años. Puede publicar Weibo, compartir información, comentar y participar en debates temáticos. Para que los usuarios conozcan los temas más candentes y la información más candente de manera oportuna.
Se requiere procesamiento y análisis de datos en tiempo real en el sistema Weibo. Storm es un sistema informático en tiempo real gratuito, de código abierto, distribuido y tolerante a fallas. A través de Storm, los datos en el sistema Weibo se pueden procesar en tiempo real y los temas candentes en tiempo real se pueden enviar a los usuarios en función del procesamiento. resultados.
Big data de Weibo:
Weibo es en realidad muy similar a Taobao. En términos generales, la arquitectura de primera generación básicamente puede admitir millones de usuarios, y la arquitectura de segunda generación básicamente puede admitir decenas de millones de usuarios sin ningún problema. Cuando la escala empresarial alcanza cientos de millones, se necesita una arquitectura de tercera generación. .
Desde la arquitectura LAMP hasta la arquitectura orientada a servicios, hay varios aspectos que son muy difíciles. En primer lugar, es imposible satisfacer el rápido crecimiento del volumen de usuarios mediante reparaciones simples basadas en la primera generación. Al mismo tiempo, el negocio en línea no se puede detener. Este es un problema del que hablamos a menudo al cambiar el motor del avión.
Se recomienda que al realizar la servitización, en primer lugar, esté más orientado al negocio y, al mismo tiempo, se debe encontrar un buen punto de entrada, además de las mejoras en la arquitectura y la servitización. El lado comercial también debe tener Para lograr beneficios, como mejorar el rendimiento o reducir los costos de mantenimiento, y el proceso de actualización debe ser fluido, se recomienda comenzar con servicios atomizados, como servicios básicos de usuario, servicios básicos de mensajes cortos y servicios básicos. servicios de empuje.
En segundo lugar, es posible proporcionar servicios sin estado, que se analizarán en detalle más adelante. También se requiere la fragmentación de datos cuando la cantidad de datos aumenta, lo que se analizará más adelante. El problema que la arquitectura de tercera generación debe resolver es que el número de usuarios y empresas tiende a aumentar de manera constante (en comparación con el crecimiento exponencial durante el período del brote), y se presta más atención a la estabilidad del marco técnico, mejorando la rendimiento general del sistema, reduciendo costos y mejorando el rendimiento general del sistema. Mejora y actualización del monitoreo del sistema.