Even Technology: comprensión profunda de la "integración de lagos y almacenes" para no perder la mejor oportunidad estratégica de transformación

Este mes, Alibaba Cloud celebró la "Conferencia sobre el ecosistema de almacenamiento de datos en la nube de Alibaba 2022" en Beijing, como pionero en el campo de la tecnología de almacenamiento de datos nativa de la nube nacional, Odd Technology. Recibimos una invitación para asistir a esta conferencia.

Como orador invitado, Tao Zhenglin, arquitecto jefe de Even Technology, revisó la evolución de las bases de datos analíticas con expertos en tecnología de la industria en la reunión, así como el uso actual de Even. Tecnología en el lago. Conceptos y prácticas de vanguardia en integración de almacenes.

En este sentido, Tao Zhenglin se centró en las seis características del ANCLA integrado de Hucang en la reunión: tiempo T+0, una copia de datos, simultaneidad ultraalta, coherencia de datos, soporte de datos nativos de la nube y de varios tipos. Con el soporte de la última versión y arquitectura de OushuDB, la solución integrada de almacén y lago par ayudará a los clientes a liberar el valor de sus datos en las instalaciones de la nube.

Por qué el modelo dividido "lago" + "almacén" no es la mejor opción

Con la promoción gradual de la construcción de la plataforma de big data Hadoop en los últimos tiempos Durante años, las empresas comenzaron a intentar usar Hadoop para algunos escenarios no centrales, pero Hadoop tiene un rendimiento limitado y soporte de concurrencia, soporte de transacciones débil, altos costos de entrega y operación y mantenimiento, y no puede reemplazar el almacén de datos central. utilizarse como "lago de datos". Para satisfacer las necesidades de los usuarios en términos de rendimiento, transacciones, etc., muchas empresas han comenzado a considerar el enfoque complementario de los lagos de datos y los almacenes de datos. Mientras se construye el lago de datos, también se utiliza MPP. Los almacenes del lago se implementan de forma independiente y los datos se conectan a través de ETL.

Este es el modelo "División de lago y almacén" de Hadoop+MPP al que a menudo se hace referencia en la industria.

Aunque este modelo permite que lagos y almacenes tengan características técnicas muy complementarias, también producirá serios problemas que muchas veces confunden a las empresas, entre ellos:

Estas situaciones comunes causan a los profesionales aún más dolores de cabeza. Para resolver estos problemas, es necesario formar una arquitectura integrada a nivel de datos y consultas y eliminar por completo estos cuellos de botella encontrados por la plataforma de big data, lo que puede reducir en gran medida los costos de operación y mantenimiento de TI y el umbral técnico de la gestión de datos.

¿Cuál es la diferencia entre el modelo de lago integrado y de almacén de OushuDB que separa el almacenamiento y la informática?

Entonces, ¿cuál es la diferencia entre el modelo de lago integrado y de almacén de OushuDB que separa? almacenamiento e informática y el modelo de "lago dividido y almacén" de Hadoop+MPP ¿Cuál es la diferencia?

OushuDB, el motor de base de datos analítico de nueva generación más rápido del mundo desarrollado por Even Technology, adopta de manera innovadora una arquitectura nativa de la nube que separa el almacenamiento y la informática. Como nueva arquitectura de plataforma de datos, la arquitectura de separación de almacenamiento y computación puede garantizar que el almacenamiento y la computación se puedan expandir y escalar elásticamente de forma independiente.

Ni el MPP tradicional ni Hadoop se adaptan a tales requisitos:

Además, para satisfacer las necesidades del procesamiento de flujo en tiempo real, Al mismo tiempo, análisis bajo demanda y análisis fuera de línea, Odd Technology ha explorado creativamente la arquitectura de procesamiento de datos en tiempo real completo de Omega, que tiene ventajas obvias sobre la arquitectura tradicional Kappa y la arquitectura Lambda.

Se puede decir que OushuDB básicamente ha resuelto el cuello de botella técnico de la "división del almacén de Lake", y sus ventajas técnicas son bastante obvias:

Al seleccionar Hucang, ANCHOR va primero

Odd Technology cree que para resolver verdaderamente los puntos débiles del negocio, elija la empresa adecuada Para los productos Hucang, podemos seleccionarlos de acuerdo con los estándares ANCHOR mencionados anteriormente.

Las seis iniciales de ANCHOR representan respectivamente seis características principales:

Reconocimiento de la industria y continuos avances e innovaciones de los números pares

Desde el nacimiento de la tecnología de números pares, los productos y soluciones de la tecnología de números pares también Se ha implementado y aplicado ampliamente en finanzas no bancarias, telecomunicaciones, gobierno, energía, manufactura, Internet y otras industrias, ayudando a empresas de múltiples industrias a dar pequeños pasos y llevar a cabo una transformación digital e inteligente. Al mismo tiempo, como startup líder en el campo de las bases de datos, la viabilidad y el crecimiento de su modelo de negocio también han sido reconocidos por el capital, y ha recibido sucesivamente cuatro rondas de inversión de las principales instituciones de inversión nacionales: Sequoia China, Tencent, Redpoint China. y Kingsoft Nube.

Entre las industrias de clientes comunes de big data, la industria bancaria es uno de los campos con los mayores requisitos de controlabilidad autónoma, alta disponibilidad y alta confiabilidad de las aplicaciones. resuelve este problema La implementación de la solución en la industria bancaria es un testimonio de su solidez técnica y comprensión de los puntos débiles de los usuarios. Ya en 2020, Odd Technology estableció un laboratorio conjunto de big data de alto rendimiento con China Construction Bank para explorar conjuntamente el camino de implementación de la integración del lago-almacén. Después de continuas discusiones técnicas y verificación de aplicaciones, las dos partes desarrollaron conjuntamente una solución de almacén y lago integrada totalmente en tiempo real basada en tecnología de base de datos nativa de la nube. Utiliza un conjunto de pilas de tecnología y almacenamiento unificado para construir capacidades de almacén y lago dual. Rendimiento extremadamente rápido y escalabilidad elástica, asignación de recursos informáticos bajo demanda, almacenamiento único de todos los datos, sin necesidad de derivados frecuentes, cargas mixtas y otras capacidades relacionadas, pueden crear escenarios de aplicaciones en tiempo real para los bancos y sus clientes, lo que ayuda. CCB mejora el rendimiento de la respuesta a la demanda en tiempo real, mejora la flexibilidad del sistema y, al mismo tiempo, ahorra dinero en costos de operación y mantenimiento.

Recientemente, Even Technology fue seleccionada oficialmente en la lista de empresas "pequeños gigantes" especializadas y especiales nuevas (especializadas, refinadas, distintivas, novedosas) a nivel nacional. Como empresa emergente que ayuda al país a superar el problema del "estancamiento" en campos tecnológicos clave, los esfuerzos de Even Technology en la localización de bases de datos y la independencia y seguridad tecnológicas se están verificando y reconociendo gradualmente a nivel nacional.

Con el establecimiento gradual de la Internet de las cosas y la Internet industrial en el futuro, el campo del big data se enfrentará a una gama cada vez más amplia de fuentes de datos, una cantidad cada vez mayor de datos y una cantidad cada vez mayor de datos no estructurados Con escenarios de aplicaciones cada vez más ricos y pilas de tecnología cada vez más complejas, la dificultad del procesamiento y análisis de big data aumentará aún más. Desde las bases de datos de la década de 1960 hasta los almacenes de datos, los lagos de datos y ahora los lagos y almacenes integrados, los nuevos productos siempre resuelven los puntos débiles comerciales de los profesionales anteriores en términos de rendimiento y funcionalidad. Podemos decir que los lagos y almacenes integrados son el desarrollo. de bases de datos. Es un producto inevitable de la era nativa de la nube.

A través de la tecnología de clúster de computación virtual, podemos lograr una alta concurrencia en clústeres de escala ultragrande con cientos de miles de nodos, garantizar el soporte de transacciones y proporcionar capacidades en tiempo real. No habrá islas de datos para. Un dato. La nueva generación de arquitectura integrada de lagos y almacenes será la tendencia de desarrollo futura. Even Technology, como líder en el campo de la integración entre lagos y almacenes, continuará optimizando la tecnología para ofrecer a los usuarios un mayor rendimiento y soluciones más sólidas, ayudando a más usuarios de la industria a transformar datos en productividad.