¿Cuál es la solución de big data de Huawei?

Capa lógica para soluciones de big data

La capa lógica proporciona una forma de organizar sus componentes. Estas capas proporcionan una forma de organizar componentes que realizan funciones específicas. Estas capas son únicamente capas lógicas; esto no pretende admitir la funcionalidad de cada capa que se ejecuta en máquinas o procesos separados. Las soluciones de big data suelen constar de las siguientes capas lógicas:

1. Fuentes de big data

2. Modificación de datos (masaje) y capas de almacenamiento

3. Capa

4. Utilice la capa

Internet es una red mágica, y el desarrollo de big data y la personalización de software también son un modelo. Aquí le ofrecemos la cotización más detallada, si realmente lo desea. Para hacerlo, puedes venir aquí. El número inicial de este teléfono móvil es 187, el número del medio es Saner0 y el último número es 14250. Puedes encontrarlos combinándolos en orden. quieres hacer esto o entender esto. Si simplemente te estás uniendo a la diversión, no vengas aquí

Grandes fuentes de datos: considera todos los datos de todos los canales que se pueden usar para el análisis. Pida a los científicos de datos de su organización que articulen los datos necesarios para realizar el tipo de análisis que necesita. Los datos varían en formato y origen:

Formato: estructurado, semiestructurado o no estructurado.

Velocidad y volumen de datos: la velocidad a la que llegan los datos y la velocidad a la que se entregan varían de una fuente de datos a otra.

Punto de recopilación: la ubicación donde se recopilan los datos, ya sea directamente o a través de un proveedor de datos, en tiempo real o en modo por lotes. Los datos pueden provenir de una fuente primaria, como las condiciones climáticas, o pueden provenir de una fuente secundaria, como un canal meteorológico patrocinado por los medios.

Ubicación de las fuentes de datos: las fuentes de datos pueden estar ubicadas dentro de la empresa o externamente. Identifique los datos a los que tiene acceso limitado, ya que el acceso a los datos afecta el alcance de los datos disponibles para el análisis.

Capa de modificación y almacenamiento de datos: Esta capa se encarga de obtener los datos de la fuente de datos y, si es necesario, convertirlos a un formato adecuado para el análisis de datos. Por ejemplo, es posible que sea necesario transformar un gráfico antes de poder almacenarlo en un almacén del sistema de archivos distribuidos Hadoop (HDFS) o del sistema de gestión de bases de datos relacionales (RDBMS) para su posterior procesamiento. Los sistemas de cumplimiento y las políticas de gobernanza requieren un almacenamiento adecuado para diferentes tipos de datos.

Capa de análisis: La capa de análisis lee los cambios de datos y la capa de almacenamiento digiere los datos. En algunos casos, la capa de análisis accede a los datos directamente desde la fuente de datos. El diseño de la capa de análisis requiere una cuidadosa planificación y planificación anticipada. Se deben tomar decisiones sobre cómo gestionar las siguientes tareas:

Generar el análisis deseado

Obtener información a partir de los datos

Encontrar las entidades deseadas

Ubicar fuentes de datos que proporcionen datos para estas entidades

Comprenda qué algoritmos y herramientas se requieren para realizar análisis.

Usar capa: Esta capa utiliza la salida proporcionada por la capa de análisis. Los usuarios pueden ser aplicaciones visuales, humanos, procesos comerciales o servicios. Visualizar los resultados de la capa de análisis puede resultar un desafío. A veces resulta útil observar lo que están haciendo los competidores en mercados similares.

Cada capa contiene múltiples tipos de componentes, que se presentarán a continuación.

Fuentes de Big Data

Esta capa contiene todas las fuentes de datos necesarias para proporcionar la información necesaria para resolver problemas empresariales. Los datos son datos estructurados, semiestructurados y no estructurados y provienen de muchas fuentes:

1. Sistemas empresariales heredados: estos sistemas son aplicaciones empresariales que realizan el análisis requerido por el negocio y obtienen la información necesaria:

Sistemas de gestión de relaciones con el cliente

Operaciones de facturación

Aplicaciones mainframe

Planificación de recursos empresariales

Desarrollo de aplicaciones web

Las aplicaciones web y otras fuentes de datos aumentan los datos que tiene una empresa. Estas aplicaciones pueden utilizar protocolos y mecanismos personalizados para exponer datos.

2. Sistema de gestión de datos (DMS): el sistema de gestión de datos almacena datos lógicos, procesos, políticas y otros tipos de documentos:

¿Hojas de cálculo Microsoft? p>Documentos de Microsoft Word

Estos documentos se pueden convertir en datos estructurados que se pueden utilizar para el análisis. Los datos del documento se pueden exponer como entidades de dominio, o la capa de almacenamiento y modificación de datos puede convertirlos en entidades de dominio.

3. Almacenamiento de datos: el almacenamiento de datos incluye el almacén de datos empresarial, la base de datos operativa y la base de datos de transacciones. Estos datos suelen estar estructurados y pueden utilizarse directamente o transformarse fácilmente para satisfacer las necesidades. Estos datos no se almacenan necesariamente en un sistema de archivos distribuido, según el contexto.

4. Dispositivos inteligentes - Los dispositivos inteligentes son capaces de capturar, procesar y transmitir información en los protocolos y formatos más utilizados. Los ejemplos incluyen teléfonos inteligentes, medidores y dispositivos médicos. Estos dispositivos se pueden utilizar para realizar varios tipos de análisis. La mayoría de los dispositivos inteligentes realizan análisis en tiempo real, pero la información de los dispositivos inteligentes también se puede analizar en lotes.

5. Proveedores de datos agregados: estos proveedores poseen u obtienen datos y los exponen a través de filtros específicos en formatos complejos y con la frecuencia deseada. Cada día se generan grandes cantidades de datos, en diferentes formatos, a diferentes velocidades, y se entregan a través de una variedad de proveedores de datos, sensores y empresas existentes.

Otras fuentes de datos: existen muchas fuentes de datos que provienen de fuentes automatizadas:

Información geográfica:

Mapa

Detalles de la región

Detalles de ubicación

Detalles de la mina

Contenido generado por humanos:

Redes sociales

Correo electrónico

Blog

Información online

Datos de sensores:

Medio ambiente: clima, precipitaciones, humedad, luz

Eléctrico: Corriente eléctrica , potencial energético, etc.

Dispositivo de navegación

Radiaciones ionizantes, partículas subatómicas, etc.

Proximidad, presencia, etc.

Posición, ángulo, Desplazamiento, distancia, velocidad, aceleración

Sonido, vibración acústica, etc.

Automóviles, transporte, etc.

Calor, calor, temperatura

Óptica, luz, imágenes, luminosidad

Química

Presión

Flujo, fluido, velocidad

Fuerza , nivel de densidad, etc.

Datos adicionales de proveedores de sensores

Modificación de datos y capa de almacenamiento

Debido a que los datos entrantes pueden tener diferentes características, los componentes en la modificación de datos y capa de almacenamiento Debe poder leer datos en varias frecuencias, formatos, tamaños y en varios canales de comunicación:

Adquisición de datos: obtenga datos de varias fuentes de datos y envíelos a componentes de procesamiento de datos o guárdelos en la ubicación especificada. Este componente debe ser lo suficientemente inteligente como para elegir si almacenar los datos entrantes y dónde. Debe poder determinar si los datos deben modificarse antes del almacenamiento o si los datos pueden enviarse directamente a la capa de análisis empresarial.

Clasificación de datos: responsable de modificar los datos al formato requerido para fines de análisis. Este componente puede tener una lógica de transformación simple o algoritmos estadísticos complejos para transformar los datos de origen. El motor de análisis determinará el formato de datos específico requerido. El principal desafío es adaptarse a formatos de datos no estructurados, como imágenes, audio, vídeo y otros formatos binarios.

Almacenamiento de datos distribuido: Responsable de almacenar datos de fuentes de datos. Normalmente, en esta capa hay disponibles múltiples opciones de almacenamiento de datos, como almacenamiento de archivos distribuidos (DFS), nube, fuentes de datos estructurados, NoSQL, etc.

Capa analítica

Esta es la capa que extrae información empresarial de los datos:

Identificación de entidad de capa analítica: responsable de identificar y completar entidades contextuales. Esta es una tarea compleja que requiere procesos eficientes y de alto rendimiento. El componente de manipulación de datos debe complementar este componente de reconocimiento de entidades y modificar los datos al formato requerido.

El motor de análisis requerirá entidades de contexto para realizar el análisis.

Motor de análisis: utiliza otros componentes (específicamente, identificación de entidades, gestión de modelos y algoritmos de análisis) para procesar y realizar análisis. Los motores analíticos pueden tener una variedad de flujos de trabajo, algoritmos y herramientas diferentes que admiten el procesamiento paralelo.

Gestión de modelos: responsable de mantener varios modelos estadísticos, validarlos y probarlos, y mejorar la precisión mediante la capacitación continua de los modelos. Luego, el componente de gestión de modelos promueve estos modelos, que pueden ser utilizados por los componentes del motor de análisis o reconocimiento de entidades.

Capa de uso

Esta capa utiliza información empresarial obtenida de aplicaciones analíticas. Los resultados del análisis son utilizados por varios usuarios dentro de la organización y entidades fuera de la organización, como clientes, proveedores, socios y proveedores. Esta información se puede utilizar para dirigir mensajes de marketing de productos a los clientes. Por ejemplo, con los conocimientos obtenidos de los análisis, las empresas pueden utilizar los datos de preferencias de los clientes y el conocimiento de la ubicación para enviar mensajes de marketing personalizados a los clientes cuando pasan por pasillos o tiendas.

Esta información se puede utilizar para detectar fraudes, interceptar transacciones en tiempo real y correlacionarlas con vistas creadas utilizando datos ya almacenados en la empresa. Cuando se producen transacciones fraudulentas, se puede notificar a los clientes sobre la posibilidad de fraude para que se puedan tomar medidas correctivas con prontitud.

Además, los procesos de negocio se pueden desencadenar en función del análisis realizado en la capa de cambio de datos. Se pueden iniciar pasos automatizados; por ejemplo, es necesario crear un nuevo pedido si un cliente acepta un mensaje de marketing que se puede activar automáticamente, o se puede activar un bloqueo en el uso de la tarjeta de crédito si un cliente denuncia un fraude.

El resultado del análisis también puede ser utilizado por motores de recomendación, que relacionan a los clientes con los productos que les gustaría. Los motores de recomendación analizan la información disponible y brindan recomendaciones personalizadas y en tiempo real.

La capa de uso también proporciona a los usuarios internos la capacidad de comprender, encontrar y navegar por información entrelazada dentro y fuera de la empresa. Para los usuarios internos, la capacidad de crear informes y paneles para usuarios empresariales permite a las partes interesadas tomar decisiones informadas y diseñar estrategias adecuadas. Para aumentar la eficacia operativa, se pueden generar alertas comerciales en tiempo real a partir de los datos y se pueden monitorear los indicadores operativos clave de rendimiento:

Interceptor de transacciones: este componente intercepta transacciones de gran volumen en tiempo real y las convierte. en un formato en tiempo real que la capa de análisis puede entender fácilmente para realizar análisis en tiempo real de los datos entrantes. Los interceptores de transacciones deberían poder integrar y procesar datos de diversas fuentes, como sensores, medidores inteligentes, micrófonos, cámaras, dispositivos GPS, cajeros automáticos y escáneres de imágenes. Se pueden utilizar varios tipos de adaptadores y API para conectarse a fuentes de datos. También hay disponibles varios aceleradores para simplificar el desarrollo, como optimización en tiempo real y análisis de transmisión, análisis de video, aceleradores en banca, seguros, comercio minorista, telecomunicaciones y transporte público, análisis de redes sociales y análisis de sentimiento.

Procesos de gestión de procesos de negocio: los conocimientos de la capa de análisis se ponen a disposición de los procesos de Business Process Execution Language (BPEL), API u otros procesos de negocio para automatizar la funcionalidad de las aplicaciones de TI, las personas y los procesos ascendentes y descendentes. Captar más valor empresarial.

Monitoreo en tiempo real: los datos derivados de los análisis se pueden utilizar para generar alertas en tiempo real. Se pueden enviar alertas a usuarios y dispositivos interesados, como teléfonos inteligentes y tabletas. Los indicadores clave de rendimiento se pueden definir y monitorear utilizando información de datos generada a partir del componente de análisis para determinar la efectividad operativa. Los datos en tiempo real se pueden exponer a los usuarios comerciales en forma de paneles de diversas fuentes para monitorear el estado del sistema o medir la efectividad de las campañas de marketing.

Motor de informes: la capacidad de generar informes similares a los informes tradicionales de inteligencia empresarial es fundamental. Los usuarios pueden crear informes ad hoc, informes programados o consultas y análisis de autoservicio basados ​​en la información obtenida de la capa de análisis.

Motor de recomendaciones: basado en los resultados del análisis de la capa de análisis, el motor de recomendaciones proporciona recomendaciones relevantes y personalizadas en tiempo real a los compradores, mejorando las tasas de conversión en las transacciones de comercio electrónico y el valor promedio por pedido.

El motor procesa la información disponible en tiempo real y responde dinámicamente a cada usuario en función de su actividad en tiempo real, la información de los clientes registrados almacenada en el sistema CRM y los perfiles sociales de los clientes no registrados.

Visualización y descubrimiento: los datos se pueden navegar a través de una variedad de fuentes de datos federados dentro y fuera de la empresa. Los datos pueden tener diferentes contenidos y formatos, y todos los datos (estructurados, semiestructurados y no estructurados) se pueden combinar para visualizarlos y presentarlos a los usuarios. Esta capacidad permite a las organizaciones combinar su contenido empresarial tradicional (contenido en sistemas de gestión de contenido empresarial y almacenes de datos) con nuevo contenido social (como tweets y publicaciones de blogs) en una única interfaz de usuario.

Capa Vertical

En la capa vertical se incluyen aspectos de todos los componentes que afectan a la capa lógica (fuentes Big Data, modificación y almacenamiento de datos, capa de análisis y uso):

Integración de la información

Gobernanza de Big Data

Gestión del sistema

Calidad del servicio

Integración de la información

Las aplicaciones de big data ingieren datos de diversos orígenes, proveedores y fuentes de datos y los almacenan en sistemas de almacenamiento de datos como HDFS, NoSQL y MongoDB. Esta capa vertical es utilizada por varios componentes (como adquisición de datos, manipulación de datos, gestión de modelos e interceptores de transacciones) y es responsable de conectarse a varias fuentes de datos. La integración de información de fuentes de datos que tendrán diferentes características (como protocolos y conectividad) requiere conectores y adaptadores de alta calidad. Se pueden utilizar aceleradores para conectarse a las fuentes más conocidas y utilizadas. Estos aceleradores incluyen adaptadores de redes sociales y adaptadores de datos meteorológicos. Varios componentes también pueden utilizar esta capa para almacenar información y recuperarla del gran almacén de datos con el fin de procesar la información. La mayoría de los grandes almacenes de datos brindan servicios y API para almacenar y recuperar esta información.

Gobernanza de Big Data

La gobernanza de datos implica definir pautas para ayudar a las empresas a tomar buenas decisiones sobre sus datos. La gobernanza de big data ayuda a abordar la complejidad, el volumen y la variedad de datos que ingresan dentro de una empresa o de fuentes externas. Se necesitan directrices y procesos sólidos para monitorear, estructurar, almacenar y proteger los datos cuando ingresan a la empresa para su procesamiento, almacenamiento, análisis y depuración o archivo.

Además de las consideraciones normales de gobernanza de datos, la gobernanza de big data también incluye otros factores:

1.

2. Entrenar y gestionar continuamente los modelos estadísticos necesarios para preprocesar datos y análisis no estructurados. Recuerde, la configuración es un paso importante cuando se trabaja con datos no estructurados.

3. Establecer políticas y sistemas de cumplimiento para la retención y uso de datos externos.

4. Definir estrategias de archivado y depuración de datos.

5. Cree una estrategia sobre cómo replicar datos en varios sistemas.

6. Establecer política de cifrado de datos.

Capa de calidad del servicio

Esta capa define de manera compleja la calidad de los datos, las políticas de privacidad y seguridad, la frecuencia de los datos, el tamaño de los datos por rastreo y los filtros de datos:

Datos calidad

1. Identificar completamente todos los elementos de datos necesarios

2. Proporcionar un cronograma de datos con una actualización aceptable

3. Verificar la exactitud de los datos según los datos. reglas de precisión

4. Utilice un lenguaje común (las tuplas de datos satisfacen las necesidades expresadas en lenguajes comerciales simples)

5. Verifique la coherencia de los datos de múltiples sistemas basándose en reglas de coherencia de datos. >

6. Cumplimiento técnico basado en el cumplimiento de las especificaciones de datos y las pautas de arquitectura de la información

Estrategias en torno a la privacidad y la seguridad

Se necesitan estrategias para proteger los datos confidenciales. Los datos obtenidos de agencias y proveedores externos pueden contener datos confidenciales (como información de contacto del usuario de Facebook o información de precios de productos). Los datos pueden proceder de diferentes regiones y países, pero deben procesarse en consecuencia. Se deben tomar decisiones con respecto al enmascaramiento de datos y al almacenamiento de dichos datos.

Considere las siguientes estrategias de acceso a los datos:

A. Disponibilidad de los datos

B. Criticidad de los datos

C. compartir y liberar

E, almacenamiento y retención de datos, incluidas cuestiones como si se pueden almacenar datos externos. Si los datos se pueden almacenar, ¿cuánto tiempo se pueden almacenar? ¿Qué tipo de datos se pueden almacenar?

F. Restricciones del proveedor de datos (política, tecnología y región)

Términos de uso de las redes sociales

Frecuencia de los datos

Provisión ¿Con qué frecuencia se actualizan los datos? ¿Es bajo demanda, continuo o fuera de línea?

Tamaño de los datos rastreados

Esta propiedad ayuda a definir los datos que se pueden rastrear y el tamaño de los datos que se pueden usar después de cada rastreo.

Filtros

Los filtros estándar eliminan los datos no deseados y el ruido de los datos, dejando solo los datos necesarios para el análisis.

Gestión de sistemas

La gestión de sistemas es fundamental para big data porque involucra muchos sistemas a través de clústeres y fronteras empresariales. Monitorear el estado de todo el ecosistema de big data incluye:

A. Administrar registros del sistema, máquinas virtuales, aplicaciones y otros dispositivos

B. Correlacionar varios registros para ayudar a investigar y monitorear situaciones específicas.

C. Monitorear advertencias y notificaciones en tiempo real

D. Usar paneles en tiempo real que muestren varios parámetros

E.

F. Establecer y cumplir los acuerdos de nivel de servicio

G. Administrar el almacenamiento y la capacidad

G. Archivar y gestionar la recuperación de archivos. I. Realizar la recuperación del sistema, la gestión del clúster y la gestión de la red

J. Gestión de políticas

Conclusión

Para los desarrolladores, la capa proporciona una forma de categorizar las funciones. que debe realizar una solución de big data y recomendar a la organización el código que debe ser requerido para realizar esas funciones. Sin embargo, para los usuarios empresariales que desean obtener información a partir de big data, suele resultar útil considerar las necesidades y el alcance de big data. Los patrones atómicos abordan los mecanismos para acceder, procesar, almacenar y utilizar big data, proporcionando a los usuarios empresariales una forma de abordar sus necesidades y alcance. El próximo artículo analizará el patrón atómico para este propósito.