¿Se utiliza ampliamente el big data en la vida real?

Hoy en día, cada vez más industrias y campos técnicos requieren el uso de sistemas de procesamiento y análisis de big data. Hablando de procesamiento de big data, primero echemos un vistazo más de cerca al proceso de procesamiento de big data.

1. La recopilación de datos y la construcción de un almacén de datos significa enterrar los datos a través del front-end, llamar a la transmisión de datos a través de registros de interfaz, capturar la base de datos y que los clientes carguen los datos ellos mismos para guardar varias dimensiones de estos básicos. datos de información Sentí que algunos de los datos eran inútiles (al principio solo estaba pensando en funciones, pero algunos de los datos no se recopilaron y luego mi jefe me regañó).

2. Limpieza/preprocesamiento de datos: realice un procesamiento simple de los datos recibidos, como convertir IP en direcciones y filtrar datos sucios.

3. Una vez que tenga los datos, podrá procesarlos. Hay muchas formas de procesar datos. Generalmente, el procesamiento fuera de línea se divide en procesamiento fuera de línea y procesamiento en tiempo real. El procesamiento fuera de línea significa un procesamiento regular todos los días. MaxComputer, Hive y MapReduce de Alibaba se utilizan más comúnmente, y el procesamiento fuera de línea utiliza principalmente Storm, Spark y Hadoop. A través de algunos marcos de procesamiento de datos, los datos se pueden calcular en varios KPI. Cabe señalar aquí que no solo debemos considerar funciones, sino principalmente construir varias dimensiones de datos, completar datos básicos y ser reutilizables. En el futuro, podrá mostrar varios KPI a voluntad.

4. Visualización de datos, los datos son inútiles. Visualizar y lograr MVP significa crear rápidamente un efecto que no es adecuado para un ajuste oportuno. Esto es algo similar al desarrollo ágil de Scrum. La visualización de datos se puede completar utilizando datav, toilet god, etc. , la interfaz se puede ignorar. Dibuja las páginas tú mismo.

El procesamiento de big data está penetrando cada vez más en diversas industrias. Por ejemplo, la industria financiera necesita utilizar sistemas de big data combinados con VaR (valor en riesgo) o soluciones de aprendizaje automático para el control del riesgo crediticio, y las industrias minorista y de restauración necesitan sistemas de big data para ayudar en las decisiones de ventas. Varios escenarios de IOT requieren sistemas de big data para resumir y analizar continuamente datos de series temporales, y las principales empresas de tecnología necesitan establecer centros de análisis de big data.