¿Qué es big data y tecnología de big data?
Actualmente, los puestos de big data proporcionados por las empresas se pueden dividir en las siguientes categorías según los requisitos de contenido del trabajo:
①Categoría de análisis junior, que incluye analistas de datos comerciales, analistas de datos comerciales, etc. . Categoría de algoritmos de minería, incluidos ingenieros de minería de datos, ingenieros de aprendizaje automático, ingenieros de aprendizaje profundo, ingenieros de algoritmos, ingenieros de inteligencia artificial, científicos de datos, etc. La categoría de desarrollo y operación incluye ingenieros de desarrollo de big data, ingenieros de arquitectura de big data, ingenieros de operación y mantenimiento de big data, ingenieros de visualización de datos, ingenieros de adquisición de datos, administradores de bases de datos, etc. Categoría de operación de producto, incluido gerente de operaciones de datos, gerente de productos de datos, gerente de proyectos de datos, ventas de big data, etc.
El big data en sí es un concepto abstracto. En un sentido general, big data se refiere a colecciones de datos a los que no se puede acceder, almacenar, gestionar ni procesar en un tiempo limitado utilizando herramientas de software tradicionales.
En la actualidad, no existe una definición unificada de big data en la industria, pero generalmente se cree que big data tiene cuatro características: volumen de datos (Volumen), velocidad de datos (Velocity), tipo de datos (Variedad). ) y valor de datos (Valor) ), denominado "4V", lo que significa gran cantidad de datos, velocidad de datos rápida, muchos tipos de datos y baja densidad de datos. Como se muestra en la Figura 1, las cuatro características de "4V" son un gran volumen de datos, una velocidad de datos rápida, múltiples tipos de datos y una baja densidad de valores de datos. Cada característica se describe brevemente a continuación.
1) Volumen: Indica la enorme cantidad de big data.
La recopilación de datos varía desde gigabytes hasta terabytes y petabytes, y en los últimos años, los volúmenes de datos incluso han comenzado a medirse en exabytes y zettabytes.
Por ejemplo, la cantidad de información de videovigilancia en una ciudad de tamaño medio puede alcanzar decenas de terabytes por día. La navegación en la página de inicio de Baidu requiere más de 1 a 5 PB de datos por día. Si estos datos se imprimen, superarán los 500 mil millones de hojas de papel A4. La Figura 2 muestra la cantidad de datos generados por Internet cada minuto.
2) Velocidad: Indica que la velocidad de generación, procesamiento y análisis de datos de big data se está acelerando constantemente.
Esta aceleración se debe a la naturaleza en tiempo real de la creación de datos y a la necesidad de incorporar la transmisión de datos en los procesos y decisiones comerciales. Los datos se procesan muy rápidamente y el modelo de procesamiento ha comenzado a pasar del procesamiento por lotes al procesamiento en flujo.
La industria tiene un nombre para las capacidades de procesamiento de big data: la "ley del segundo", que significa que se puede obtener rápidamente información de alto valor a partir de todo tipo de datos. La rápida capacidad de procesamiento de big data refleja plenamente su diferencia esencial con la tecnología de procesamiento de datos tradicional.
3) Diversidad: Muestra que los tipos de datos del big data son diversos.
La industria TI tradicional genera y procesa un único tipo de datos, en su mayoría datos estructurados. Con la aparición de nuevos canales y tecnologías como sensores, dispositivos inteligentes, redes sociales, Internet de las cosas, informática móvil, publicidad online, etc., los tipos de datos generados son innumerables.
Los tipos de datos ya no son sólo datos formateados, sino más bien datos semiestructurados o no estructurados, como XML, correos electrónicos, blogs, mensajes instantáneos, vídeos, fotos, secuencias de clics, registros, documentos, etc. Las empresas necesitan integrar, almacenar y analizar datos de fuentes de información complejas, tradicionales y no tradicionales, tanto dentro como fuera de la empresa.
4) Valor: Indica que la densidad del valor de los datos de big data es baja.
Debido a la creciente cantidad de datos, la densidad del valor unitario de datos de big data está disminuyendo, pero el valor general de los datos está aumentando. Tomemos como ejemplo el vídeo de vigilancia. En una hora de vídeo, los datos útiles pueden ser sólo de uno o dos segundos, pero son muy importantes. Ahora, muchos expertos equiparan los big data con el oro y el petróleo, creyendo que los big data contienen un valor comercial ilimitado.
Al procesar big data e identificar su valor comercial potencial, se pueden generar enormes ganancias comerciales.