Un artículo sobre la comprensión e interpretación de big data
Comprender y comprender big data en un artículo
Antes de escribir este artículo, descubrí que muchas personas de TI a mi alrededor están ansiosas por aprender sobre estas nuevas tecnologías y tendencias populares, pero les resulta difícil. para explicarlos completamente. Si le preguntas, ¿qué tiene que ver el big data contigo? Se estima que pocas personas pueden distinguir uno, dos o tres. Las razones son: primero, todos tienen el mismo deseo primitivo por las nuevas tecnologías, y al menos saben lo que son para no parecer "tontos" cuando conversan; segundo, pueden realmente participar en la práctica de big data en su trabajo; y entornos de vida Hay muy pocos casos, por lo que no es necesario que todos dediquen tiempo a saber por qué.
Quiero que sea diferente, por eso he pensado en cómo entender el big data, incluida la consulta de información y la lectura de los últimos libros profesionales, pero no quiero simplemente acumular información o discusiones dispersas. Con diferentes entendimientos para formar análisis o comentarios inútiles, espero sinceramente explorar la esencia de las cosas.
Si dices que big data es big data, o hablas interminablemente sobre las 4 V, o tal vez hablas muy profundamente sobre el valor de BI o la predicción, o tomas a Google y Amazon como ejemplos, la corriente tecnológica puede hablar Sobre Hadoop y la computación en la nube, ya sea correcto o incorrecto, no se puede decir que la comprensión general de big data sea unilateral, pero al menos parte de ella no es unilateral, sino al menos en parte. Al menos es un vislumbre del leopardo y un poco de picazón en la capa exterior. ...Quizás la "deconstrucción" sea la mejor manera. ¿Cómo construir big data?
En primer lugar, creo que los big data son una manifestación o característica del desarrollo de Internet hasta su etapa actual. No hay necesidad de mitificarlos ni de admirarlos en la era de la innovación tecnológica. Representado por la computación en la nube, en este contexto, estos datos que originalmente eran difíciles de recopilar y utilizar comenzaron a utilizarse fácilmente. A través de la innovación continua en todos los ámbitos de la vida, los big data crearán gradualmente más valor para la humanidad.
En segundo lugar, si desea comprender sistemáticamente los big data, debe realizar una descomposición completa y detallada. A continuación, lo ampliaré en tres niveles:
El primer nivel es la teoría. ésta es una forma necesaria de cognición y una base de referencia ampliamente reconocida y difundida. A partir de la definición de las características de big data, comprenderé la descripción y caracterización general de big data en la industria; de la discusión sobre el valor de big data, analizaré el valor de big data desde el presente y el futuro; big data, entenderé la tendencia de desarrollo de big data; desde la perspectiva de big data, desde la perspectiva de la privacidad de los datos, es una perspectiva especial e importante examinar el juego a largo plazo entre las personas y los datos.
El segundo nivel es la tecnología. La tecnología es el medio para realizar el valor del big data y la piedra angular del avance del big data. Explicaré todo el proceso de big data desde la recopilación, el procesamiento y el almacenamiento hasta la formación de resultados a partir del desarrollo de la computación en la nube, la tecnología de procesamiento distribuido, la tecnología de almacenamiento y la tecnología de percepción, respectivamente.
El tercer nivel es la práctica, y la práctica es la máxima encarnación del valor del big data. Describiré el hermoso escenario que ha mostrado el big data y el plan para su próxima realización desde cuatro aspectos: big data de Internet, big data gubernamental, big data empresarial y big data personal. ?Teorías relacionadas con los big data? Definición de características
El primero en proponer que la era del big data ha llegado fue McKinsey: "Los datos han penetrado en todas las industrias y funciones comerciales de hoy y se han convertido en un importante factor de producción. Minería y uso por parte de las personas de datos masivos presagia una nueva ola de crecimiento de la productividad y excedente del consumidor
La industria (la primera definición de IBM) describe el big data como cuatro "V" (Volumen, Variedad, Valor, Velocidad), es decir, cuatro. dimensiones: en primer lugar, la cantidad de datos es enorme. La unidad de medida inicial de big data es al menos P (1.000 T), E (1.000.000 T) o Z (1.000 millones de T); Hay muchos tipos, como registros web, videos, imágenes, información de ubicación geográfica, etc. El tercero es la baja densidad de valor y el alto valor comercial. El último punto también es fundamentalmente diferente de la tecnología tradicional de minería de datos. En realidad, no explican todas las características del big data. La siguiente figura ilustra algunas características relevantes del big data.
Como dice el refrán: tres puntos de tecnología, siete puntos de datos, quien obtiene el. Los datos ganan.
No me importa quién dijo esto, pero nadie discute que es correcto. Victor Meier-Schoenberg enumeró cientos de ejemplos en el libro "La era de los grandes datos" solo para ilustrar una verdad: la era de los grandes datos ha llegado y el pensamiento de los grandes datos debe utilizarse para extraer el valor potencial de los grandes datos. En el libro, lo que más menciona el autor es cómo Google utiliza los registros de búsqueda de las personas para extraer el valor de uso secundario de los datos, como predecir la tendencia de los brotes de influenza en un lugar determinado, cómo Amazon usa los datos del historial de navegación y compras de los usuarios para realizar acciones específicas; recomendaciones de compra de libros, aumentando así efectivamente las ventas; cómo Farecast utiliza los datos de descuento de precios de boletos aéreos en todas las rutas en los últimos diez años para predecir si es el momento adecuado para que los usuarios compren boletos aéreos. Cómo Farecast utiliza datos sobre descuentos en tarifas aéreas en todas las rutas durante la última década para predecir si es el momento adecuado para que un usuario compre un vuelo.
Entonces, ¿qué es el pensamiento de big data? Viktor Mayer-Schönberg cree: 1-Necesitamos una muestra de datos completa en lugar de un muestreo; 2-Centrarnos en la eficiencia en lugar de la precisión; 3-Centrarnos en la correlación en lugar de la causalidad;
Wang Jian de Alibaba también tiene algunas ideas únicas sobre big data, como:
"Los datos de hoy no son grandes. Lo realmente interesante es que los datos han estado en línea. Esto es por qué Características de Internet. "
"Para los productos en la era sin Internet, la funcionalidad debe ser su valor, pero para los productos en Internet hoy, los datos deben ser su valor."
"Nunca deberías pensar en utilizar datos para mejorar el negocio, eso no es big data. Debes haber hecho algo que no podías hacer antes".
Especialmente el último punto, estoy totalmente de acuerdo , es decir, el valor real del big data radica en crear y llenar innumerables vacíos que aún no se han realizado.
Algunas personas comparan los datos con las minas de carbón que contienen energía. El carbón se divide en carbón coquizable, carbón de antracita, carbón graso, carbón pobre, etc. según sus propiedades. Los costos de excavación de las minas de carbón a cielo abierto y las minas de carbón de montaña profunda también son diferentes. De manera similar, big data no se trata de "grandes", sino de "útiles". El contenido de valor y los costos de extracción son más importantes que la cantidad. ?Minería de valor
¿Qué es big data? A los ojos de los inversores, hay dos palabras brillantes: activos. Por ejemplo, cuando Facebook salió a bolsa, la mayoría de los activos efectivos evaluados por las agencias de evaluación eran datos de sus sitios de redes sociales.
Si se compara el big data con una industria, entonces la clave para la rentabilidad de esta industria radica en mejorar las "capacidades de procesamiento" de los datos y lograr el "valor agregado" de los datos a través del "procesamiento". "
Target
El supermercado Target se basa en más de 20 tipos de productos que las mujeres embarazadas pueden comprar durante el embarazo y utiliza los registros de compra de todos los usuarios como fuente de datos para analizar al comprador. Al construir un modelo de comportamiento, la correlación puede inferir con precisión el momento específico del embarazo, de modo que el departamento de ventas de Target pueda enviar los productos y cupones correspondientes a cada clienta embarazada en diferentes etapas.
El ejemplo de Target es un ejemplo típico. Como propuso Victor Meier-Schoenberg, Target predice con precisión el futuro monitoreando el momento y el tipo de bienes comprados por los compradores. Este es el uso secundario de datos. Si recopilamos datos de GPS de los teléfonos móviles de los conductores, podemos analizar cuál. Los tramos de carretera están actualmente más congestionados y emiten alertas de tráfico oportunas, si recopilamos datos de posicionamiento GPS de los automóviles, podemos analizar qué zonas de la ciudad tienen más plazas de aparcamiento. Muestra que hay mucha gente activa en esta zona, y estas analíticas. los datos son adecuados para vender a los anunciantes.
Independientemente de si el valor central de big data es la predicción, los modelos de toma de decisiones basados en big data han generado ganancias y reputación para muchas empresas. p>Analizando la cadena de valor del big data, existen tres modelos:
1-Tener big data en la mano pero no hacer un buen uso de él, los más típicos son las instituciones financieras y las industrias de telecomunicaciones, el gobierno. agencias, etc.
2- Sin datos, pero saben cómo ayudar a las personas con datos a utilizarlos; las más típicas son empresas de servicios y consultoría de TI, como Accenture, IBM, Oracle, etc.
3- Tanto el pensamiento de datos como el de big data; los típicos incluyen Google, Amazon, MasterCard, etc.
Las cosas más valiosas en el campo de big data en el futuro son dos puntos: 1- Personas con pensamiento de big data, que pueden transformar el valor potencial de big data en beneficios reales 2- Big data tiene; áreas de negocio que aún no han tocado. Se trata de pozos de petróleo sin explotar, minas de oro y los llamados océanos azules.
Como gigante de la industria minorista, los analistas de Wal-Mart realizarán un análisis exhaustivo de los registros de ventas en cada etapa una vez que descubrieron accidentalmente un dato insignificante pero valioso, en los Estados Unidos durante la temporada de huracanes. Las ventas de tartas de huevo y artículos de protección contra huracanes en los supermercados aumentaron significativamente, por lo que tomaron una decisión acertada de reducir las ventas de tartas de huevo. Por lo tanto, tomaron una decisión acertada de aumentar las ventas de tartas de huevo. El área de ventas parece ser para facilitar a los usuarios la recogida de pedidos, pero no se dieron cuenta de cuánto aumentaron las ventas de tartas de huevo como resultado.
Otro ejemplo interesante es que durante la campaña de Liaoshen en 1948, el comandante Lin Biao solicitó que todos los días se llevara a cabo un "Diario de Inteligencia Militar" de rutina, en el que el personal de servicio leería en voz alta el estado de batalla de cada columna, división y regimiento subordinados ese día e informes radiofónicos sobre las incautaciones. Era casi una repetición de los mismos datos aburridos: cuántos enemigos fueron aniquilados por cada unidad, cuántos prisioneros fueron capturados; cuántos cañones, vehículos, armas y suministros fueron capturados... Un día, el oficial de estado mayor informó la situación de la batalla del día como de costumbre. Lin Biao lo interrumpió repentinamente: "¡Acabo de leer sobre la batalla para apoderarse de la ciudad en el" Periódico de los Cinco Soldados de la Familia Hu "! ¿Has oído hablar de eso?" Todos estaban confundidos, porque en tal batalla hay docenas de juegos todos los días, ¿no son todos casi los mismos números aburridos? Lin Biao miró a su alrededor y vio que nadie respondía, por lo que hizo tres preguntas seguidas: "¿Por qué la proporción de armas cortas y largas incautadas allí es ligeramente mayor que en otras batallas?" "¿Por qué la proporción de oficiales y soldados capturados y asesinados allí es ligeramente mayor que en otras batallas?" El comandante Lin Biao caminó hacia la pared cubierta de mapas militares y señaló un punto en el mapa: "¡Supongo que no, estoy seguro de que el enemigo está al mando!". Efectivamente, las tropas rápidamente capturaron al comandante enemigo Liao Yaoxiang y ganaron esta importante batalla.
Estos ejemplos reflejan verdaderamente que en todos los ámbitos de la vida, el valor de la extracción de datos depende de la persona que los domina. La clave está en el pensamiento de datos de esta persona, en lugar de decir que los grandes datos crean valor; Es el pensamiento de Big Data el que desencadena un nuevo crecimiento de valor.
Lo anterior es el contenido relevante compartido por el editor sobre la lectura de big data en un artículo. Para obtener más información, puede seguir a Global Green Ivy para compartir más información detallada.