Explique en detalle lo que no sabe sobre “big data”

En 2012, el término big data se mencionó cada vez más. La gente lo utiliza para describir y definir los datos masivos generados en la era de la explosión de la información y para nombrar innovaciones y desarrollos tecnológicos relacionados. Apareció en la portada de una columna del Wall Street Journal, apareció en las noticias del sitio web oficial de la Casa Blanca, apareció en algunos salones de conferencias nacionales con temas de Internet e incluso fue incluido en informes de recomendaciones de inversión de compañías de valores sensibles.

1. Antecedentes del big data

En 2012, la palabra big data se mencionó cada vez más. La gente lo utiliza para describir y definir los datos masivos generados en la era de la explosión de la información y para nombrar innovaciones y desarrollos tecnológicos relacionados. Apareció en la portada de una columna del Wall Street Journal, apareció en las noticias del sitio web oficial de la Casa Blanca, apareció en algunos salones de conferencias nacionales con temas de Internet e incluso fue incluido en informes de recomendaciones de inversión de compañías de valores sensibles.

Los datos se están expandiendo y creciendo rápidamente, lo que determina el desarrollo futuro de las empresas. Aunque es posible que las empresas no sean conscientes de los peligros ocultos causados ​​por el crecimiento explosivo de los datos en la actualidad, a medida que pase el tiempo, la gente será cada vez más consciente de la importancia de los datos para las empresas. La era del big data plantea nuevos desafíos a las capacidades de control de datos humanos y también proporciona un espacio y un potencial sin precedentes para que las personas obtengan conocimientos más profundos y completos.

La primera que planteó la llegada de la era del big data fue la mundialmente reconocida consultora McKinsey. McKinsey dijo: "Los datos han penetrado en todas las industrias y áreas funcionales de negocios hoy en día y se han convertido en un importante factor de producción. La extracción y aplicación de datos masivos presagia la llegada de una nueva ola de crecimiento de la productividad y excedente del consumidor". Los campos de la física, la biología, la ecología ambiental, el ejército, las finanzas, las comunicaciones y otros campos industriales existen desde hace algún tiempo, pero han atraído la atención de la gente debido al desarrollo de Internet y la industria de la información en los últimos años.

Big data en la industria de Internet se refiere al fenómeno de los datos de comportamiento de la red de los usuarios generados y acumulados por las empresas de Internet en las operaciones diarias. La escala de estos datos es tan grande que no se puede medir con G o t. La unidad de medida inicial de big data es al menos P (1000 t), E (1 millón de t) o Z (1 mil millones de t).

2. ¿Qué es el big data?

En el campo de la tecnología de la información, han aparecido conceptos como "datos masivos" y "datos a gran escala", pero estos conceptos sólo se centran en la escala de datos en sí y no reflejan completamente el procesamiento de datos y aplicación en el contexto de la explosión de datos. El nuevo concepto de "big data" no solo se refiere a objetos de datos a gran escala, sino que también incluye las actividades de procesamiento y aplicación de estos objetos de datos. Es la unidad de objetos de datos, tecnología y aplicaciones.

1. Big data, o gran cantidad de datos, se refiere a cantidades tan enormes de datos que no se pueden capturar, gestionar, procesar y organizar a través de las principales herramientas de software actuales para hacerlos más eficientes. un propósito positivo y, por lo tanto, ayuda a las empresas a tomar decisiones comerciales dentro de un período de tiempo razonable. Los objetos de big data pueden ser conjuntos de datos reales y limitados, como una base de datos mantenida por un departamento o empresa gubernamental, o pueden ser conjuntos de datos virtuales ilimitados, como toda la información en Weibo, WeChat y las redes sociales.

Big data es un activo de información diversificado, masivo y de alto crecimiento que requiere nuevos modelos de procesamiento para tener un mayor poder de toma de decisiones, conocimiento y descubrimiento, y capacidades de optimización de procesos. En términos de datos, “big data” se refiere a información que no puede procesarse ni analizarse mediante procesos o herramientas tradicionales. Define conjuntos de datos que están más allá del alcance y tamaño del procesamiento normal, lo que obliga a los usuarios a adoptar métodos de procesamiento no tradicionales.

Amazon Web Services (AWS) y el científico de big data John Rauser mencionaron una definición simple: Big data es cualquier cantidad masiva de datos que excede la potencia de procesamiento de las computadoras. La definición de big data del equipo de I + D: "Big data es la tecnología más popular y la tecnología más de moda. Cuando ocurre este fenómeno, la definición se vuelve muy confusa", dijo Kelly: "Es posible que big data no contenga toda la información, pero creo que la mayoría". Parte de la visión del big data es que es tan grande que analizarlo requiere múltiples cargas de trabajo, que es la definición de AWS

2. Se refiere a la capacidad técnica. para obtener rápidamente información valiosa de varios tipos de big data, incluida la recopilación, el almacenamiento, la gestión, el análisis y la extracción de datos, la visualización y otras tecnologías y su integración.

Las tecnologías adecuadas para big data incluyen bases de datos MPP, redes eléctricas de minería de datos, sistemas de archivos distribuidos, bases de datos distribuidas, plataformas de computación en la nube, Internet, sistemas de almacenamiento escalables, etc.

3. La aplicación de big data (aplicación de big data) se refiere al acto de integrar tecnología de big data y aplicarla a una colección específica de big data para obtener información valiosa. Para diferentes negocios en diferentes campos, diferentes empresas o incluso el mismo negocio de diferentes empresas en el mismo campo, la tecnología de big data y el sistema de información de big data utilizados pueden ser bastante diferentes debido a diferentes necesidades comerciales, recopilación y análisis de datos y minería. objetivos. Sólo adhiriéndose al desarrollo sincrónico de la trinidad de "objetos, tecnología y aplicaciones" se podrá aprovechar plenamente el valor de los big data.

Cuando tu tecnología llega a su límite, es el límite de los datos. "Los big data no se trata de cómo definirlos, lo más importante es cómo usarlos. El mayor desafío es qué tecnologías pueden utilizar mejor los datos y cómo aplicarlos. En comparación con las bases de datos tradicionales, el aumento de los big data de código abierto Herramientas de análisis de datos como Hadoop y el valor de estos servicios de datos no estructurados.

3. Tipos de big data y métodos de extracción de valor

1. divididos en tres categorías:

1) Datos empresariales tradicionales: incluidos datos de clientes de sistemas CRM, datos de ERP tradicionales, datos de inventario, datos de cuentas

2) Datos generados por máquinas/sensores : incluidos CallDetailRecords, medidores inteligentes y equipos industriales, sensores, registros de dispositivos (generalmente escapes digitales), datos de transacciones, etc.

3) Datos sociales: incluidos registros de comportamiento del usuario, datos de retroalimentación, etc.

2. Hay cuatro formas principales de extraer valor empresarial a partir de big data:

1) Segmentar grupos de clientes y luego personalizar servicios especiales para cada grupo

2) Simular el entorno real. , explorar nuevas necesidades y mejorar el retorno de la inversión

3) Fortalecer las conexiones departamentales y mejorar la eficiencia de toda la cadena de gestión y la cadena industrial.

4) Reducir los costos de servicio y. descubrir pistas ocultas sobre productos y servicios innovadores.

Cuarto, características del big data

La industria suele utilizar cuatro V (es decir, volumen, variedad, valor y velocidad) para resumir las características. de big data Específicamente, big data tiene cuatro características básicas:

1 es una gran cantidad de datos

Gran cantidad de datos se refiere a un gran conjunto de datos, generalmente alrededor de 10 TB. Sin embargo, en aplicaciones prácticas, muchos usuarios empresariales reúnen varios conjuntos de datos para formar un volumen de datos a nivel de petabytes. Según los datos de Baidu, la navegación de su nueva página de inicio debe proporcionar más de 1,5 petabytes (1 pb = 1024 TB) por día. Se imprimirán 500 mil millones de hojas de papel A4. Se ha confirmado que la cantidad de datos producidos por los humanos hasta ahora es de solo 200 PB. Hay muchos tipos de datos. > Hay muchos tipos de datos, y los datos provienen de diversas fuentes de datos. Los tipos y formatos de datos se están volviendo cada vez más ricos. Ha superado el alcance previamente definido de datos estructurados e incluye datos semiestructurados y no estructurados. Los tipos de datos no son solo texto, así como varios tipos de datos como imágenes, videos, audios e información geográfica, los datos personalizados representan la mayoría absoluta.

3.

En el caso de grandes cantidades de datos, el procesamiento de datos en tiempo real también se puede lograr siguiendo la "regla del segundo" y puede obtener rápidamente información de alto valor de varios tipos.

4, es autenticidad de alto valor y baja densidad

Alta autenticidad de datos, con el interés de las personas en nuevas fuentes de datos como datos sociales, contenido empresarial, transacciones y. Los datos de las aplicaciones, las limitaciones de las fuentes de datos tradicionales se rompen y las empresas necesitan cada vez más información eficaz para garantizar su autenticidad y seguridad. Tomemos el vídeo, por ejemplo. Una hora de vídeo puede tener sólo uno o dos segundos de datos útiles durante un seguimiento ininterrumpido.

Verbo (abreviatura de verbo) El papel del big data

1. El procesamiento y análisis de big data se están convirtiendo en el nodo para la aplicación integrada de una nueva generación de tecnologías de la información.

Internet móvil, Internet de las Cosas, redes sociales, hogares digitales, comercio electrónico, etc. son las formas de aplicación de la nueva generación de tecnologías de la información, y estas aplicaciones siguen generando big data.

La computación en la nube proporciona una plataforma informática y de almacenamiento para estos datos masivos y diversos. Al gestionar, procesar, analizar y optimizar datos de diferentes fuentes, los resultados se retroalimentan a las aplicaciones mencionadas, creando así un enorme valor económico y social.

El big data tiene el poder de promover el cambio social. Pero liberar esta energía requiere una gobernanza de datos rigurosa, un análisis de datos perspicaz y un entorno que estimule la innovación en la gestión (Ramayya Krishnan, decana de la Escuela Hindes, Universidad Carnegie Mellon).

2. El big data es el nuevo motor del crecimiento rápido y sostenido de la industria de la información.

Nuevas tecnologías, nuevos productos, nuevos servicios y nuevos formatos de negocio seguirán surgiendo en el mercado del big data. En el campo del hardware y los equipos integrados, los big data tendrán un impacto importante en las industrias de chips y almacenamiento, y también darán lugar a servidores integrados de almacenamiento y procesamiento de datos, computación en memoria y otros mercados. En el campo del software y los servicios, los macrodatos conducirán al desarrollo de procesamiento y análisis rápidos de datos, tecnología de extracción de datos y productos de software.

3. La utilización de big data se convertirá en un factor clave para mejorar la competitividad central.

La toma de decisiones en todos los ámbitos de la vida está cambiando de "impulsada por el negocio" a "basada en datos". El análisis de big data puede permitir a los minoristas captar la dinámica del mercado en tiempo real y responder rápidamente; puede brindar apoyo a la toma de decisiones para que los comerciantes formulen estrategias de marketing más precisas y efectivas; puede ayudar a las empresas a brindar servicios más oportunos y personalizados a los consumidores; En el campo médico, puede mejorar la precisión del diagnóstico y la eficacia de los medicamentos en el sector público, y los macrodatos también han comenzado a desempeñar un papel importante en la promoción del desarrollo económico y el mantenimiento de la estabilidad social.

4. En la era del big data, los métodos y medios de la investigación científica sufrirán cambios importantes.

Por ejemplo, la encuesta por muestreo es un método de investigación básico en ciencias sociales. En la era del big data, podemos monitorear y rastrear los datos de comportamiento masivos generados por los objetos de investigación en Internet en tiempo real, realizar minería y análisis, revelar regularidades y proponer conclusiones y contramedidas de investigación.

En sexto lugar, el valor empresarial del big data

1. Segmentación de grupos de clientes

Los "big data" pueden subdividir grupos de clientes y luego dirigirse a cada grupo de clientes. Los grupos toman acciones únicas. Dirigir el marketing y los servicios a grupos de clientes específicos siempre ha sido el objetivo de los comerciantes. Las enormes cantidades de datos almacenados en la nube y la tecnología de análisis de "big data" permiten segmentar a los consumidores en tiempo real y a un ritmo muy rentable.

2. Simular la realidad

Utilizar "big data" para simular situaciones reales, descubrir nuevas necesidades y mejorar el retorno de la inversión. Hoy en día, cada vez más productos están equipados con sensores y la proliferación de automóviles y teléfonos inteligentes ha provocado una explosión en la cantidad de datos que se pueden recopilar. Las redes sociales como blogs, Twitter, Facebook y Weibo también generan enormes cantidades de datos.

La computación en la nube y las tecnologías de análisis de "grandes datos" permiten a las empresas almacenar y analizar estos datos, así como datos de comportamiento de transacciones, en tiempo real con una alta rentabilidad. Los procesos de transacciones, el uso de productos y el comportamiento humano se pueden digitalizar. La tecnología de "grandes datos" puede integrar estos datos para la extracción de datos, de modo que, en algunos casos, la simulación de modelos se puede utilizar para determinar qué programa tiene el mayor retorno de la inversión bajo diferentes variables (como diferentes programas de promoción en diferentes regiones).

3. Mejorar el retorno de la inversión.

Aumentar el intercambio de resultados de "big data" entre departamentos relevantes y mejorar el retorno de la inversión de toda la cadena de gestión y la cadena industrial. Los departamentos con sólidas capacidades de "grandes datos" pueden compartir los resultados de "grandes datos" con departamentos con capacidades débiles de "grandes datos" a través de la computación en la nube, Internet y motores de búsqueda internos, ayudándolos a utilizar "grandes datos" para crear valor comercial.

4. Arrendamiento de espacio de almacenamiento de datos

Tanto las empresas como los particulares tienen necesidades de almacenamiento masivo de información. Sólo almacenando estos datos correctamente se podrá explotar aún más su valor potencial. Específicamente, este modelo de negocio se puede dividir en dos categorías: almacenamiento de archivos personales y usuarios empresariales. Principalmente a través de la API simple y fácil de usar, los usuarios pueden colocar fácilmente varios objetos de datos en la nube y luego cargarlos según el uso, como agua y electricidad. Actualmente, muchas empresas han lanzado servicios correspondientes, como Amazon, NetEase y Nokia. Los operadores también han lanzado servicios correspondientes, como el servicio Cai Yun de China Mobile.

5. Gestionar las relaciones con los clientes

El propósito de las aplicaciones de gestión de clientes es realizar un análisis y una comprensión en profundidad de los clientes desde diferentes ángulos en función de sus atributos (incluidos los atributos naturales y los atributos de comportamiento). ), para aumentar nuevos clientes, mejorar la lealtad de los clientes, reducir la tasa de abandono de clientes y aumentar el consumo de clientes.

Para los clientes pequeños y medianos, un CRM dedicado es obviamente grande y costoso. Muchas pequeñas y medianas empresas utilizan Fetion como su CRM principal. Por ejemplo, agregue clientes antiguos al grupo Fetion, publique anuncios de nuevos productos y avisos de ventas especiales en Moments y complete servicios de preventa y posventa.

6. Recomendaciones personalizadas y precisas

Dentro de los operadores, es muy común recomendar diversos servicios o aplicaciones en función de las preferencias del usuario, como recomendaciones de software de tiendas de aplicaciones, recomendaciones de programas de vídeo IPTV, etc. . Después de algoritmos de análisis inteligentes, como algoritmos de correlación, extracción de resúmenes de texto y análisis de sentimientos, se puede extender a servicios comerciales y utilizar tecnología de extracción de datos para ayudar a los clientes a realizar un marketing preciso. Las ganancias futuras pueden provenir de una parte de la porción de valor agregado del cliente.

Tomemos como ejemplo los "mensajes de texto basura" diarios. No toda la información es "basura" porque el destinatario no la necesita y se considera basura. Después de analizar los datos de comportamiento del usuario, la información requerida se puede enviar a las personas que la necesitan, convirtiendo los "mensajes de texto basura" en información valiosa. En McDonald's en Japón, los usuarios descargan cupones en sus teléfonos y luego van al restaurante a pagar con la billetera móvil del operador DoCoMo. Los operadores y McDonald's recopilan información de consumo relevante, como qué hamburguesas compran con frecuencia, a qué tiendas van y la frecuencia de consumo, y luego envían cupones con precisión a los usuarios.

7. Búsqueda de datos

La búsqueda de datos no es una aplicación nueva. Con el advenimiento de la era del "big data", la demanda de las personas de búsquedas integrales y en tiempo real es cada vez más fuerte. Necesitamos poder buscar en varias redes sociales, comportamiento de los usuarios y otros datos. Su valor de aplicación comercial radica en vincular el procesamiento de datos en tiempo real con el análisis y la publicidad, es decir, servicios sociales y comerciales de publicidad en tiempo real para publicidad móvil dentro de la aplicación.

La información sobre el comportamiento online de los usuarios que dominan los operadores hace que los datos obtenidos "tengan una dimensión más integral" y tengan más valor comercial. Aplicaciones típicas como “Pangu Search” de China Mobile.

7. El importante impacto del big data en la economía y la sociedad

1.

Por ejemplo, la contribución al crecimiento del beneficio neto minorista de China y la reducción de los costes de I+D y montaje de productos manufactureros. Se estima que los macrodatos globales impulsarán directa e indirectamente los gastos en tecnología de la información a 120 mil millones de dólares en 2013.

2. Puede promover la mejora del nivel de gestión social.

La aplicación de big data en el campo de los servicios públicos puede promover eficazmente el desarrollo del trabajo relacionado, mejorar el nivel de toma de decisiones, la eficiencia del servicio y el nivel de gestión social de los departamentos relevantes y generar un enorme valor social. Al analizar los datos sobre el flujo de tráfico recopilados en tiempo real, muchas ciudades europeas pueden mejorar las condiciones del tráfico urbano guiando a los conductores hacia las mejores rutas.

3. Sin herramientas de análisis de alto rendimiento, no se puede liberar el valor del big data.

Debemos mantener una comprensión clara de la aplicación del big data. No podemos creer ciegamente en los resultados de su análisis ni negar su importante papel porque no es completamente preciso.

1) Debido a diversas razones, los objetos de datos analizados y procesados ​​inevitablemente contendrán varios datos erróneos y datos inútiles. Como el núcleo de la tecnología de big data, el análisis de datos, la inteligencia artificial y otras tecnologías aún no están completamente desarrollados. maduros, por lo que no pueden. Se requiere que los resultados del análisis y procesamiento de big data completados por computadoras sean completamente precisos. Por ejemplo, al analizar el contenido de búsqueda de cientos de millones de usuarios, Google puede predecir brotes de influenza más rápido que las organizaciones profesionales, pero esta predicción ha sido inexacta muchas veces debido a la interferencia de información inútil en Weibo.

2) El posicionamiento debe ser claro: el papel y el valor del big data se centran en guiar y estimular el pensamiento innovador de los usuarios de big data y ayudar en la toma de decisiones. En pocas palabras, cuando se trata de un problema, la gente generalmente puede pensar en un método que puede proporcionar diez métodos de referencia. Incluso si solo tres son factibles, triplicará la cantidad de ideas para resolver el problema.

Por lo tanto, comprender objetivamente y aprovechar al máximo el papel del big data, sin exagerarlo ni minimizarlo, es el requisito previo para comprender y aplicar el big data con precisión.

Ocho. Resumen

Ya sea que el valor central de big data sea la predicción o no, los modelos de toma de decisiones basados ​​en big data han generado ganancias y reputación para muchas empresas.

1. Del análisis de la cadena de valor del big data, se distinguen tres modelos:

1) Mantener big data pero no hacer un buen uso de él. Los ejemplos típicos incluyen las instituciones financieras; , industria de las telecomunicaciones e instituciones gubernamentales, etc.

2) No tengo datos, pero sé cómo ayudar a las personas que tienen datos a utilizarlos; las típicas empresas de consultoría y servicios de TI, como Accenture, IBM, Oracle, etc.

3) Existe el pensamiento tanto de datos como de big data; los ejemplos típicos incluyen Google, Amazon, MasterCard, etc.

2. Las cosas más valiosas en el campo de big data en el futuro son dos cosas:

1) Las personas con pensamiento de big data pueden transformar el valor potencial de big data en valor real. beneficios para las personas;

2) Áreas de negocio que no han sido tocadas por el big data. Se trata de pozos de petróleo y depósitos de oro inexplorados, los llamados océanos azules.

Big data es un campo típico en el que la tecnología de la información y la tecnología profesional, la industria de la tecnología de la información y diversas industrias están estrechamente integradas. Tiene una fuerte demanda de aplicaciones y amplias perspectivas de aplicación. Para aprovechar las nuevas oportunidades que brinda este campo emergente, es necesario continuar rastreando y estudiando big data, mejorar continuamente el conocimiento y la comprensión de big data, adherirse a la colaboración de la innovación tecnológica y la innovación de aplicaciones, y acelerar el desarrollo. de big data en diversos campos económicos y sociales Utilizar y promover las necesidades de aplicación de datos y los niveles de aplicación de los países, industrias y empresas en una nueva etapa.