El camino para que las empresas implementen big data
El camino para que las empresas implementen big data
Hay dos caminos de construcción específicos para que las empresas implementen big data: por un lado, es de abajo hacia arriba y por el otro. Por otro lado, es de arriba hacia abajo.
De arriba hacia abajo
El camino de arriba hacia abajo es establecer primero una cultura de toma de decisiones de datos en la gestión de manera ordenada y crear conciencia sobre el uso de los datos en el nivel Nivel de cultura corporativa, luego establezca la estructura organizacional correspondiente, los departamentos y equipos correspondientes, determine qué tipo de personas necesitan ser reclutadas, cuántas personas se necesitan, cómo dividir las responsabilidades específicas y finalmente establezca la plataforma tecnológica correspondiente.
Ascendente
El primer paso desde abajo hacia arriba es permitir que los empleados aprendan y dominen habilidades técnicas relevantes, ya sea a través de capacitación interna o contratación externa. En segundo lugar, se debe planificar el diseño. Debe haber un plan a largo plazo sobre cómo se desarrollará e implementará el sistema en el futuro. En tercer lugar, debe haber indicadores claros de evaluación del desempeño, gestión de datos, control de calidad y cómo garantizar los beneficios. En cuarto lugar, debemos mantener una actitud abierta en el pensamiento. En la era de Internet, los grandes datos todavía se encuentran en sus primeras etapas de desarrollo. En este momento, la aplicación de los grandes datos en las empresas todavía se encuentra en la etapa inicial. Aún quedan muchas cosas por aprender y hay que mantener la mente abierta. La mentalidad, el aprendizaje continuo, realmente pueden hacer las cosas bien.
(1) Establecer la cultura de datos de una empresa
La cultura es la medida de los valores y las acciones de ejecución de la empresa. Establecer una cultura de datos es establecer un sistema institucional y de valor a nivel empresarial completo que utilice datos objetivos como base para la toma de decisiones y la medición, proporcionando una base para que las empresas realmente utilicen big data para generar valor. Sin esta base, incluso si una empresa tiene la mejor tecnología y recursos, no podrá hacer un buen uso de ellos para servir a la empresa.
¿Qué es la cultura de datos empresarial? Incluye seis aspectos.
En primer lugar, la cultura de datos se refleja principalmente en la toma de decisiones basada en datos, y la toma de decisiones está impulsada principalmente por los datos.
En segundo lugar, análisis de la eficiencia operativa empresarial. Por un lado, a través del análisis en profundidad de los datos, podemos comprender todos los aspectos de las operaciones de una empresa como un telescopio. Por otro lado, los datos pueden ser como un microscopio para observar los detalles de las operaciones de una empresa y encontrar áreas de optimización. .
En tercer lugar, utilice datos para analizar las ganancias y pérdidas de la planificación de marketing. Por lo general, cuando una empresa realiza actividades promocionales, se considera exitosa cuando aumenta el volumen de ventas. Sin embargo, las promociones tienen costos. Cuando el volumen de ventas aumenta, ¿realmente trae beneficios?
En cuarto lugar, en la era orientada a las personas, las empresas tienen una responsabilidad cada vez más importante respecto de la seguridad y la salud personal de sus empleados. Si podemos prestar atención al entorno de trabajo y la comodidad de los empleados a través de datos objetivos y mensurables, jugaremos un papel muy importante para garantizar un entorno de trabajo bueno y saludable y mejorar la satisfacción de los empleados.
En quinto lugar, el desempeño de los empleados debe tener un indicador cuantitativo.
En sexto lugar, la gestión de datos en la cadena de valor. Al compartir e intercambiar datos en la cadena de suministro vertical, las empresas ascendentes y descendentes de la cadena de suministro pueden comprender mejor la demanda, el inventario y el suministro de toda la cadena de suministro, de modo que puedan optimizar el inventario en la cadena e iniciar el suministro de manera proactiva. preparativos y más Responder rápidamente a los cambios del mercado. En la cadena ecológica horizontal, al compartir e intercambiar datos, los usuarios pueden ser analizados en escenarios de vida completos, creando así un servicio integral que satisfaga las necesidades más amplias de los usuarios, que no solo puede descubrir más oportunidades comerciales, sino también mejorar Aumentar la rigidez del usuario.
(2) Establecer la estrategia de datos de una empresa
Para establecer la estrategia de datos de una empresa, se deben construir tres aspectos, como se muestra a continuación
Modelo de datos
El primer aspecto es establecer un modelo de datos completo. El propósito de un modelo de datos es definir correctamente los datos, clasificarlos y determinar estándares para la interacción de los datos. Transforme la comprensión de la gestión empresarial empresarial en requisitos de datos, comprendiendo así qué tipo de datos deben gestionarse. Diferentes sistemas generan diferentes datos y cuál es el contenido de los datos entre cada sistema y la interacción entre los datos. Existen diferentes sistemas dentro de la empresa, como el sistema ERP, el sistema de cadena de suministro, el sistema CRP, etc. ¿Dónde se coloca la información del usuario, la información de IoT y la información financiera? ¿Cómo se coordinan y se comunican? ¿entre sí? Todas estas son cuestiones a considerar.
Servicios de datos
El segundo aspecto es establecer un sistema de servicios de datos, incluido qué tipo de plataforma tecnológica elegir, qué tipo de tecnología de datos usar, cómo los diferentes sistemas usan estos diferentes tecnologías, incluidas bases de datos tradicionales, almacenes de datos, inteligencia empresarial, nuevo Hadoop, etc. Con base en el diseño de la arquitectura empresarial, diseñe la arquitectura de las aplicaciones de datos y luego intercambie datos a través de interfaces de interacción de datos para evitar la aparición de islas de datos. Al mismo tiempo, establezca un plan de datos unificado para garantizar la unidad y coherencia de las fuentes de datos. y proporcionar datos para soporte de análisis de datos posteriores.
Gestión de datos
El tercer aspecto es establecer un sistema de gobernanza de datos. La gobernanza de datos incluye sistemas de gestión de datos y gestión general del ciclo de vida. Los datos se están convirtiendo en un activo y, en consecuencia, los activos requieren una gestión sistemática. La gestión de derechos de activos de datos incluye determinar la propiedad de los datos, determinar el propietario de cada dato, quién es el administrador de estos datos, quién es responsable de la exactitud de estos datos, quién es responsable de garantizar la calidad de los datos, etc. La alta calidad de los datos es la base del análisis de datos. Si los datos son incorrectos, no importa cómo los analice, no habrá resultados correctos. Al mismo tiempo, el cumplimiento de los datos y la gestión de la seguridad también son vínculos fundamentales, como quién puede operar los datos, quién es responsable de la seguridad, las copias de seguridad y los servicios de los datos, etc. Es esencial un estricto sistema de control de seguridad y cumplimiento de los datos.
Gestión del ciclo de vida de los datos, incluyendo cómo y cuándo crear datos, cuándo se pueden modificar, quién aprueba las modificaciones, cómo eliminar datos, etc. Las empresas nacionales carecen relativamente de este aspecto, no sólo de datos, sino también de equipos, computadoras, etc. Cuando las computadoras se desechan y ya no se pueden utilizar, simplemente se desechan. En este sentido, las empresas extranjeras han hecho un buen trabajo. Las empresas extranjeras de seguridad de la información suelen pagar a empresas de terceros para que realicen un procesamiento profesional de destrucción de datos e incluso gastan cientos de dólares por computadora para realizar una destrucción respetuosa con el medio ambiente. Por ejemplo, en algunos casos de borrado de datos, se utilizan varios métodos para garantizar que los datos se borren por completo. Por ejemplo, algunas empresas exigen que los datos se formatee siete veces para evitar una posible recuperación.
(3) Establecer las capacidades organizativas de datos de la empresa
Establecer las capacidades organizativas de datos incluye establecer el posicionamiento apropiado de los roles organizacionales, reclutar personal apropiado, establecer estructuras organizativas apropiadas y diseñar responsabilidades y derechos apropiados. , etc.
En primer lugar, en términos de capacidades de organización de datos, se recomienda que las empresas calificadas puedan establecer el puesto de Director de Datos. Este puesto es el principal responsable de diseñar toda la estrategia de datos y liderar la implementación de la estrategia de datos. , y a través de los datos Comunicarse y dialogar con la dirección empresarial para transmitir el valor de los datos.
En segundo lugar, el papel de los científicos de datos es muy importante. Los científicos de datos estudian cómo utilizar los mejores y más científicos algoritmos para obtener los mejores resultados. El mismo montón de datos está ahí, y diez personas diferentes lo están mirando, y los resultados de las diez personas que lo miran son diferentes. Entonces, ¿por qué los científicos son tan precisos? Debido a que su conocimiento es lo suficientemente profundo, comprende qué factor es el más importante y qué parte debe elegir analizar entre tantos factores. Los científicos de datos son actualmente los talentos que más faltan en todo el mercado, porque los talentos con experiencia en algoritmos de datos y conocimiento empresarial son extremadamente raros. Los científicos de datos se pueden dividir en tres tipos: el primero son los científicos de datos técnicos, que son expertos en algoritmos informáticos y son muy buenos en diversas técnicas de análisis estadístico; el segundo son los científicos de datos aplicados, que están muy familiarizados con la arquitectura de datos. están familiarizados con la distribución de datos en varios sistemas y pueden integrar y administrar bien varios datos. El tercer tipo son los científicos de datos comerciales. Estas personas están muy familiarizadas con el conocimiento de la industria y los negocios corporativos, y al mismo tiempo tienen cierto conocimiento de la tecnología de procesamiento de datos. Comprender y ser capaz de convertir bien las necesidades y características comerciales en requisitos de procesamiento de datos y, al mismo tiempo, ser capaz de convertir bien los resultados del procesamiento de datos en perspectivas y palabras comerciales para transmitirlas a los gerentes comerciales.
En tercer lugar, para empresas de cierto tamaño, normalmente recomendamos que la empresa establezca un centro de operaciones de gestión de datos centralizado. Los servicios de computación en la nube son métodos de gestión centralizados con el menor costo, la mayor flexibilidad y la mayor escalabilidad.
En cuarto lugar, el estándar arquitectónico de toda la organización de datos no se entrega mediante tecnología o productos, sino que se mide por la entrega de valor comercial. Al considerar la capacidad de producción del análisis de datos, no se trata de qué tan rápido es el análisis de datos ni qué tan grande es la cantidad de datos, sino si los resultados del análisis de datos son útiles e instructivos para el negocio.
Este es también el valor central de todo análisis de datos y el estándar de medición central para el significado de "grande" en big data: "lo suficientemente grande" como para generar valor comercial. Este estándar de medición es algo difícil de implementar para las organizaciones técnicas, por lo que es necesario establecer un estándar claro de evaluación del desempeño y un estándar de evaluación del valor para que el personal técnico pueda considerar el valor del trabajo realizado más desde una perspectiva empresarial sin caer en la situación de prioridad tecnológica.
En quinto lugar, mejorar el poder de toma de decisiones comerciales y el poder de toma de decisiones de datos del personal de primera línea y establecer una organización de gestión plana. Desarrollar continuamente las capacidades de análisis de datos de los empleados a través de una capacitación sistemática. Las soluciones o productos de análisis de datos diseñados por analistas de datos profesionales y personal algorítmico deben proporcionarse a los empleados de primera línea de una manera simple y fácil de usar. Al mismo tiempo, lo que es más importante, se debe brindar capacitación sistemática sobre soluciones o productos de datos relevantes. fortalecido para que más empleados se den cuenta del valor de estas soluciones o productos y estén felices de utilizarlos en su trabajo diario. Sugerimos que el costo del modelado de datos/desarrollo de productos de datos y la inversión en capacitación de uso para los empleados de primera línea se divida a la mitad. Para promover mejor la capacitación, las empresas también pueden considerar establecer asociaciones de datos basadas en intereses, permitiendo que más empleados se unan a la asociación, realizando cursos de capacitación regulares, salones de seminarios y contratando expertos externos para compartir información relevante para ampliar sus horizontes.
Después de establecer las capacidades de organización de datos de la empresa, el proceso de uso de los datos por parte de la empresa se explica a continuación.
Primero recopile datos, busque datos de diferentes lugares y seleccione un algoritmo después de encontrarlo. En segundo lugar, realizar análisis de correlación empresarial para determinar qué indicadores y dimensiones son significativos. Esto es lo que hace la ciencia de datos. Los científicos empresariales y los científicos de datos se pueden separar o integrar. La mayoría de las empresas utilizan un equipo de personas para hacerlo y presentarlos de una manera aceptable y comprensible para la empresa. Si se trata solo de una presentación de datos, es posible que los departamentos comerciales y de administración no puedan. para entenderlo, lo que requiere conversión a un lenguaje e información que los gerentes de negocios puedan entender. Finalmente presentarlo a la dirección o al departamento correspondiente para decisiones de negocio. Esto completa una entrega de valor completa.
En el proceso de procesamiento de datos anterior, existen diferentes posiciones en el equipo de datos para realizar el trabajo correspondiente. En el proceso de recopilación y limpieza de datos, son principalmente administradores de datos, incluida la captura de datos internos dentro de la empresa y la recopilación de datos externos de Weibo, Taobao, telecomunicaciones de terceros, etc. Hay muchos datos que deben limpiarse y algunos datos inútiles Procesar y dejar datos válidos es principalmente lo que tiene que hacer el administrador de datos. El siguiente es el científico de datos, quien elige el algoritmo correcto y puede realizar varios modelos según las dimensiones del negocio para obtener un resultado del análisis. A continuación, hay un equipo de analistas de negocios con base en los resultados de estos análisis, los convierten en lenguaje y métodos de presentación que el personal de negocios pueda entender, y luego los entregan al CDO para que se comunique con la gerencia central y los tomadores de decisiones para ayudarlos. tomar decisiones. Como proveedor de toda la plataforma tecnológica, también existe un equipo técnico para construir la plataforma específica. Puede desarrollar una plataforma de big data basada en el código abierto de Hadoop o comprar un sistema de terceros para administración y mantenimiento, o puede hacerlo directamente. Utilice la plataforma de servicios SaaS de big data para establecer rápidamente capacidades de tecnología de big data.
(4) Seleccionar plataforma tecnológica
En el pasado, cuando las empresas utilizaban datos tradicionales para análisis complejos, utilizaban principalmente almacenes de datos y sistemas de inteligencia empresarial, también conocidos como sistemas OLAP tradicionales. datos como datos financieros y datos de usuario se capturan, extraen y analizan, y luego se muestran a través de la página. Este es un sistema de análisis que no es en tiempo real. En la era de Internet +, es difícil analizar datos sociales y de comercio electrónico de terceros, como Weibo y datos de comercio electrónico, porque la arquitectura tradicional se basa en datos estructurados, y ahora hay más Una gran cantidad de datos Son datos no estructurados, que son difíciles de respaldar con métodos tradicionales. De esta forma, nos encontramos con algunas dificultades a la hora de analizar datos. El big data surgió en un momento histórico y Hadoop es una de las plataformas más importantes.
Hadoop es un ecosistema que incluye algunos sistemas informáticos, sistemas de almacenamiento de datos y sistemas de análisis de datos. Es un proyecto lanzado oficialmente por la organización Apache en 2004. Hadoop es una aplicación revolucionaria muy importante porque se lanza de forma gratuita, lo que permite que muchas personas la utilicen. Ahora muchas empresas se basan en la plataforma de código abierto Hadoop y luego la utilizan con el personal técnico interno realizando algunas optimizaciones.
La relación entre datos tradicionales y big data es de desarrollo y combinación. Los datos tradicionales aún se pueden analizar para obtener información valiosa para el negocio, y aún se pueden analizar utilizando el método de almacén anterior. Los datos nuevos se pueden analizar utilizando métodos de big data. Finalmente, los dos sistemas se integran para formar una solución de back-end; ahora también hay una solución completamente integrada. Esta es una nueva plataforma de big data que ha surgido en los últimos dos años. Puede ser compatible tanto con nuevos big data como con datos tradicionales. Habrá cada vez más aplicaciones integradas. de este tipo. ¿Cuál es la diferencia entre las suites comerciales de muchas empresas del mercado y las soluciones de código abierto de Hadoop? La principal diferencia entre ellos es que la suite comercial se ha optimizado y mejorado en cuanto a rendimiento y seguridad. Agrega comprensión empresarial para la industria correspondiente y ayuda a las empresas a preestablecer métodos y herramientas de modelado. Sin embargo, el problema es la comparación de precios. . Por lo tanto, la selección de varias soluciones se basa en la situación real de la empresa, incluido el presupuesto, las capacidades del equipo y otros factores.
(5) Apertura e intercambio de datos
En cuanto a la fuente de datos, las empresas normalmente no tienen todos los datos necesarios para el análisis de big data. En 2014, el tamaño del mercado de big data de mi país era de 8.400 millones y se espera que alcance los 16.600 millones en 2015, un aumento del 40%. Creo que con la construcción de la plataforma de comercio de big data, habrá más crecimiento. Según un informe de investigación de la Academia China de Tecnología de la Información y las Comunicaciones, el 97% de las empresas cree que los big data son "relativamente importantes". Esto demuestra que las empresas son conscientes de la importancia de los big data y el problema es cómo implementarlos. Cuando las empresas tratan big data, suelen centrarse en la seguridad y la estabilidad. Esto muestra que, aunque las empresas se han dado cuenta de la importancia de los grandes datos, todavía son relativamente conservadoras y las preocupaciones sobre la seguridad afectan la exploración del valor comercial de los datos. A medida que se desarrolla la tecnología de seguridad y aumenta la conciencia del valor empresarial, las empresas aplicarán cada vez más big data, adquirirán e intercambiarán datos. La seguridad y el valor comercial son siempre un par de relaciones que deben medirse. Son relaciones complementarias y equilibradas como velocidad y costo, velocidad y calidad. Es difícil perseguir ambos aspectos al mismo tiempo, y se requieren diferentes estrategias en diferentes momentos. veces.
La demanda empresarial de datos abiertos gubernamentales es muy fuerte. Hay muchas nuevas empresas en el mercado que apuntan a datos gubernamentales. Por ejemplo, una empresa llamada Fahai Risk Control analiza el estado crediticio de una empresa desde una perspectiva legal analizando documentos legales relacionados con la empresa, como si la empresa tiene algún documento legal relevante. Los litigios, ganadores o perdedores, así como las acciones legales que involucran a empresas relacionadas en los últimos años, proporcionan juicios de control de riesgos desde estas perspectivas. Este es un buen caso de aplicación, que depende del grado de divulgación de datos del gobierno. El gobierno tiene cantidades masivas de datos, como datos de tráfico, datos de seguridad social, etc. Una vez que estos datos se hagan públicos, traerá muchas oportunidades empresariales y dará a las empresas más dimensiones para considerar los problemas, por lo que las empresas esperan que el gobierno Puede datos públicos.
(6) Encuentre el punto de partida y dé pequeños pasos rápidamente
En cuanto al camino de implementación, la empresa ya tiene algunos datos y algunos sistemas. En este momento, es el momento de hacerlo. empezar de nuevo ¿O hay otros métodos? ¿En qué áreas los datos pueden mejorar significativamente el rendimiento? ¿En qué áreas pueden los datos mejorar la eficiencia operativa corporativa? Estas preguntas son importantes y deben plantearse desde el principio. Todos los departamentos comerciales y funcionales importantes deben considerar este tema y llevar a cabo discusiones relevantes. Cuando los ejecutivos corporativos implementan estrategias de big data, deben otorgar gran importancia a este paso. Sin embargo, muchas empresas nacionales a menudo ignoran este aspecto. La inversión en big data a menudo no está orientada a mejorar el rendimiento, sino a lo académico, lo que hace que muchas empresas lo implementen. Estrategias de big data Después de la estrategia de datos, no se puede ver la mejora del desempeño corporativo a partir de los datos, lo que hace que la estrategia de big data aborte.
(7) Mirar hacia el futuro y estar siempre en el camino
¿Es omnipotente el big data? ¿Es siempre válido? ¿Existen restricciones sobre el uso de big data? Una comprensión correcta de estas cuestiones ayudará a las empresas a hacer un mejor uso de los big data y a verlos de manera más objetiva.
En primer lugar, los macrodatos no son una panacea y su uso tiene limitaciones. El uso de big data es lo primero cuando se habla de correlación, pero a la hora de juzgar y resolver un problema específico, big data no es el mejor método.
En segundo lugar, incluso si el big data es grande, no puede incluir todos los datos. Después de todo, el big data tiene problemas de costos y la precisión no alcanzará el 100%. Si bien es lo suficientemente bueno como para hacer predicciones, no es absolutamente correcto.
En tercer lugar, no podemos confiar demasiado en los datos, porque a veces se interpretarán incorrectamente, por lo que tenemos que intentar hacer una verificación. Si esto es obviamente contrario al sentido común, es necesario verificar si. Tu método de análisis es correcto.
Otro tema es la seguridad de los datos. Los datos son tan importantes, ¿se pueden proteger bien? Existen algunos problemas y riesgos potenciales en el uso de los datos.
Mensaje final: Big data es una combinación de cultura y tecnología, y el objetivo final es generar valor empresarial.
En primer lugar, la tecnología de big data es una oportunidad para que TI impulse el cambio empresarial, ya sea desde la perspectiva del posicionamiento del propio departamento de TI, el papel de TI en la empresa o la capacidad de la empresa para Para mejorar su competitividad central, big data es una fuerza impulsora muy importante.
En segundo lugar, el requisito previo para aplicar la tecnología de big data es tener una cultura corporativa de toma de decisiones basada en datos. Si se utilizan big data para elaborar un informe, los gerentes empresariales no los tendrán en cuenta al tomar decisiones. , lo cual no tiene sentido. Sólo cuando una empresa establece una cultura de toma de decisiones basada en datos y la implementa realmente se podrá aprovechar plenamente el valor de los datos. Por lo tanto, un requisito previo importante para el uso de big data es que la empresa tenga una cultura de toma de decisiones basada en datos.
En tercer lugar, los datos en sí son solo información. El valor del big data no reside en los datos en sí, sino en cómo analizarlos y organizarlos y, finalmente, generar análisis y predicciones para ofrecer valor empresarial. Este es el propósito y el núcleo del uso de big data.