¿Qué habilidades se necesitan para trabajar en el desarrollo de big data?
El desarrollo de big data generalmente se divide en tres categorías principales: desarrollo de almacén digital, análisis de datos y desarrollo de datos. Cada categoría requiere habilidades diferentes. Pero hay muchas habilidades en todos ellos.
Habilidades comunes: además de las capacidades básicas de SQL, incluidas las bases de datos tradicionales como Mysql y Oracle, también debe poder utilizar bases de datos distribuidas como Hive y Hbase, por supuesto, las habilidades de programación Java son indispensables. otros aspectos como Mapreduce y Spark serán mejores. Sea capaz de utilizar clústeres y, además de los problemas de clústeres, también tiene cierta capacidad para resolver problemas de clústeres.
Desarrollo de almacenes de datos: debe poder modelar almacenes de datos, como tablas de dimensiones, tablas de hechos, tablas de temas, modelos de estrellas, modelos de copos de nieve, etc. Debe estar muy familiarizado con el negocio y tener Una visión general para construir un buen almacén de datos.
Desarrollo de datos: el desarrollo de datos incluye desarrollo fuera de línea y desarrollo en tiempo real. Este está más inclinado al desarrollo back-end, similar al desarrollo bajo demanda de Java, más el mantenimiento diario del programa.
Análisis de datos: esto requiere sólidas habilidades de SQL. Sería mejor si pudiera usar Python para analizar datos. Para utilizar herramientas ETL comunes como sqoop y hervidor, se utiliza un sistema de informes.
Por supuesto, si quieres aprender, puedes sumergirte y aprender más. Después de todo, en el proceso de desarrollo habitual, especialmente en pequeñas empresas con una división del trabajo poco clara, necesitamos dominar más o menos estas habilidades. En otras palabras, una persona puede servir como varias personas, similar a un ingeniero completo.