Describe las características de hadoop
Hadoop tiene las características de alta confiabilidad, eficiencia, alta escalabilidad, alta tolerancia a fallas y bajo costo.
Alta fiabilidad. Al utilizar almacenamiento de datos redundante, incluso si una copia falla, otras copias pueden garantizar servicios externos normales. Eficiencia. Como plataforma informática distribuida paralela, Hadoop utiliza dos tecnologías centrales, almacenamiento distribuido y procesamiento distribuido, para procesar de manera eficiente datos a nivel PB.
Alta escalabilidad. El objetivo del diseño de Hadoop es ejecutarse de manera eficiente y estable en grupos de computadoras baratos y ser escalable a miles de nodos de computadoras. Alta tolerancia a fallos. Utilice almacenamiento de datos redundante para guardar automáticamente varias copias de datos y redistribuir automáticamente las tareas fallidas.
Bajo coste. Hadoop utiliza clústeres de computadoras baratos, que tienen un costo relativamente bajo, y los usuarios comunes pueden crear fácilmente un entorno operativo Hadoop en sus propias PC. Se ejecuta en la plataforma Linux. Hadoop está desarrollado en base al lenguaje Java, puede ejecutarse bien en la plataforma Linux y admite múltiples lenguajes de programación.
La importancia del procesamiento de big data de Hadoop
Hadoop se utiliza ampliamente en aplicaciones de procesamiento de big data debido a sus ventajas naturales en la extracción, transformación y carga de datos (ETL). La arquitectura distribuida de Hadoop coloca el motor de procesamiento de big data lo más cerca posible del almacenamiento, lo que es relativamente adecuado para operaciones de procesamiento por lotes como ETL, porque los resultados del procesamiento por lotes de dichas operaciones pueden ir directamente al almacenamiento.
La función MapReduce de Hadoop divide una sola tarea en pedazos y envía las tareas fragmentadas (Mapa) a múltiples nodos, y luego las carga (Reduce) en el almacén de datos en forma de un único conjunto de datos.
Referencia del contenido anterior: Enciclopedia Baidu—Hadoop