¿Por qué utilizar herramientas etl? ¿No es posible escribir el script manualmente y ejecutarlo?
Comparación entre herramientas ETL terminadas y scripts escritos a mano:
1. En términos de flexibilidad: las herramientas ETL son más flexibles y necesitan establecer definiciones de reglas en esta plataforma al principio. etapa, se requieren herramientas. Las funciones de soporte ya deben existir. Si se necesitan extensiones, deben ser desarrolladas por el fabricante de la fuente de herramientas ETL. Para escribir su propio script, sólo necesita investigar bien los requisitos de antemano y escribir las funciones que puede implementar. Como dice el refrán "Es mejor preguntar por uno mismo que preguntar por los demás" ¡jajaja!
2. Dificultad: es relativamente fácil comenzar con las herramientas ETL. Los ingenieros solo necesitan tener dos condiciones necesarias: 1. Familiarizarse con la base de datos 2. Comprender la lógica empresarial del cliente. ¿Qué pasa con la escritura de guiones manualmente? No sólo debes tener las condiciones para operar herramientas ETL, sino que también debes tener un cierto nivel técnico.
3. Gestión y mantenimiento posteriores: las herramientas ETL son muy sencillas, lo cual es la ventaja más poderosa del uso de herramientas. ¡Quizás esta sea también la razón por la que nacieron las herramientas ETL! Motivo: Sin mencionar la falta de mano de obra, si hay nuevas necesidades, simplemente haga pequeños cambios y defina la configuración de gráficos. ¿Y qué pasa con la codificación manual? Más difícil. Es necesario desarrollar y escribir programas nuevamente. A medida que la información de datos se acumula con el tiempo, los datos diarios aumentan y se actualizan. Si la velocidad de desarrollo no puede mantenerse al día con los requisitos actualizados, la estructura de desarrollo anterior puede no ser razonable e incluso puede existir el riesgo de derrocarla y comenzar de nuevo. Si eliges el medio, con funciones de configuración de gráficos y desarrollo de scripts, está el Beeload/BeeDI de China
4. Rendimiento y eficiencia: este aspecto depende de muchos aspectos como: 1. Hardware: memoria de la CPU del servidor 2. Tipo de datos tipo base de datos 3. Estado de la red 4. Diseño de configuración de la herramienta ETL. . . . . En términos generales, las herramientas pertenecen a una categoría superior y cada ETL maduro es inconsistente y tiene sus propios méritos. ¡Escribir guiones a mano depende del nivel del programador! Varía de persona a persona. Si escribe el almacenamiento directamente en la base de datos, puede ser mucho más alto que cualquier herramienta disponible en el mercado. En términos de rendimiento, la herramienta es sin duda la antigua informática estadounidense y el DS de IBM
5. Ciclo de desarrollo: la herramienta solo necesita ser operada por el fabricante de origen para ser responsable de la capacitación, y luego el actual del cliente. Las necesidades se comprenden completamente. El ciclo es muy corto y los resultados se ponen en línea rápidamente. La codificación manual no sólo requiere una comprensión profunda de las necesidades (actuales) del cliente, sino que también predice las necesidades futuras antes de desarrollarlas. Entonces se desconoce el ciclo.
6. Carga de trabajo: A partir de los puntos obviamente conservadores anteriores, podemos concluir que las herramientas ETL son medianas y la codificación manual es pesada. Escribir un buen programa también requiere muchas herramientas de prueba para corregir errores y mejorarlo constantemente. Las herramientas maduras ya han hecho estas cosas antes y, de ser así, pueden tolerarse individualmente y los proveedores de origen pueden compartir las correcciones.
7. Precio de costo de entrada: el costo inicial de las herramientas ETL es relativamente alto y el dinero se paga primero. Los costes de mantenimiento posteriores son relativamente bajos. Escribir guiones, invertir en mano de obra (salarios de ingenieros) por adelantado, probar mucha mano de obra a mediano plazo y mantener la mano de obra (salarios de ingenieros) en la etapa posterior, que parece ser relativamente baja. Kettle, una herramienta ETL de código abierto que parece ser gratuita, se pagará más adelante (tarifa de servicio y tarifa de capacitación)
En resumen, ya sea que use la herramienta o escriba su propio script, debe considerar todo y decida lo que está dispuesto a pagar según el tamaño y el costo del proyecto respectivo. ¡Qué parte es la mejor!