¿En qué situaciones se utilizarán los servicios de integración de SqlServer?
Microsoft Integration Services es una plataforma para crear soluciones de integración y transformación de datos de clase empresarial. Utilice Integration Services para resolver problemas comerciales complejos copiando o descargando archivos, enviando correos electrónicos en respuesta a eventos, actualizando almacenes de datos, limpiando y extrayendo datos y administrando objetos y datos de SQL Server. Estos paquetes se pueden utilizar de forma independiente o junto con otros paquetes para satisfacer necesidades comerciales complejas. Integration Services puede extraer y transformar datos de una variedad de fuentes, como archivos de datos XML, archivos planos y fuentes de datos relacionales, y luego cargar los datos en uno o más destinos.
Integration Services incluye un amplio conjunto de tareas y transformaciones integradas, herramientas para construir paquetes y servicios de Integration Services para ejecutar y administrar paquetes. Puede utilizar herramientas gráficas de Integration Services para crear soluciones sin escribir una línea de código; también puede programar varios modelos de objetos de Integration Services para crear paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquetes.
Integration Services proporciona un conjunto de tareas, contenedores, transformaciones y adaptadores de datos integrados que respaldan el desarrollo de aplicaciones empresariales. Sin escribir una línea de código, puede crear soluciones SSIS para resolver problemas comerciales complejos utilizando ETL e inteligencia empresarial, administrar bases de datos de SQL Server y replicar objetos de SQL Server entre instancias de SQL Server.
Los siguientes escenarios ilustran usos típicos de los paquetes SSIS.
Combinar datos de almacenes de datos heterogéneos
Los datos a menudo se almacenan en muchos sistemas de almacenamiento de datos diferentes, extraer datos de todas las fuentes y fusionarlos en una única concentración de datos consistente es realmente difícil. Esta situación se produce por varias razones. Por ejemplo:
Muchas organizaciones archivan información almacenada en los primeros sistemas de almacenamiento de datos. Es posible que estos datos no sean importantes en las operaciones diarias, pero sí lo son para el análisis de tendencias que requiere recopilar datos durante un largo período de tiempo en el pasado.
Varios departamentos dentro de una organización pueden utilizar diferentes tecnologías de almacenamiento de datos para almacenar datos operativos. Es posible que los paquetes necesiten extraer datos de hojas de cálculo y bases de datos relacionales antes de poder fusionarlos.
Los datos pueden almacenarse en bases de datos que utilizan diferentes esquemas para los mismos datos. Es posible que el paquete necesite cambiar el tipo de datos de una columna o combinar datos de varias columnas en una sola columna antes de poder fusionar los datos.
Integration Services puede conectarse a una amplia variedad de fuentes de datos, incluidas varias fuentes en un solo paquete. El paquete puede conectarse a bases de datos relacionales utilizando los proveedores .NET y OLE DB, y también puede usar controladores ODBC para conectarse a varias bases de datos más antiguas. Los paquetes también se pueden conectar a archivos planos, archivos de Excel y proyectos de Analysis Services.
Integration Services incluye componentes de origen que se encargan de extraer datos de archivos planos, hojas de cálculo de Excel, documentos XML y tablas y vistas en bases de datos relacionales de los orígenes de datos a los que está conectado el paquete.
Luego, los datos se transforman, normalmente utilizando la funcionalidad de transformación incluida con Integration Services. Una vez que los datos se convierten a un formato compatible, se pueden combinar físicamente en un único conjunto de datos.
Una vez que los datos se fusionan correctamente y se aplican las transformaciones, normalmente se cargan en uno o más destinos.
Integration Services incluye objetivos para cargar datos en archivos planos, archivos sin formato y bases de datos relacionales. Los datos también se pueden cargar en un conjunto de registros en memoria para que otros elementos del paquete puedan acceder a ellos.
Poblar almacenes de datos y mercados de datos
Los datos en almacenes de datos y mercados de datos suelen actualizarse con frecuencia, por lo que las cargas de datos suelen ser grandes.
Integration Services incluye una tarea que carga datos de forma masiva directamente desde archivos planos en tablas y vistas de SQL Server, y un componente de destino que carga datos de forma masiva en tablas y vistas de SQL Server como paso final en la transformación de datos. El proceso se carga en la base de datos de SQL Server.
Los paquetes SSIS se pueden configurar para que sean reiniciables. Esto significa que el paquete se puede volver a ejecutar desde algún punto de control predeterminado (alguna tarea o contenedor en el paquete). La capacidad de reiniciar un paquete puede ahorrar mucho tiempo, especialmente si el paquete necesita procesar datos de una gran cantidad de fuentes.
Puede utilizar paquetes SSIS para cargar tablas de dimensiones y tablas de hechos en la base de datos. Si los datos de origen para una tabla de dimensiones se almacenan en varias fuentes de datos, el paquete puede combinar esos datos en un único conjunto de datos y cargar la tabla de dimensiones en un solo proceso, en lugar de utilizar un proceso separado para cada fuente de datos.
La actualización de datos en almacenes de datos y mercados de datos puede ser compleja porque ambos tipos de almacenes de datos a menudo contienen dimensiones que cambian gradualmente y que pueden ser difíciles de gestionar durante el proceso de transformación de datos. El Asistente para dimensiones de degradado admite automáticamente dimensiones de degradado debido a su capacidad para crear dinámicamente instrucciones SQL para insertar y actualizar registros, actualizar registros relacionados y agregar nuevas columnas a una tabla.
Además, las tareas y transformaciones del paquete Integration Services pueden funcionar con cubos y dimensiones de Analysis Services. Después de que el paquete actualice las tablas de la base de datos en la que se creó el cubo, puede utilizar tareas y transformaciones de Integration Services para automatizar el procesamiento de los cubos y las dimensiones. La automatización del procesamiento de cubos y dimensiones ayuda a mantener los datos más actualizados disponibles para los usuarios en ambos entornos: aquellos que acceden a información en cubos y dimensiones, y aquellos que acceden a datos en bases de datos relacionales.
Integration Services también puede evaluar funciones antes de que los datos se carguen en su destino. Si los almacenes de datos y los mercados de datos almacenan información agregada, los paquetes SSIS pueden calcular funciones como SUMA, PROMEDIO y CONTEO. Las transformaciones SSIS también pueden pivotar datos relacionales y convertirlos a un formato menos estandarizado que sea mejor compatible con la estructura de tablas en el almacén de datos.
Limpiar y estandarizar datos
Requerido si los datos se cargan en una base de datos de procesamiento de transacciones en línea (OLTP), procesamiento analítico en línea (OLAP), hoja de cálculo de Excel o en un archivo. se limpia y normaliza antes de la carga. Es posible que sea necesario actualizar los datos por los siguientes motivos:
Los datos los proporcionan varios departamentos dentro de una organización, cada uno de los cuales utiliza diferentes convenciones y estándares. Es posible que sea necesario formatear los datos de forma diferente antes de poder utilizarlos. Por ejemplo, es posible que desee combinar nombres y apellidos en una columna.
Los datos se alquilan o se compran. Es posible que sea necesario estandarizar y limpiar los datos para cumplir con los estándares comerciales antes de poder utilizarlos. Por ejemplo, las organizaciones deben verificar que todos los registros utilicen el mismo conjunto de abreviaturas de estado o el mismo conjunto de nombres de productos.
Los datos son específicos de la configuración regional. Por ejemplo, los datos pueden utilizar diferentes formatos numéricos y de fecha/hora. Si desea fusionar datos de diferentes configuraciones regionales, debe convertir los datos a la misma configuración regional antes de cargarlos para evitar daños en los datos.
Integration Services incluye transformaciones integradas que se pueden agregar al paquete para limpiar y estandarizar datos, cambiar el caso de los datos, convertir datos a un tipo o formato diferente, o crear nuevas columnas basadas en el valor de las expresiones. . Por ejemplo, el paquete puede concatenar las columnas de apellido y nombre en una única columna de nombre completo y luego cambiar los caracteres a mayúsculas.
El paquete Integration Services también puede utilizar búsquedas exactas o difusas para encontrar valores en la tabla de referencia, limpiando los datos reemplazando valores en las columnas con valores de la tabla de referencia. Normalmente, los paquetes primero utilizan una búsqueda exacta y luego utilizan una búsqueda difusa si ese método falla. Por ejemplo, el paquete primero intenta buscar el nombre del producto en la tabla de referencia utilizando el valor de clave principal del producto. Si esta búsqueda no puede encontrar el nombre del producto, el paquete intenta buscar utilizando una coincidencia aproximada del nombre del producto.
Otra transformación limpia los datos agrupando valores similares en el conjunto de datos. Algunos registros pueden estar duplicados, por lo que no deben insertarse en la base de datos sin realizar más cálculos. Esta conversión es útil para identificar dichos registros. Por ejemplo, se pueden identificar muchos clientes duplicados comparando direcciones en los registros de clientes.
Incorporar inteligencia empresarial al proceso de transformación de datos
El proceso de transformación de datos requiere una lógica integrada para responder dinámicamente a los datos a los que accede y procesa.
Es posible que sea necesario agregar, transformar y distribuir datos en función de sus valores. Dependiendo de la evaluación de los valores de las columnas, el proceso puede incluso requerir rechazar datos.
Para cumplir con este requisito, es posible que la lógica del paquete SSIS deba realizar los siguientes tipos de tareas:
Combinar datos de múltiples fuentes de datos.
Calcular datos y aplicar transformaciones de datos.
Dividir un conjunto de datos en varios conjuntos de datos según los valores de los datos.
Aplicar diferentes agregaciones a diferentes subconjuntos de un conjunto de datos.
Cargue subconjuntos de datos en diferentes objetivos o en múltiples objetivos.
Integration Services proporciona contenedores, tareas y transformaciones para colocar inteligencia empresarial en paquetes SSIS.
Los contenedores admiten la ejecución de flujos de trabajo repetidamente enumerando archivos u objetos y evaluando expresiones. Los paquetes pueden calcular datos y ejecutar flujos de trabajo repetidamente en función de los resultados. Por ejemplo, si la fecha cae dentro del mes actual, el paquete realiza un conjunto de tareas; si no es así, el paquete realiza otro conjunto de tareas.
Las tareas que utilizan parámetros de entrada también pueden incluir inteligencia empresarial en paquetes. Por ejemplo, el valor de un parámetro de entrada puede filtrar los datos recuperados por una tarea.
Las transformaciones pueden evaluar expresiones y luego enviar filas en un conjunto de datos a diferentes destinos según los resultados. Una vez completada la partición de datos, el paquete puede aplicar diferentes transformaciones a cada subconjunto del conjunto de datos. Por ejemplo, una expresión podría calcular una columna de fecha, agregar datos de ventas para el período correspondiente y luego almacenar solo la información resumida.
También puedes enviar un conjunto de datos a múltiples destinos y luego aplicar diferentes conjuntos de transformaciones a los mismos datos. Por ejemplo, un conjunto de transformaciones puede resumir estos datos, mientras que otro conjunto de transformaciones amplía estos datos buscando valores en tablas de referencia y agregando datos de otras fuentes.
Automatizar funciones administrativas y carga de datos
Los administradores a menudo desean automatizar funciones administrativas, como realizar copias de seguridad y restaurar bases de datos, copiar bases de datos de SQL Server y los objetos que contienen, y copiar SQL Server. objetos y cargar datos. El paquete de servicios de integración puede realizar estas funciones.
Integration Services contiene tareas diseñadas para los siguientes propósitos: copiar objetos de bases de datos de SQL Server, como tablas, vistas y procedimientos almacenados; copiar objetos de SQL Server, como bases de datos, inicios de sesión y estadísticas mediante declaraciones Transact-SQL; Agregue, cambie y elimine objetos y datos de SQL Server.
La gestión de un entorno de base de datos OLTP u OLAP suele incluir la carga de datos.
Los servicios de integración incluyen varias tareas que facilitan la carga masiva de datos. Puede usar una tarea para cargar datos desde un archivo de texto directamente en tablas y vistas de SQL Server, o puede usar un componente de destino para cargar datos en tablas y vistas de SQL Server después de aplicar transformaciones a los datos de la columna.
El paquete Integration Services puede ejecutar otros paquetes. Las soluciones de transformación de datos que incluyen múltiples capacidades de administración se pueden dividir en múltiples paquetes, lo que facilita la administración y reutilización de los paquetes.
Si necesitas realizar las mismas funciones de gestión en diferentes servidores, puedes utilizar paquetes. Los paquetes pueden usar bucles para enumerar servidores y realizar la misma función en varias máquinas. Para admitir la administración de SQL Server, Integration Services proporciona enumeradores que pueden iterar sobre los objetos de SQL Server Management Objects (SMO). Por ejemplo, un paquete puede usar el enumerador SMO para realizar la misma función de administración en cada trabajo de la colección Jobs en una instalación de SQL Server.
Como alternativa, puede utilizar trabajos del Agente SQL Server para programar paquetes SSIS.