El flujo de control de los paquetes de Integration services siven para orquestar todos los pasos que hay que ejecutar para consolidar la información. Son el auténtico WorkFlow de los procesos de extracción transformación y carga. Cualquier operación que tengamos que hacer para consolidar información, para extraer información de un origen y llevarla a un destino tendrá una serie de pasos, esos pasos se orquestarán mediante los flujos de control.

Ejemplos:

Renemos que descargar un conjunto de ficheros e incorporar cada uno de ellos a una base de datos, despues de incorporarlo si el fichero se incorporó por completo irá al directorio de completados y si falló algo al de incorporados con error. Esta funcionalidad se implementa usando tareas ftp que vayan a descargar el fichero y lo dejen en un directorio. Despues usaremos un bucle para recorrer todos los ficheros y llamar a su incorporación y una tarea en caso de acierto que lleve el fichero al directorio adecuado y otra que lo haga en caso de fallo al directorio de erroneos.

Tareas que hay que hacer en secuencia. Por ejemplo, primero hacemos un backup de una base de datos, despues reorganizamos índices, chequeamos integridad y hacemos otra copia.   O bien, consolidamos los datos a un datawarehouse, despues procesamos las dimensiones de un cubo y despues sus grupos de medida.

Algunos elementos del flujo de control

Cuando abrimos el entorno de Bussinnes Intelligence Development Studio, nos aparece lo primero el flujo de control. La barra de herramientas es la que está orientada al flujo de contro. Además de los componentes que podemos pinchar y arrastrar, es importante conocer las formas en las que podemos unir cada una de las cajitas, que operación hará que vayamos por un lado del flujo o por el otro.

Una categoría de objetos que resulta muy interesante de tratar son los Contenedores , en el gráfico de arriba podemos ver los For Loop Container, Foreach Loop Container, Sequence Container.

Sequence Cotainer.Este componente no es más que un contenedor de otros componentes, pero sirve tanto para paralelizar procesos (que varias cajitas se ejecuten a la vez) como para  que un conjunto de procesos solo se ejecuten si se ha producido un evento anterior o bajo determinadas circunstancias. Veremos ejemplos a lo largo de este artículo.  .

For Loop Container. Es un bucle al estilo de la programación normal en el que se especifica la clausula de inicialización, la cláusula de evaluación (detiene el bucle cuando devuelve False, es por tanto una expresión booleana) y la clásula de asignación, que sirve para cambiar los valores y que la expresión booleana  que se evalua pueda ir cambiando. En resumen es equivalente a cualquier bucle de un entorno de programación normal.

Foreach Loop Container. Este bucle recorre elementos de una colección, la colección pueden ser desde ficheros en un directorio hasta registros en un dataset. Dependiendo del tipo que se haya seleccionado.

File System Task. Esta tarea nos va a servir para ilustrar nuestro primer ejemplo. Es una tarea que sirve para hacer operaciones con archivos, copiar, mover, eliminar, etc. En la siguiente tabla podemos ver las opciones que tiene para con los ficheros y por tanto que tareas podemos hacer.

En cualquier caso lo que pretendemos con este capítulo no es enumerar los posibles objetos, para eso ya teneis los libros en pantalla que los explican incluso mejor que lo que humildemente yo pueda hacer aquí. Lo que pretendo es que aprendais un uso concreto del flujo de control e ilustrar este a través de ejemplos. Creo que con ejemplos es como mas se aprende.

Primer Ejemplo

En este primer ejemplo vamos a ver como usar un componente ForEach para recorrer los archivos de un directorio y como obtener el nombre de ese fichero y trabajar con él en una tarea.

Lo primero que vamos a hacer es arrastrar un componente ForEach y modificar su mensaje (para ello pulsamos F2) Yo particularmente soy de los partidarios de que los nombres sean descriptivos y ahorrar en documentación, Creo que así, si queda todo autoexplicado es mucho má sencillo de mantener que tener al lado montañas de documentación de los proyectos que tienen una tendencia especial a quedarse automáticamente obsoletas (eso si no son hechas cuando ya no hacen falta simplemente para cubrir el expediente).

La caja en cuestión tiene una serie de propiedades, primer punto  de atención, si estás acostumbrado a Visual Studio igual tienes la tentación de pulsar F4, bien hecho, pero los componente de SSIS tienen un método más sencillo de ser configurados (por norma general) que se obtiene haciendo doble click en la cajita en cuestión en lugar de pulsando la tecla F4. También vale pulsar con el botón derecho del ratón y elegir la opción Editar para conseguir el mismo efecto.

En nuestro caso el Bucle ForEach tiene 4 pestañas de configuración que son General, Collection, Variable Mappings y expressions. Sobre el tema de expressions ya iremos hablando, así que os pondré los pantallazos de como quedan las otras tres en nuestro caso y os comentaré a continuación que conseguimos con estos formatos (los dejaremos para este ejemplo pero habrá que ir cambiandolos para los sucesivos.

En la primera pestaña tenemos el nombre de objeto y su descripción, la parte importante viene en el segundo y tercer lugar. En la  segunda pestaña podemos ver que es un bucle para recorrer ficheros en un directorio, cual es el directorio, que tipo de ficheros queremos recorrer y como queremos que nos devuelva el nombre del fichero (Full qualified quiere decir que con el path completo).  Por ultimo hay un check por si queremos recorrer subdirectorios.  En la tercera pestaña podemos ver que nos va a devolver en una variable (que hemos creado desde el propio asistente lo que el objeto tenga en la posición 0, que os adelanto que es el nombre completo del archivo que ha leido.

Con esta configuración ya podemos leer los ficheros y saber como se llaman. Si ejecutasemos ahora mismo nuestro paquete, se nos pondría en verde diciendo que ha terminado correctamente, sin embargo, a mi me gustaría que en este primer paso, al menos comprobasemos que  ha funcionado, y para ello se me ocurre que podemos añadir una tarea de modificación de ficheros y cambiarle el atributo a nuestros archivos por ejemplo a solo lectura.

Para ello hemos de arrastrar dentro del contenedor la tarea de File System y configurarla para que el fichero lo tome de nuestra variable y además que sea una operación de tipo cambio de atributos (lo que cambiará las propiedades que hemos de rellenar). En nuestro caso la configuración quedará como sigue :

Las flechas azules indican las cosas que hemos cambiado, y el resultado de la ejecución es que los ficheros quedan con el atributo cambiado a solo lectura. Podeis descargar el ejemplo aquí (ponedlo en c:\ para que funcione sin tocar).

SQL Server Integration services es un producto que viene incluido con la licencia de Microsoft SQL Server y que es la propuesta de Microsoft para lo que se llama Extracción, Transformación y Carga de datos, y yo me atrevería a decir que también para la limpieza de los mismos. Muchas veces creemos que el lenguaje obvio para hacer todas estas tareas es T-SQL, sin embargo, la experiencia me dice que cuando de lo que se trata es de consolidar información y de moverla muy rápido, nada como SSIS para resolver esa cuestión.

SQL Server Integration services es un producto en el que se desarrolla de forma muy visual, básicamente pinchando y arrastrando componentes desde la barra de herramientas hasta los lugares de diseño, cada uno de esos componentes admitirá parametrización para adaptarlo a nuestras necesidades. 

Un vistazo rápido

Para comenzar con SSIS, hemos de instalar las herramientas de Cliente de SQL Server, en ellas nos aparecera el BIDS (Bussiness Intelligence Developmen Studio),  dentro de los proyectos de Bussiness Intelligence tenemos los proyectos de Integration Services, como puede observarse en esta figura

Una vez que seleccionamos el proyecto de Integration services se nos abre un paquete en blanco. Los paquetes están separados en dos partes fundamentales, los flujos de control y los flujos de datos.

En el flujo de control especificaremos las tareas que se han de ir haciendo y las dependencias y restricciones. En esa superficie podemos colocar las tareas de flujo de datos, y dentro configurarlas para que muevan los datos de un sitio a otro.

Algunas de las tareas que podremos hacer con SQL Server Integration services de forma sencdilla serán:

• Recorrer listas de ficheros para incorporarlos a nuestras bases de datos
• Procesar cubos, dimensiones o ejecutar comandos XMLA
• Insertar datos de forma masiva
• Extraer, limpiar, transformar y cargar datos en datamarts o datawarehouses
• Usar tareas para entender mejor como es la distribución de nuestros datos
• Ejecutar comandos T-SQL
• Mover, copiar o eliminar archivos
• Obtener o poner datos en un servidor FTP
• Leer o escribir datos en colas de Microsoft Message Queue
• Enviar correos electrónicos con los resultados de las operaciones
• Transferir objetos SQL
  • Logins
  • Jobs
  • Procedimientos de master
  • Objetos de servidor
• Invocar a servicios Web XML
• Leer datos WMI o suscribirse a eventos WMI
• Tareas de mantenimiento de bases de datos
  • Backups
  • Chequeos de integridad
  • Tareas del agente SQL
  • Tareas TSQL
  • Limpieza de hisotircos
  • Tareas de limpieza de datos
  • Notificaciones a operadores
  • Reorganización y reconstrucción de índices
  • Purgado de bases de datos
  • Actualización de Estadisticas

Todas estas operaciones pueden realizarse en un servidor distinto de nuestros motores de bases de datos, usando al máximo los recursos de la máquina y por lo tanto con una gran capacidad de escalado y un altísimo rendimiento.

Dentro de las tareas que podremos hacer con datos en sí también podemos usar alguna de las siguientes:

• Origenes de datos
  • Leer datos con proveedores  de datos .NET
  • Leer datos de archivos Excel
  • Leer datos de ficheros planos, estén formados practicamente como estén formados
  • Leer datos de cualquier fuente que ofrezca un proveedor OLEDB, (todos los fabricantes del mercado lo hacen)
  • Leer datos en formato “crudo” raw
  • Leer datos en formatos XML
• Transformaciones de datos
  • Agregar información
  • Guardar y usar datos en caché para evitar leer la misma información más de una vez
  • Añadir información de traza a los datos (nombre del paquete, id de ejecución , versión, hora de comienzo…
  • Realizar transformaciones sencillas de textos (pasar a mayúsculas o minúsculas, cambiar a lenguajes chinos, disminuir tampaños,…)
  • Mandar datos a un lugar o a otro en función de valores
  • Copiar columnas
  • Convertir tipos de datos
  • Completar la información con consultas a modelos de minería de datos
  • Obtener columnas con cálculos complejos
  • Guardar o leer archivos BLOB convirtiendolos en ficheros y vicebersa
  • Usar ténicas de lógica difusa tanto para agrupados como para búsquedas
  • Combinar datos
  • Realizar Joins complejos
  • Crear copias en memoria de los datos para añadir comportamientos
  • Ejecutar comandos SQL contra conexiones oldb
  • Obtener muestreos de datos por porcenaje,
  • Conteos diversos
  • Trasposición de matrices (Pivot)
  • Ordenar
  • Extracción y busqueda de terminos
  • Asistentes para dimensiones lentamente cambiantes
• Destino de datos
  • Escribir datos con proveedores de datos .NET
  • Escribir datos a archivos Excel
  • Escribir datos a ficheros planos
  • Entrenar modelos de mineria de datos
  • Escribir datos datos en cualquier destino que ofrezca un proveedor OLEDB, (todos los fabricantes del mercado lo hacen)
  • Escribir datos en formato crudo
  • Devolver Recorsets, y Datareaders
  • Mandar datos a SQL Server Compact

Todas estas funcionalidades se ven acompañadas además por un a gran versatilidad en la configuración, en la trazabilidad de las ejecuciones , en la firma digital de paquetes y en el uso y paso de variables para poder parametrizar adecuadamente el producto.

En resumen estamos ante un producto que ofrece un sin fín de posibilidades que iremos desgranando en los siguientes capítulos de este tutorial que nos llevará buena parte del año escribir por completo.