En Octubre de 2010 fue liberada la versión 8.5 de la plataforma Information Server. A nivel plataforma y en particular para DataStage se incluyeron varias mejoras y nuevas funcionalidades.
Revisando la lista de estas nuevas funcionalidades seleccioné 10 que me parecieron las más importantes y que justifican una migración a esta nueva versión.
1 – Más Rápido
En la version 8.5 se puso mucho foco en mejorar la performance, no solo de ejecución de los procesos, sino tambien en el desarrollo de los mismos. Es por ello que DataStage 8.5 es al menos 40% mas rapido que la v8.1 al iniciar los servicios, abrir un job, iniciar la ejecucion de un Parallel job.
2 - New XML Pack
En versions previas de DataStage era possible procesar archivos XML pero la funcionalidad que entregaba el XML Pack era limitada y el procesamiento de archivos grandes poco performante.
DataStage 8.5 incorpora una nueva herramienta para el procesamiento de archivos XML que permite además importar y almacenar los esquemas de los archivos XML en dicho formato jerárquico y no en forma de tabla como lo hacia el viejo pack.
Este nuevo XML Pack puede leer, transformar, validar el formato contra el esquema y grabar archivos XML de una manera mucho más performante que el viejo Pack especialmente cuando estamos trabajando con archivos grandes y complejos.
Este nuevo pack está disponible tanto para el desarrollo de Server Jobs como de Parallel Jobs.
3 – Loop en Transformer
La versión 8.5 de DataStage incluye una funcionalidad muy requerida por los desarrolladores de DataStage. Si, ahora es posible realizar Loops en el Transformer Stage.
Con esta funcionalidad dentro del Transformer Stage es ahora possible generar varios registros de salida en un mismo link en base a 1 solo registro de entrada.
En el ejemplo a continuación un registro tiene el nombre de la compañía y 4 registros de revenue.
El loop va a leer cada columna de entrada con revenue y generar un registro de salida para cada una:
Esta funcionalidad de Loop en Transformer está solo disponible en Parallel Jobs.
4 - Mas Fácil de Instalar
El proceso de instalacion de Information Server 8.5 es mas sencillo y mas robusto. Claramente es el mejor instalador creado desde la liberación de la versión 8.0. La instalación puede hacerse totalmente en forma grafica tanto en ambiente Windows como en Unix o Linux siguiendo un nuevo wizard que realiza un chequeo fino de prerrequisitos y permite elegir fácilmente la arquitectura a instalar (2 capas, 3 capas o 4 capas). Ademas es factible elegir al momento de instalación si queremos configurar un ambiente de alta disponibilidad.
Otra funcionalidad muy mejorada es la nueva herramienta para instalación de parches, fixes o packs. Ahora es posible instalar varios parches, fixes o packs en forma conjunto, uno detrás del otro.
5 - Check In / Check Out de Jobs
Information Server Manager ahora trae la posibilidad de integrarse con herramientas de control de codigo tales como CVS y Rational ClearCase.
De esta forma ahora es posible enviar objetos DataStage al sistema de control de código elegido o reemplazar los objetos DataStage desde el sistema.
DataStage 8.5 viene con integración out of the box con CVS y Rational ClearCase pero puede integrarse con otros sistemas incluyendo el plugin de Eclipse correspondiente.
Esta funcionalidad está disponible tanto para Server Jobs o Parallel Jobs.
6 - Alta Disponibilidad
En primera instancia, la documentacion de DataStage 8.5 incluye mas de 30 paginas sobre topologías y arquitecturas posibles incluyendo algunos escenarios de alta disponibilidad.
En version 8.5 se puede construir un ambiente 100% alta disponibilidad que soporte a todas las capas de la plataforma a saber:
- Soporte de Clustering para WebSphere Application Server (services layer).
- Soporte de Clustering para el repositorio de XMETA: DB2 HADR/Oracle RAC (repository layer).
- Soporte a fallas (failover) en el engine (engine layer)
7 – InfoSphere Blueprint Director
InfoSphere Blueprint Director es una nueva herramienta que viene con la plataforma Information Server 8.5 y que permite crear diagramas de arquitectura de información y linkear directamente los objetos en el diagrama con los elementos u objetos de cada unos de los productos de la plataforma y de terceras partes.
8 - Nuevo Pivot Vertical
Otra nueva funcionalidad que los desarrolladores están esperando desde hace bastante tiempo. Ahora está disponible y con el uso de esta nueva funcionalidad es posible pivotear múltiples registros de entrada con una clave común a un registro de salida. Para los que usaron el Pivot Stage, este nuevo stage hace la operación inversa.
Esta funcionalidad esta solo disponible en Parallel Jobs
9 - Z/OS File Stage
Ahora es posible procesar mas fácilmente archivos complejos de mainframe con el Nuevo stage zOS File Stage.
De esta forma podemos leer y grabar nativamente archivos de tipo VSAM, QSAM, BDAM, BSAM.
Este stage requiere tener Classic Federation en el zOS y solo está disponible en Parallel Jobs.
10 - Database Connectors en Server Jobs
A partir de DataStage v8 se empezó a implementar unos nuevos componentes de conectividad llamados Database Connectors. Estos conectores proveen mayor funcionalidad y performance que los actuales plug-ins u operators pero solo estaban disponibles en los Parallel Jobs.
En DataStage 8.5 se liberaron los mismos conectores pero para los Server Jobs lo cual permite contar con todas las ventajas de estos nuevos componentes de conectividad en los jobs server.
Actualmente están disponibles varios conectores que permiten acceder a casi todas las fuentes y destinos de datos:
- ODBC Connector
- DB2 Connector
- Oracle Connector
- Teradata Connector
- MQ Connector
- DTS Connector
Ademas es importante mencionar que en la versión 8.5 de DataStage se incluye una herramienta llamada Connector Migration Tool que permite reemplazar automáticamente los viejos stages u operadores por los nuevos conectores.
En proximos blogs iremos describiendo mas en detalle cada una de estas nuevas funcionalidades.
