Proyectos de Big Data usando Agile
Agile está demostrando si o si, ser una gran herramienta, un facilitador, un complemento en muchas otras áreas, no solo en equipos de desarrollo por dar un ejemplo.
Se ha visto que la agilidad ayuda a los clientes a empoderar a sus equipos y asegurarse de que estén en línea con los objetivos estratégicos de la organización. Creemos que la agilidad podría tener muchos beneficios para los proyectos de Big Data, estos incluyendo en el análisis, gestión, administración, presentación de datos.
Agile permite dividir los proyectos en trozos más pequeños que se pueden construir, probar fácilmente y rápidamente, si a este le sumamos Scrum, Kanban, etc, creo que la idea de usar Agile en la Ciencia de Datos es buena.
Los Proyectos de Big Data no están diseñados para crear modelos matemáticos, sino para resolver problemas y descubrir información que pueda generar beneficios a todos los niveles de la organización, tanto dentro como fuera de esta, es decir, tener equipos autogestionables, autosuficientes, empoderados, ¿a que les suena todo esto?
Un Project Manager en un proyecto tradicional de Big Data decide que prioridades son las más importantes y cómo se cumplirán estas prioridades, aunque no entienda completamente el proceso de desarrollo.
Las personas se involucran más en su trabajo y se invierten más en el resultado final cuando se delega ese poder.
Los miembros del equipo Ágil, a diferencia de los científicos de datos que pueden trabajar en múltiples compromisos simultáneamente, no están separados, en su lugar, dedican todo su tiempo al equipo y están más involucrados en el trabajo, este enfoque genera rendición de cuentas y mayor seguimiento, sumando a esto si usas un Framework como Scrum y sus eventos.
Agile y el Big Data
Aunque Agile y el Big Data suenan como la combinación perfecta, no es tan simple como parece.
- Un algoritmo no es un producto terminado si este no entrega una producción orientada a los resultados de una manera comprensible para un departamento de negocios u otra organización, este no serviría de mucho
- Los resultados de los hallazgos de los equipos Ágiles deben comunicarse fácilmente a través de infografías o Dashboard
- También se recomienda incluir en su trabajo los cambios operativos y de comportamiento necesarios para lograr resultados reales
- Todas las partes interesadas deben estar abiertas a la posibilidad de errores, y de desarrollo Ágil es iterativo
Lo más importante
El Personal, el valor
No solo son Científicos de Datos o Analistas de Big Data
- Los equipos deben estar formados por una variedad de talentos, no basta solo con la experiencias pasadas o en una estructura estándar, es importante desarrollar y nutrir al equipo.
- Es una buena idea tener un equipo que incluya Ingenieros de Datos que puedan preparar datos
- Científicos de Datos que puedan realicen análisis
- Diseñadores que puedan presentar datos
- Personal de Negocios que estén familiarizados tanto con los objetivos del negocio como con las implicaciones de los procesos existentes.
Es importante combinar los talentos de las personas de una manera que haga que el todo tenga mas sentido, en la suma de sus partes.
Agile y Waterfall en Big Data
El consenso general en la industria para Business Intelligence (BI) and Big Data funciona bien en modelos tipo Waterfall y en modelos de iteración. La primera opción de la industria del Business Intelligence es no usar modelos Ágile, debido a su tasa de éxito (que es inferior a la tasa de fallos).
La mayoría de las veces, los componentes necesarios para completar los proyectos de BI son:
- Paquetes/mapas ETL
- Modelo de datos
- Calidad de los datos
- Informes/Dashboard
El proyecto comienza con un análisis de todos los componentes, la estrategia ETL, el diseño y las pruebas del modelo de datos y luego el desarrollo de informes y/o Dashboard.
El proceso de análisis, prueba e implementación de estos componentes puede llevar muchos meses antes de que el negocio pueda experimentar los resultados y beneficios.
¿Cómo podemos evitar problema y asegurarnos de que el proyecto de BI funcione sin contratiempos, aun cuando tengamos meses con el Proyecto? La respuesta seria, usando Agile
Usar Agile es arriesgado para interactuar con los modelo Waterfall o de cascada. ¿Cómo se puede asegurar de que el proyecto de BI sea un éxito? Agile puede adoptar la Modularidad y la Funcionalidad.
Las organizaciones pueden cosechar los beneficios de la Agilidad. El principio básico de la Modularidad es la base de Agile. Los atrasos/requisitos se pueden recopilar de forma altamente estructurada.
Agile y la Modularidad
El trabajo atrasado, que es donde se almacenan todas las Historias de Usuario, es una parte importante en Agile.
Estas historias de usuario están vinculadas a varios procesos de negocio. Lleva mucho tiempo entrevistar a los usuarios de organización. Esto incluye sesiones de lluvia de ideas, encuestas y discusiones grupales individuales.
Luego se realiza la verificación de la comprensión, una vez que se identifiquen y confirmen estos procesos de negocio, se dividirán en Módulos/SubMódulos de acuerdo con su funcionalidad, lo cual esto se conoce como mapeo.
Ayudar a vincular Módulos y procesos de negocio se vuelve el componente esencial de los Proyectos Ágiles.
El éxito de cualquier proyecto dependerá de lo Modular y Funcional que sea la estructura, que permitirá al equipo gestionar cualquier cambio en cualquier etapa del proyecto y gestionar de manera eficiente el resultado final.
Un equipo Agile debe identificar las dependencias del Módulo y las mismas entre Módulos y Funcionalidades, esto permitirá el mapeo clave para ayudar a entender la relación entre los diferentes Módulos, lo cual ayuda al equipo Agile de muchas maneras diferentes:
- Conocer los impactos en los diferentes módulos y los cambios que estos pueden traer
- División y regla: la actividad de desarrollo paralelo puede tener un lugar cuando no hay dependencias entre los módulos, lo cual da lugar a reducciones significativas en el tiempo.
- Integración perfecta
- Fácil adaptación cuando los requisitos cambian en cualquier etapa del proyecto
Conclusion
Bajo la experiencia es como he escrito este Post, siendo un Project Manager, Scrum Master, aplicando Agile y siendo un Analista de Datos con un poco de Científico de Datos.
La Agilidad se puede incorporar en todos los aspectos, rama, ciencia y tecnología, un consejo en general seria, llevar acabo una planificación muy rigurosa, siendo exigentes, paso a paso pero con ritmo, y un consejo mas, “a prueba y error” hasta afinar bien el método ¡y listo! estarías adaptando Agilidad en tus proyectos de Big Data.
Fuentes de información para el presente Post: Investigación realizada por el Autor.
Síguenos en las Redes Sociales y ahora en todos los canales de Podcasts, para obtener actualizaciones periódicas y opiniones sobre lo que está sucediendo en el mundo de Project Manager, Agile, Big Data, Cloud, Scrum y mas…
Busca iPMOGuide en Facebook | Twitter | LinkedIn | Pinterest | Podcast
¿Tienes Telegram instalado?
Recibe este Post en nuestro canal, en tu móvil ó tablet.
Nos leemos pronto, ¡un abrazo!
