¿Cuáles son los principales desafíos al implementar infraestructuras de Big Data?

Diría que el mayor desafío es obtener la aceptación de una amplia aplicación de tecnología que está indirectamente relacionada con la Infraestructura de Big Data pero directamente relacionada con su éxito final. Lo que quiero decir con eso es que es raro que puedas, especialmente en un tipo de negocio que no sea una startup tecnológica, obtener el tipo de talento que tiene la confianza de los ejecutivos y los ingenieros que tienen el margen de maniobra para participar en un 2– Proyecto multifásico de 3 años.

Hablando de AWS, es casi simple desarrollar lo que la gente llama ‘pilas completas’. Y no puede obtener un certificado profesional de AWS a menos que comprenda cómo implementarlos de manera elástica. Y a diferencia de los viejos tiempos, estas tecnologías funcionan de manera confiable. Hacen lo que se supone que deben hacer. Eso no cambia nada cuando se trata del alcance del proyecto.

Aquí hay un ejemplo de mi propia experiencia. Durante muchos años construí datamarts. Los construí con hub y habló arquitecturas. Con todos mis proyectos más grandes en grandes organizaciones, sucedió lo mismo una y otra vez, que era esencialmente la siguiente caracterización.

“Mike, has estado aquí 9 meses y no pensamos que pudieras hacerlo, pero lo hiciste. Gastamos mucho dinero antes de que vinieras, pero también gastamos un millón en tu proyecto. Si hubiéramos sabido lo que podría hacer, lo habríamos logrado para este otro proyecto “.

“¿Qué otro proyecto?”

“¿Recuerdas cuando te reuniste con nuestros arquitectos corporativos que aprobaron tu modelo de datos? Tenían otro proyecto en Europa con otra tecnología y, para resumir, fracasó ”.

“Probablemente pueda arreglarlo”.

“Sí, pero no hay más dinero. Ganamos uno y perdimos uno. Además, hizo la transferencia de conocimiento, sabe que todo se externaliza a recursos offshore de bajo costo. Pasarán años antes de que hagamos otro proyecto gigantesco como este, y todas las personas internas en esto serán promovidas o se mudarán a otros lugares de la compañía … ”

En general, se trataba de grandes proyectos de automatización de la fuerza de ventas, integración de ERP o rentabilidad del cliente con múltiples subcontratistas, generalmente administrados por PWC o Deloitte o alguna otra empresa masiva ahora desaparecida. La tecnología funciona, es la gestión de proyectos, la adquisición de tecnología, las áreas de soporte a largo plazo donde las cosas se ponen difíciles.

Realmente se reduce a la infraestructura moderna frente a la heredada.

Si su entorno es 100% en la nube, entonces es bastante fácil. Pero esto es raro.

Si su entorno es algún tipo de DBMS híbrido, mainframe (todos los sabores), DBMS relacional en todas partes, flujos de datos de socios comerciales (el estado del inventario y el volumen de ventas es típico) y busca agregar análisis de sentimientos a través de flujos de datos de Twitter o Facebook (también típico ) – las tareas de integración llevarán años.

El principal impedimento es simplemente la “inercia de la organización”: nos gustan nuestros informes mensuales y semanales … ¿por qué eso tiene que cambiar! Lanzar datos en tiempo real a la mezcla, que es realmente lo que “big data” trae a la mesa: simplemente no tiene suficientes consumidores internos de datos para justificar el trabajo necesario. Se necesita un verdadero ‘Campeón’ visionario … y un plan de varios años para evolucionar desde el consumo de datos mensuales o semanales a feeds y acciones en tiempo real.

Siempre comienzo con los datos de monitoreo de TI, que son ‘grandes’ y ‘casi en tiempo real’, para comenzar a reducir la ‘inercia de la organización’ al aportar KPI útiles tanto de TI como de la empresa y así demostrar el valor de tendencias y toma de decisiones en tiempo real. Esto afecta directamente la gestión de proyectos de TI (DevOps) y las campañas de marketing (lanzamiento de nuevos productos) y permite que la gente obtenga experiencia en el uso de datos que tienen una “fecha de actualización”. Esto facilita cambiar el enfoque de los informes mensuales / semanales, y así pasar a otros escenarios operativos que permiten a la empresa optimizar su rendimiento. La ventaja de este enfoque es un tiempo de valor muy rápido, lo que demuestra que operar en tiempo casi real tiene beneficios comerciales comprobables, que generalmente son de 3 a 6 meses. Y generalmente esto implicará un mal funcionamiento crítico del sistema que se mitigó o evitó, ¡muy emocional!

Otras personas intentan comenzar desde las fuentes de datos: los equipos de almacenamiento de datos que poseen y administran todos los repositorios actuales. Esto resulta en un esfuerzo de varios años, después de lo cual, ¡se demostrará el valor comercial! Esa es la forma en que TI siempre ha realizado inversiones estratégicas (en el pasado cercano) y esta es una trampa en la que muchas organizaciones pueden caer fácilmente: simplemente no pueden superar las importantes recomendaciones de esos muchos empleados de alto nivel y socios valiosos …

Y luego, un competidor, que es una startup ágil y 100% basada en la nube, toma una gran parte de la cuota de mercado … y me pongo ocupado.

No hay magia real. Todavía llevará un par de años lograr la evolución y descargar la “inercia organizacional”. Solo puede hacerlo a través de pasos deliberados y comprobables y una inversión modesta. En lugar del “gran dólar”, “apuesta al negocio”, “marcha de la muerte” de varios años.

¡Gracias por la solicitud!

La aceptación por parte de la gerencia suele ser bastante fácil si aciertas todas las demás marcas. El mayor dolor de cabeza a largo plazo es centrarse en la aceptación de la administración en lugar de RIO y la incapacidad de tratar adecuadamente con la deuda tecnológica. Otro gran dolor proviene del fracaso de un plan de gestión de cambios adecuadamente diseñado.