Durante las últimas dos décadas, los datos se han convertido en un activo invaluable para las empresas, rivalizando con activos tradicionales como la infraestructura física, la tecnología, la propiedad intelectual y el capital humano. Para algunas de las empresas más valiosas del mundo, los datos constituyen el núcleo de su modelo de negocio.
La escala de producción y transmisión de datos ha crecido exponencialmente. Forbes informa que la producción mundial de datos aumentó de 2 zettabytes en 2010 a 44 ZB en 2020, con proyecciones que superarán los 180 ZB para 2025: un asombroso crecimiento del 9.000% en solo 15 años, impulsado en parte por la inteligencia artificial.
Sin embargo, los datos sin procesar por sí solos no equivalen a conocimientos prácticos. Los datos no procesados pueden abrumar a los usuarios y dificultar potencialmente la comprensión. La información (datos procesados, organizados y consumibles) impulsa conocimientos que conducen a acciones y generación de valor.
Este artículo comparte mi experiencia en análisis de datos e implementación de herramientas digitales, centrándose en aprovechar el «Big Data» para crear conocimientos prácticos. Estos conocimientos han permitido a los usuarios aprovechar oportunidades comerciales, identificar áreas de ahorro de costos y acceder a información útil de evaluación comparativa. Nuestros proyectos a menudo incorporaban automatización, lo que generaba ahorros de tiempo y ganancias de eficiencia. Destacaré los desafíos clave que enfrentamos y nuestras soluciones, enfatizando las primeras fases del proyecto donde las decisiones tienen el impacto más significativo.
Las áreas clave de enfoque incluyen:
- Cuantificación de beneficios
- El riesgo de que el alcance se desvíe
- Superando desafíos con datos PDF
- Fase de diseño y consideraciones de rendimiento.
En las grandes organizaciones, la disponibilidad y accesibilidad de los datos a menudo plantean desafíos importantes, especialmente cuando se combinan datos de múltiples sistemas. La mayoría de mis proyectos tenían como objetivo crear un conjunto de datos unificado y armonizado para análisis de autoservicio y paneles de control detallados. Empleamos metodologías ágiles para mantener una supervisión clara del progreso y los obstáculos, garantizando la responsabilidad de cada miembro del equipo.
El ciclo de vida típico de los proyectos de datos abarca las fases de alcance, diseño, desarrollo, implementación y mantenimiento. Durante la determinación del alcance, el propietario del producto colabora estrechamente con la organización del cliente/usuario final para comprender las necesidades generales, los tipos de datos deseados y los conocimientos, requisitos y funcionalidades.
Cuantificación de beneficios
Un elemento crucial de la fase de determinación del alcance es el caso de beneficio, donde cuantificamos el valor potencial de la solución. En mi experiencia, este paso a menudo resulta desafiante, particularmente cuando se estima el valor de los conocimientos analíticos. Descubrí que, si bien calcular los beneficios de la automatización, como el ahorro de tiempo, es relativamente sencillo, a los usuarios les cuesta estimar el valor de los conocimientos, especialmente cuando se trata de datos que antes no estaban disponibles.
En un proyecto fundamental, enfrentamos este desafío de frente. Estábamos desarrollando un modelo de datos para proporcionar información más profunda sobre los contratos de logística. Durante la fase de determinación del alcance, nos costó cuantificar los beneficios potenciales. No fue hasta que descubrimos un incidente reciente que encontramos nuestra respuesta.
Unos meses antes, el cliente descubrió que estaba pagando de más por un oleoducto específico. La estructura del contrato, con diferentes flujos volumétricos que generaban diferentes tarifas, había provocado un uso subóptimo y costes excesivos. Al ajustar los flujos volumétricos, lograron reducir significativamente los costos unitarios. Este ejemplo del mundo real resultó invaluable en nuestro proceso de cuantificación de beneficios.
Usamos este incidente para demostrar cómo nuestro modelo de datos podría tener:
- Identificó el problema antes, lo que podría ahorrarle meses de pagos excesivos.
- Proporcionó monitoreo continuo para evitar problemas similares en el futuro.
- Se ofrecieron conocimientos para optimizar los caudales en todos los contratos.
Este ejemplo concreto no sólo nos ayudó a cuantificar los beneficios sino que también elevó la prioridad del proyecto ante la alta dirección, asegurando la financiación que necesitábamos. Fue una lección crucial sobre el poder de utilizar eventos recientes y tangibles para ilustrar el valor potencial.
Sin embargo, no todos los proyectos tienen ejemplos tan claros. En estos casos, he desarrollado enfoques alternativos:
- Benchmarking: comparamos el desempeño departamental con el de otros departamentos o competidores, identificando el mejor desempeño de su clase y cuantificando el valor de alcanzar ese nivel.
- Mejora porcentual: Estimamos una mejora porcentual conservadora en los ingresos o costos departamentales generales resultantes del modelo. Incluso un pequeño porcentaje puede traducirse en un valor significativo en las grandes organizaciones.
Independientemente del método, he aprendido la importancia de definir criterios de éxito claros y mensurables. Ahora siempre establecemos cómo se medirán los beneficios después de la implementación. Esta práctica no solo facilita una reevaluación más sencilla, sino que también garantiza la responsabilidad por la decisión de implementación de la solución digital.
Otra lección valiosa provino de una fuente inesperada. En varios proyectos, descubrimos «clientes secundarios»: departamentos o equipos que podrían beneficiarse de nuestro modelo de datos pero que no formaban parte del alcance original. En un caso, un modelo diseñado para el equipo de logística resultó invaluable para el departamento de finanzas en la elaboración de presupuestos y pronósticos.
Esta experiencia me enseñó a ampliar la red a la hora de definir la base de clientes. Ahora miramos habitualmente más allá del departamento solicitante durante la fase de determinación del alcance. Este enfoque a menudo ha aumentado los beneficios y la prioridad generales del proyecto, convirtiendo a veces un proyecto marginal en una iniciativa imprescindible.
Estas experiencias subrayan una idea fundamental: en las grandes organizaciones, varios usuarios de diferentes áreas a menudo se enfrentan a problemas similares sin darse cuenta. Al identificar estas sinergias tempranamente, podemos crear soluciones más integrales y valiosas y presentar argumentos más sólidos para su implementación.
El riesgo de que el alcance se desvíe
Si bien ampliar la base de clientes mejora el impacto del modelo, también aumenta el riesgo de que el alcance se desvíe. Esto ocurre cuando un proyecto intenta dar cabida a demasiadas partes interesadas, prometiendo una funcionalidad excesiva o demasiado compleja, lo que puede comprometer el presupuesto y el cronograma. El propietario del producto y el equipo deben comprender claramente sus recursos y capacidades de entrega realistas dentro del plazo acordado.
Para mitigar este riesgo:
- Anticipe algún trabajo de diseño durante la fase de determinación del alcance.
- Evaluar si los nuevos requisitos se pueden cumplir con las fuentes de datos existentes o si es necesario adquirir otras nuevas.
- Establecer expectativas claras y realistas con la gestión del cliente con respecto al alcance y la viabilidad.
- Cree una maqueta manual del producto final durante la determinación del alcance para aclarar los requisitos de la fuente de datos y brindar a los usuarios finales una vista previa tangible del resultado.
- Utilice subconjuntos de datos reales en maquetas en lugar de datos ficticios, ya que los usuarios se relacionan mejor con información familiar.
Los desafíos relacionados con los datos PDF
Varios proyectos destacaron los desafíos en la captura de datos PDF. Los usuarios a menudo solicitaban detalles de facturas y extractos de proveedores externos que no estaban disponibles en nuestros sistemas financieros. Si bien los equipos de contabilidad suelen reservar versiones resumidas, los usuarios necesitaban detalles de las partidas individuales para realizar análisis.
Extraer datos de archivos PDF requiere establecer reglas y lógica para cada elemento de datos, un esfuerzo sustancial que vale la pena sólo para varios archivos PDF con estructuras similares. Sin embargo, cuando se trata de documentos de miles de proveedores con distintos formatos que pueden cambiar con el tiempo, desarrollar reglas de mapeo se convierte en una tarea inmensa.
Antes de incluir la extracción de PDF en el alcance de un proyecto, ahora necesito una comprensión profunda de los documentos involucrados y asegurarme de que la organización del usuario final comprenda plenamente los desafíos asociados. Este enfoque a menudo ha llevado a la redefinición del alcance del proyecto, ya que los beneficios pueden no justificar los costos y pueden existir medios alternativos para lograr los conocimientos deseados.
Fase de diseño y consideraciones de rendimiento.
La fase de diseño implica analizar elementos de alcance, identificar fuentes de datos, evaluar métodos óptimos de interfaz de datos, definir pasos de curación y cálculo y documentar el modelo de datos general. También abarca decisiones sobre alojamiento de modelos de datos, aplicaciones de software para transferencia y visualización de datos, modelos de seguridad y frecuencia del flujo de datos. Los requisitos clave de diseño suelen incluir granularidad de datos, confiabilidad, flexibilidad, accesibilidad, automatización y rendimiento/velocidad.
El rendimiento es crucial, ya que los usuarios esperan respuestas casi en tiempo real. Los modelos lentos, independientemente de sus conocimientos, a menudo tienen un uso limitado. Los métodos comunes de mejora del rendimiento incluyen la materialización del conjunto de datos final para evitar cálculos basados en caché. La elección de la herramienta de visualización también afecta significativamente el rendimiento. Probar varias herramientas durante la fase de diseño y cronometrar cada paso del modelo ayuda a informar la selección de herramientas. La elección de la herramienta puede influir en el diseño, ya que cada herramienta tiene estructuras de datos preferidas, aunque la estrategia corporativa y las consideraciones de costos pueden, en última instancia, impulsar la decisión.
Tendencias futuras
Las tendencias emergentes están remodelando el panorama del análisis de datos. Las herramientas de análisis y preparación de datos ahora permiten a los no desarrolladores crear modelos de datos utilizando interfaces gráficas intuitivas con funcionalidad de arrastrar y soltar. Los usuarios pueden simular y visualizar cada paso, lo que permite la resolución de problemas sobre la marcha. Esta democratización del modelado de datos amplía la tendencia del análisis de autoservicio, permitiendo a los usuarios crear sus propios modelos de datos.
Si bien existen límites en la complejidad de los productos de datos creados por el usuario final, y las organizaciones aún pueden preferir conjuntos de datos corporativos administrados centralmente para datos ampliamente utilizados, estas herramientas están ampliando las capacidades de modelado de datos más allá de los profesionales de TI.
Una experiencia personal ilustra el impacto de esta tendencia: durante la fase de determinación del alcance de un proyecto, ante la posible pérdida de un desarrollador, pasamos de un modelo programado en SQL a Alteryx. El propietario del producto creó con éxito el modelo de datos con un soporte de TI mínimo, lo que mejoró tanto sus habilidades técnicas como su satisfacción laboral.
La socialización de la creación de herramientas analíticas complejas ofrece importantes beneficios. Las empresas deberían considerar ofrecer programas de capacitación para maximizar el valor de estas aplicaciones. Además, los asistentes de IA pueden sugerir o depurar código, lo que acelera aún más la adopción de estas herramientas. Este cambio puede transformar a cada empleado en un profesional de datos, extrayendo el máximo valor de los datos de la empresa sin un amplio soporte de TI.
Liberar el valor de los datos
La toma de decisiones basada en datos está experimentando un rápido crecimiento en todas las industrias. Para desbloquear el valor de los datos, deben transformarse en información estructurada y procesable. Los proyectos de análisis de datos tienen como objetivo consolidar datos de diversas fuentes en un conjunto de datos centralizado y armonizado listo para el consumo del usuario final.
Estos proyectos abarcan varias fases (alcance, diseño, construcción, implementación y mantenimiento), cada una con desafíos y oportunidades únicos. La fase de determinación del alcance es particularmente crítica, ya que las decisiones que se toman aquí impactan profundamente todo el ciclo de vida del proyecto.
El modelo tradicional de depender de desarrolladores de TI dedicados está evolucionando con la llegada de herramientas de análisis y preparación de datos fáciles de usar, complementadas con asistentes de IA. Esta evolución reduce la barrera para crear modelos analíticos, permitiendo que una gama más amplia de usuarios finales participe en el proceso. En última instancia, esta democratización del análisis de datos amplificará aún más su impacto en la toma de decisiones corporativas, impulsando la innovación y la eficiencia en todas las organizaciones.
