Cómo ha cambiado la analítica en los últimos 10 años (y cómo se ha mantenido igual)

Foto de Ferdinand Stöhr

Hace diez años, Jeanne Harris y yo publicamos el libro Competir en análisis, y acabamos de actualizarlo para su publicación en septiembre. Una de las principales razones de la actualización es que la tecnología analítica ha cambiado drásticamente en la última década; las secciones que escribimos sobre esos temas están lamentablemente anticuadas. Así que revisar nuestro libro nos dio la oportunidad de hacer balance de 10 años de cambios en la analítica.

Por supuesto, no todo es diferente. Algunas tecnologías de hace una década todavía se utilizan ampliamente y las describiré aquí también. Ha habido aún más estabilidad en el liderazgo analítico, la gestión del cambio y la cultura y, en muchos casos, esos siguen siendo los problemas más difíciles de abordar. Pero estamos aquí para hablar de tecnología. He aquí un breve resumen de lo que ha cambiado en la última década.

La última década, por supuesto, fue la era del big data. Las nuevas fuentes de datos, como los flujos de clics en línea, requerían una variedad de nuevas ofertas de hardware en las instalaciones y en la nube, principalmente relacionadas con la computación distribuida (distribuyendo los cálculos analíticos en varios servidores básicos) o dispositivos de datos especializados. Estas máquinas suelen analizar los datos «en la memoria», lo que puede acelerar drásticamente los tiempos de respuesta. Los análisis basados en la nube permitieron a las organizaciones adquirir enormes cantidades de potencia informática durante períodos cortos a bajo coste. Incluso las pequeñas empresas podían participar, y las grandes empresas empezaron a utilizar estas herramientas no solo para los macrodatos, sino también para los pequeños datos estructurados tradicionales.

Centro de información

• Poner los datos a trabajar

  Patrocinado por Accenture

  La analítica es fundamental para el rendimiento de las empresas.

Junto con los avances del hardware, la necesidad de almacenar y procesar macrodatos de nuevas formas llevó a toda una constelación de software de código abierto, como Hadoop y los lenguajes de programación. Hadoop se utiliza para almacenar y procesar macrodatos y, por lo general, es más de un orden de magnitud más barato que un almacén de datos para volúmenes de datos similares. Hoy en día, muchas organizaciones utilizan lagos de datos basados en Hadoop para almacenar diferentes tipos de datos en sus formatos originales hasta que sea necesario estructurarlos y analizarlos.

Como gran parte del big data está relativamente desestructurado, los científicos de datos crearon formas de estructurarlo y prepararlo para el análisis estadístico, con lenguajes de programación nuevos (y antiguos) como Pig, Hive y Python. Las herramientas de código abierto más especializadas, como Spark para transmitir datos y R para estadísticas, también han ganado una gran popularidad. El proceso de adquisición y uso del software de código abierto es un cambio importante en sí mismo para las empresas establecidas.

Las tecnologías de análisis que he mencionado hasta ahora son principalmente independientes de otros tipos de sistemas, pero muchas organizaciones hoy en día quieren y necesitan integrar la analítica en sus aplicaciones de producción. Pueden basarse en los sistemas de CRM para evaluar el valor de por vida de un cliente, por ejemplo, u optimizar los precios en función de los sistemas de la cadena de suministro según el inventario disponible. Para integrarse con estos sistemas, un enfoque de la tecnología analítica basado en componentes o «microservicios» puede resultar muy útil. Esto implica integrar pequeños fragmentos de código o una llamada a la API en un sistema para ofrecer un resultado analítico pequeño y contenido; el software de código abierto ha fomentado esta tendencia.

Play

Play

00:00

Play

Seek 10 seconds backwards

Seek 10 seconds forward

00:00 / 00:00

Mute

Settings

Picture in picture

Fullscreen

.video-summary-list-container { height: 100%; } .video-summary-list-container .MuiScopedCssBaseline-root { height: 100%; }

Summary & chapters

Read as overview

.chapters-list-module_intro__74vPf { padding: 16px; border-bottom: 1px solid rgba(255, 255, 255, 0.2); } .chapters-list-module_chapter__uKhQh { padding: 0 16px 16px 8px; border-bottom: 1px solid rgba(255, 255, 255, 0.2); .MuiPaper-root .MuiButtonBase-root .MuiAccordionSummary-content { margin-top: 16px; margin-bottom: 0; } .MuiPaper-root .MuiCollapse-root .MuiCollapse-wrapper .MuiAccordionDetails-root { padding-bottom: 0; } } .chapters-list-module_chapter-header__Pu4Xi { width: 100%; margin-right: 8px; } .chapters-list-module_chapter-header-content__JIOjX { flex-grow: 1; padding: 8px; border-radius: 8px; cursor: pointer; } .chapters-list-module_chapter-header-content__JIOjX:hover { background-color: rgba(0, 0, 0, .2); } .chapters-list-module_chapter-header-expand-icon__tLLZ9 { margin-top: 16px; } .chapters-list-module_chapter-header-text__bPoKD { font-size: 11px; font-weight: 400; letter-spacing: 1px; text-transform: uppercase; } .chapters-list-module_chapter-bullet-icon__kCL9n { font-size: 11px; font-weight: 400; letter-spacing: 1px; text-transform: uppercase; } .chapters-list-module_chapter-intro__H-iVR { display: flex; align-items: center; gap: 8px; margin-bottom: 2px; } .chapters-list-module_chapter-description__ziIpd { margin: 0 -16px 0 -8px; } .chapters-list-module_intro-text__Sqgju { } .chapters-list-module_chapter-description__ziIpd, .chapters-list-module_intro-text__Sqgju { font-size: 16px !important; white-space: pre-wrap; }

Este enfoque integrado se utiliza ahora para facilitar la «analítica perimetral» o la «analítica del streaming». Los pequeños programas de análisis que se ejecutan en un microprocesador local, por ejemplo, podrían analizar los datos que provienen de los sensores de brocas de un pozo petrolífero e indicar a la broca si debe acelerar o reducir la velocidad. Con la popularidad de los datos del Internet de las Cosas en muchos sectores, analizar los datos cerca de la fuente cobrará cada vez más importancia, especialmente en las geografías remotas, donde las restricciones de telecomunicaciones podrían limitar la centralización de los datos.

Otro cambio clave en el panorama de la tecnología analítica tiene que ver con la analítica autónoma, una forma de inteligencia artificial o tecnología cognitiva. En el pasado, la analítica se creó para los responsables de la toma de decisiones humanas, que consideraban el resultado y tomaban la decisión final. Pero las tecnologías de aprendizaje automático pueden dar el siguiente paso y, de hecho, tomar la decisión o adoptar la acción recomendada. La mayoría de las tecnologías cognitivas se basan en estadísticas en esencia y pueden mejorar drásticamente la productividad y la eficacia del análisis de datos.

Por supuesto, como suele ocurrir con la tecnología de la información, las tecnologías analíticas anteriores no han desaparecido; al fin y al cabo, los ordenadores centrales siguen funcionando en muchas empresas. Las empresas siguen utilizando paquetes de estadísticas, hojas de cálculo, almacenes y mercados de datos, herramientas de análisis visual e inteligencia empresarial. La mayoría de las grandes organizaciones están empezando a explorar el software de código abierto, pero también siguen utilizando un número considerable de herramientas de análisis patentadas.

Suele ocurrir, por ejemplo, que es más fácil adquirir soluciones de análisis especializadas (por ejemplo, para el análisis de la lucha contra el blanqueo de dinero en un banco) que crear las suyas propias con código abierto. En el almacenamiento de datos hay combinaciones similares de código abierto y propietario. Los datos estructurados en filas y columnas que requieren controles de seguridad y acceso pueden permanecer en los almacenes de datos, mientras que los datos no estructurados o preestructurados residen en un lago de datos. Por supuesto, el software de código abierto es gratuito, pero las personas que pueden trabajar con herramientas de código abierto pueden ser más caras que las que son capaces de usar tecnologías patentadas.

El cambio en las tecnologías de análisis ha sido rápido y generalizado. No cabe duda de que la gama actual de tecnologías analíticas es más potente y económica que la generación anterior. Permite a las empresas almacenar y analizar muchos más datos y muchos tipos diferentes de datos. Los análisis y las recomendaciones llegan mucho más rápido y, en muchos casos, se acercan al tiempo real. En resumen, todos los barcos de análisis han subido.

Sin embargo, estas nuevas herramientas también son más complejas y, en muchos casos, requieren niveles más altos de experiencia para trabajar con ellas. A medida que la analítica ha cobrado importancia en la última década, también han crecido los compromisos que las organizaciones deben asumir para sobresalir con ella. Como muchas empresas se han dado cuenta de que la analítica es fundamental para el éxito empresarial, las nuevas tecnologías no han hecho que sea necesariamente más fácil convertirse (y seguir siendo) un competidor analítico. El uso de tecnologías analíticas de última generación es un requisito previo para el éxito, pero su disponibilidad generalizada hace que se dé cada vez más importancia a los factores no técnicos, como el liderazgo analítico, la cultura y la estrategia.