Cómo saber si debe confiar en sus modelos estadísticos

El análisis predictivo a menudo suena un poco a la mecánica cuántica: tremendamente complejo de analizar y tremendamente contrario a la intuición. Entonces, cuando alguien le vende una herramienta, ¿cómo puede comprobar que la caja negra es adecuada para su propósito o que está a la altura de las afirmaciones del vendedor?

Por supuesto, nunca hay garantías irrefutables en torno a las predicciones; el futuro puede tener más formas y colores de los que imaginamos. Pero tendrá más probabilidades de sacar el máximo provecho de su análisis predictivo si hace las siguientes preguntas básicas a la hora de evaluar los nuevos modelos predictivos:

P1: ¿Los datos son buenos? Asegúrese de que los datos utilizados, así como los procesos que los generan y organizan, son de la mayor calidad posible y de que los entiende perfectamente. Como dijo una vez un gestor de fondos de cobertura que aplicó estrategias de negociación basadas en datos: «Puede dedicar un sinfín de tiempo y recursos solo para encontrar eventualmente un error en sus datos».

Puede tener problemas incluso con los mejores datos. En un reciente estudio de los precios de cierre diarios de las acciones del S&P500, «descubrimos» lo que parecían patrones llamativos en los movimientos de las acciones. Al analizar más de cerca, descubrimos que los patrones se explicaban por el hecho de que lo que se entendía por «precio de cierre» de una acción está definido de manera muy vaga. El término tenía varias definiciones, todas las cuales se aplicaban, como, por ejemplo, «último precio antes de las 16.00 horas» y «último precio publicado en la subasta de cierre». Cuando definimos el término de forma más específica, los patrones desaparecieron. Imaginamos que muchas otras personas caerán en una trampa similar y verán patrones donde no los hay porque no han pensado lo suficiente en lo que son realmente los datos que están viendo.

Q2: ¿La modelo cuenta una historia? Los modelos de sonido suelen contar una historia clara. Si los análisis predictivos que utiliza no le proporcionan ninguno, tenga cuidado, es posible que haya que refinar los modelos. Esto no quiere decir que la historia tenga que ser lo que espera o que tenga que ser una simple declaración de una línea. Es más bien que la historia tiene que ser comprensible para las personas que basan sus decisiones en ella. No se trata de evitar los modelos estadísticos complejos, que por supuesto suelen ser necesarios, sino de haber pensado, refinado y simplificado los modelos lo suficiente como para poder entenderlos.

Q3: ¿Los cálculos son tan simples como pueden ser? Es natural suponer que el modelo que más utilice con más variables será el mejor modelo. Pero la teoría, como Teoría del aprendizaje estadístico en el aprendizaje automático, nos enseña que la previsibilidad normalmente primero mejora y, después, se deteriora a medida que aumenta la complejidad del modelo, por lo que añadir complejidad no debería ser un objetivo en sí mismo. Precisamente por eso describir un modelo con una historia sencilla que tenga sentido desde el punto de vista económico suele ser una buena señal de un modelo refinado con el nivel de complejidad adecuado. Por supuesto, simplificar demasiado las matemáticas corre el mismo riesgo, así que tampoco vaya demasiado lejos en esa dirección. A menudo se cita a Einstein diciendo: «Todo debería ser lo más simple posible, pero no más simple», un buen principio para aplicar al análisis predictivo.

Q4: ¿La precisión predictiva es estable en diferentes datos nuevos? Con demasiada frecuencia, los analistas estudian los datos históricos para desarrollar un modelo que explique esos datos y, a continuación, aplican el modelo a los mismos datos exactos para hacer una predicción sobre el futuro. Por ejemplo, desarrollar un modelo de calificación crediticia con datos de impagos pasados y, a continuación, probar el modelo con esos mismos datos es un ejercicio de circularidad: predice lo que ya ha explicado. Así que asegúrese de que sus analistas apliquen el modelo a datos nuevos en nuevos contextos. Y lo que es más importante, compruebe que la precisión predictiva de los modelos esté razonablemente cerca de lo bien que el modelo logró explicar los datos para los que se desarrolló; la precisión de la predicción debe ser similar en varios entornos y muestras de datos.

P5: ¿Sigue siendo relevante el modelo? La confirmación y otros sesgos conductuales, junto con la falacia del «costo irrecuperable», suelen alentar a las personas a ver la previsibilidad donde no la hay, especialmente si la había habido antes. Pero si los datos no respaldan sus predicciones, debería estar preparado para desechar su modelo, posiblemente varias veces. Incluso si su modelo tiene un historial, debería comprobar si sigue siendo relevante para el contexto económico y empresarial. El uso de modelos predictivos de la demanda desarrollados durante los años de crecimiento o para un segmento de mercado sensible a los precios puede fracasar estrepitosamente cuando las condiciones del mercado cambien. Esto hace que los análisis predictivos, por naturaleza, sean riesgosos: son válidos mientras la realidad en la que se desarrollaron, los datos que describen un mercado específico durante un tiempo específico, también sean válidos.

Desarrollar y aplicar el análisis predictivo requiere un equilibrio delicado entre el arte y la ciencia. Una comprensión profunda del contexto, con una interpretación y un desarrollo de la historia muy honestos, debería equilibrarse con datos concretos y análisis estadísticos. Y tenga siempre en cuenta que la mayoría de los modelos de análisis predictivo pueden pasar a ser totalmente no predictivos en quince días; imagínese cómo se veían algunos modelos financieros el día después de la caída de Lehman.