Un repaso sobre los experimentos controlados aleatorios

Para tomar decisiones inteligentes en el trabajo, necesitamos datos. El origen de esos datos y la forma en que los analicemos dependen de muchos factores, por ejemplo, lo que intentemos hacer con los resultados, el grado de precisión que necesitamos que sean los hallazgos y el presupuesto del que dispongamos. Hay una variedad de experimentos que los gerentes pueden realizar, desde experimentos rápidos e informales hasta estudios piloto, experimentos de campo e investigaciones de laboratorio. Uno de los experimentos más estructurados es el experimento controlado aleatorio.

Para entender mejor qué es un experimento controlado aleatorio y cómo lo utilizan las empresas, hablé con Tom Redman, autor de Impulsado por los datos: sacar provecho de su activo empresarial más importante. También asesora a las organizaciones en sus programas de datos y calidad de los datos.

¿Qué es un experimento controlado aleatorio?

Cuando la gente escucha el término, la mayoría de las veces piensa en los ensayos clínicos, en los que un grupo recibe un tratamiento y otro un placebo, pero las compañías farmacéuticas y los científicos médicos no son los únicos que utilizan este tipo de experimentos. Todo tipo de empresas pueden llevar a cabo estos experimentos y no tienen por qué ser costosos ni llevar mucho tiempo, solo tienen que «controlarse» e incluir un elemento de «aleatorización».

Empecemos por la palabra experimento. «Un experimento es una actividad planificada cuyo propósito es aprender algo sobre el mundo», explica Redman. Pone el ejemplo de niños de dos años que hacen experimentos constantemente: «Piensan: ‘Si grito, mamá vendrá corriendo. ’ Están recopilando datos sobre el mundo y, aunque no está controlado, lo hacen a propósito».

He aquí un ejemplo más relacionado con los negocios. Supongamos que se dedica a perforar pozos petrolíferos y tiene una nueva broca que funciona mediante un programa de inteligencia artificial que ajusta la presión y la velocidad con las que gira la broca. Quiere saber cómo se compara esta broca nueva y más cara con la que utiliza actualmente, así que realizará un experimento comparando la broca actual con la nueva. Selecciona 30 pozos y perfora 15 de ellos con la broca vieja y 15 con la nueva. Ese es su experimento y su variable de interés podría ser la eficiencia con la que perforó el pozo.

Tenga en cuenta que el número de pozos aquí es bastante pequeño en comparación con un experimento, por ejemplo, en el que muestra a 1000 clientes potenciales una nueva campaña de marketing. Cuanto mayor sea el tamaño de la muestra, es más probable que obtenga resultados que sean estadísticamente significativo. Pero también tiene que ser realista en cuanto al coste de su experimento y dado que perforar un pozo petrolífero cuesta millones de dólares, es probable que lleve a cabo este experimento en un número menor de pozos.

En un experimento, la variable de interés se llama su variable dependiente(tenga en cuenta que puede tener varias variables dependientes, pero para simplificar, me referiré a una variable dependiente). Pero también hay muchos variables independientes — factores que sospecha que tienen un impacto en su variable dependiente. «Por lo general, en un experimento, se intenta aprender algo sobre una o, como máximo, unas pocas variables independientes, pero muchos otros factores pueden interponerse en su camino», afirma Redman. Quiere saber qué perforadora es mejor, pero otros factores, como el tamaño del pozo, su profundidad y lo que está excavando, también afectarán a la eficacia con la que perfora el pozo y complicarán la evaluación de la nueva perforadora. Del mismo modo, en un ensayo clínico, hay muchos otros factores, como la edad, el estado de salud general, los regímenes de ejercicio y la presión arterial de los pacientes, que pueden dificultar ver si los resultados del experimento pueden atribuirse realmente al fármaco y no a algún otro factor.

Aquí es donde entra la palabra «controlado». Este término puede resultar confuso porque los estadísticos lo utilizan para describir más de un concepto. Como bromea Redman: «¡Deje que los estadísticos oculten un concepto perfectamente simple!» La primera acepción es «aislar el impacto de una (o unas cuantas) variables», explica Redman. «Controlado», en este sentido, significa establecer restricciones para que ciertas variables no afecten al resultado de su experimento. Así que en un ensayo clínico de fármacos, puede que le preocupe que la dieta de los participantes afecte a la eficacia del medicamento. Usted «controla» esto poniendo a todos los pacientes en la misma dieta durante todo el experimento. Del mismo modo, en el experimento de perforación, querrá asegurarse de tener en cuenta la «dureza esperada de la roca», de modo que puede crear 15 pares de pozos en función de la dificultad que espera que sean de perforar. Eso controlaría la dureza esperada. También puede asegurarse de utilizar el equipo de perforación y las tripulaciones para controlar el impacto que esos factores puedan tener en el experimento.

Lectura adicional

• 

  Keeping Up with the Quants

  Gestionarse a sí mismo Libro

  Thomas H. Davenport y Jinho Kim

  30.00

  View Details

Muchos experimentos controlados aleatorios se realizan en un laboratorio porque «es más fácil controlar las cosas en un laboratorio», afirma Redman. Pero por lo que sabe Redman, no hay un «laboratorio de perforación de pozos», así que haga lo mejor que pueda. Por ejemplo, probablemente pueda controlar mejor la dureza de la roca instalando dos plataformas a 15 metros de distancia en el mismo lugar y cavando pozos secos. Eso le dará un resultado más fiable en términos de rendimiento de las brocas nuevas y antiguas en circunstancias similares, pero también le costará mucho dinero y no ganará dinero en el proceso. Así que tiene que decidir cuánto vale la pena controlar.

El segundo significado de «control» se refiere a los grupos que está estudiando: un grupo de control y un grupo de tratamiento. En este caso, el control significa la forma actual de hacer las cosas (por ejemplo, la parte anterior) y el tratamiento significa la nueva forma de hacer las cosas (por ejemplo, la nueva). Esto es importante porque, para juzgar los resultados de su experimento, tiene que preguntarse «¿comparado con qué?» No empieza a perforar con la nueva broca y decide «es mejor». Tiene que compararlo con un grupo de control; en este caso, los 15 pozos que está cavando con el anterior, que es su punto de referencia.

Del mismo modo, al probar un nuevo fármaco, tiene que tener en cuenta el «efecto placebo», en el que las personas mejoran simplemente porque piensan que están recibiendo tratamiento, por lo que trata a su grupo de control exactamente igual que al grupo de tratamiento y busca una mejora en el grupo de tratamiento en comparación con el grupo de control.

Pero, ¿qué pozos o personas entran en el grupo de control y cuáles entran en el grupo experimental? ¿Y quién participa en el experimento en primer lugar? Ahí es donde aleatorización entra. Para anular los efectos de variables que desconoce (por ejemplo, los patrones de sueño de los pacientes en un ensayo clínico), asigna los sujetos al azar al grupo de control o al grupo de tratamiento. Con sus pares de pozos por encima, elegiría al azar, tal vez incluso lanzando una moneda, lo que le da la nueva broca de cada par. Esto es lo que Redman llama «eliminar el sesgo oculto del experimento». Al fin y al cabo, si todos los pacientes sanos reciben el tratamiento y luego mejoran, no ha demostrado nada. O si perfora accidentalmente 15 de los pozos más fáciles de cavar con la nueva broca, no sabe realmente si es mejor.

La aleatorización (junto con un tamaño de muestra más grande) hace que se sienta más seguro de que cualquier resultado que obtenga se debe realmente a la variable independiente de interés (en el caso farmacéutico, el efecto del fármaco) y, por lo tanto, es «generalizable más allá del experimento», según Redman.

Si esta clasificación de participantes suena como Pruebas A/B, eso es porque son similares. A/B puede ser un experimento controlado aleatorio, suponiendo que haya controlado los factores y los sujetos aleatorios, pero no todos los experimentos controlados aleatorios son pruebas A/B.

Así que juntémoslo todo. En palabras de Redman: «La idea es aislar las variables independientes que le interesan. Un experimento controlado aleatorio es un experimento en el que usted controla para tener en cuenta los factores que conoce y, a continuación, los distribuye aleatoriamente para tener en cuenta los que no conoce».

¿Cuáles son los pasos básicos para realizar un experimento controlado aleatorio?

«No deje el diseño experimental en manos de los analistas de datos», afirma Redman. Es importante que el gerente conozca y comprenda el proceso para que pueda colaborar mejor, ya que usted aporte los conocimientos y la experiencia con el negocio y el analista aporte su experiencia en la recopilación y el análisis de datos.

Estos son los pasos básicos:

1. Decida cuál es su variable de interés dependiente (recuerde que puede haber más de una). En nuestro ejemplo de pozo petrolífero, es la velocidad o la eficiencia con la que perfora el pozo.
2. Determine cuál es la población de interés. ¿Le interesa saber si la nueva broca funciona en todos sus pozos o solo en tipos específicos de pozos?
3. Pregúntese: ¿Qué es lo que intentamos hacer con este experimento? ¿Cuál es la hipótesis nula, el hombre de paja que intenta refutar? ¿Cuál es la hipótesis alternativa? Su hipótesis nula en este caso podría ser: «No hay diferencia entre los dos bits». Su hipótesis alternativa podría ser: «La nueva broca es más rápida».
4. Piense en todos los factores que podrían estropear su experimento, por ejemplo, si las brocas están conectadas a diferentes tipos de máquinas o se utilizan en tipos de pozos determinados.
5. Escriba un protocolo de investigación, el proceso mediante el cual se lleva a cabo el experimento. ¿Cómo va a incorporar los controles? ¿Qué tamaño de muestra necesita? ¿Cómo va a seleccionar los pozos? ¿Cómo va a configurar la aleatorización?
6. Una vez que tenga un protocolo, Redman le sugiere que haga un experimento a pequeña escala para comprobar si el proceso que ha diseñado funciona. «La razón para hacer un estudio piloto es que lo más probable es que se caiga de bruces, y duele menos cuando se llama estudio piloto», bromea. Con un experimento como el de la broca, puede saltarse el piloto por el coste y el tiempo que implica perforar un pozo.
7. Revise el protocolo basándose en lo que aprendió en su estudio piloto.
8. Realice el experimento siguiendo el protocolo lo más estrictamente posible.
9. Analice los resultados, busque los resultados planificados y mantenga los ojos abiertos para ver los inesperados.

Después de analizar los resultados (y probablemente comprobar si son estadísticamente significativo) puso los resultados en práctica. Aquí es donde la goma sale a la carretera, por supuesto. Lo que encuentre en un experimento de laboratorio puede que no siempre sea válido en el campo. Como dice Redman: «No se gana dinero en un laboratorio. Usted gana dinero en el mundo real. Así que váyase del laboratorio rápidamente».

¿Qué errores comete la gente cuando hace experimentos controlados aleatorios?

Redman dice que uno de los mayores errores que cometen las empresas es simplemente no hacer suficientes experimentos, no solo experimentos controlados aleatorios, sino incluso otros más informales, que son menos costosos y requieren más tiempo. «Se espera que los gerentes sepan las respuestas. Para que un gerente diga: «No estoy seguro de saberlo, hagamos un experimento», requiere cierto grado de sofisticación y comprensión de cómo ejecutar estas cosas». Pero sin experimentos, no puede estar seguro de que sus presentimientos sean correctos.

Incluso los gerentes que están dispuestos a solicitar experimentos no suelen planificar el experimento con suficiente cuidado. Redman dice que es importante seguir todos los pasos descritos anteriormente, pero la mayoría de las veces, los gerentes dan los primeros pasos (calculan la variable de interés y quizás la población) y, luego, pasan a realizar el experimento. «No lo han pensado», dice Redman. «Hace que la gente vuelva a esas tontas clases de ciencias que no les gustaban», pero eso no hace que las medidas sean menos importantes.

Esto lleva a otro error: no ha establecido suficientes controles para aislar las variables que le interesan. Es fácil estropearlo. Hacer estos experimentos requiere saber mucho sobre el diseño experimental. ¿Cómo aísla exactamente los factores que intenta estudiar? Pero no hacerlo significa que puede atribuir los resultados a factores incorrectos.

El último error que señala Redman es fácil de resolver: no involucrar al analista. «Muchos directivos piensan que pueden arrojar datos a un científico de datos», afirma, pero «todos los analistas de datos que se precien querrán participar en la preparación del experimento y en la redacción del protocolo». Y eso es bueno para todo el mundo. Cuanto antes colabore en el proceso, es más probable que puedan aprovechar la experiencia del otro.