Un repaso de experimentos controlados aleatorizados

Cómo diseñar el tipo correcto de prueba.

¿No tienes tiempo de leer?

Nuestros Audioresúmenes, te mantienen al día con los mejores artículos y libros de negocios; aún y cuando no tienes tiempo para leer.


Un repaso de experimentos controlados aleatorizados

Para tomar decisiones inteligentes en el trabajo, necesitamos datos. De dónde provienen esos datos y cómo los analizamos depende de muchos factores, por ejemplo, lo que estamos tratando de hacer con los resultados, qué tan precisos necesitamos que sean los hallazgos y cuánto presupuesto tenemos. Hay un espectro de experimentos que los gerentes pueden hacer, desde rápidos e informales, hasta estudios piloto, experimentos de campo e investigación de laboratorio. Uno de los experimentos más estructurados es el experimento controlado aleatorizado.

Para entender mejor lo que es un experimento controlado aleatorizado y cómo los negocios los usan, hablé con Tom Redman, autor de Impulsado por los datos: beneficios de su activo empresarial más importante. También asesora a las organizaciones en sus programas de calidad de datos y datos.

¿Qué es un experimento controlado aleatorizado?

Cuando las personas escuchan el término, suelen pensar en ensayos clínicos, donde un grupo recibe un tratamiento y otro un placebo, pero las compañías farmacéuticas y los científicos médicos no son los únicos que utilizan este tipo de experimentos. Todo tipo de empresas pueden llevar a cabo estos experimentos, y necesariamente no necesitan ser costosos ni llevar mucho tiempo; solo necesitan ser «controlados» e incluir un elemento de «aleatorización».

Comencemos con la palabra experimento. «Un experimento es una actividad planificada cuyo propósito es aprender algo sobre el mundo», explica Redman. Él da el ejemplo de los niños de dos años, que están constantemente ejecutando experimentos: «Ellos piensan, ‘Si grito, mamá vendrá corriendo. ‘ Están recopilando datos sobre el mundo, y aunque no está controlado, lo están haciendo intencionalmente».

Aquí hay un ejemplo más relacionado con el negocio. Digamos que usted está en el negocio de la perforación de pozos petrolíferos, y tiene una nueva broca que es operada por un programa de inteligencia artificial que ajusta la presión y la velocidad con la que está girando la broca. Desea saber cómo se compara esta broca nueva y más cara con la broca que está utilizando actualmente, por lo que realiza un experimento comparando su broca existente con la nueva. Usted selecciona 30 pozos y perfora 15 de ellos con la broca vieja y 15 con la nueva. Ese es su experimento, y su variable de interés podría ser la eficiencia con la que perforó el pozo.

Tenga en cuenta que el número de pozos aquí es bastante pequeño en comparación con un experimento, por ejemplo, donde está mostrando a 1.000 clientes potenciales una nueva campaña de marketing. Cuanto mayor sea el tamaño de la muestra, más probable es que tenga resultados que sean estadísticamente significativo. Pero también hay que ser realista sobre el costo de su experimento, y dado que cuesta millones de dólares perforar un pozo de petróleo, es probable que ejecute este experimento en un número menor de pozos.

En un experimento, la variable de interés se llama variable dependiente(tenga en cuenta que puede tener múltiples variables dependientes, pero en aras de la simplicidad aquí, me referiré a una variable dependiente). Pero también hay un montón de variables independientes — factores que sospecha tienen un impacto en su variable dependiente. «Por lo general, en un experimento, estás tratando de aprender algo sobre una, o a lo sumo algunas, variables independientes, pero muchos otros factores pueden interponerse en el camino», dice Redman. Desea saber qué taladro es mejor, pero otros factores, como el tamaño del pozo, su profundidad y lo que está excavando, también afectarán la eficiencia con la que perfora el pozo y complicarán la evaluación del nuevo taladro. Del mismo modo, en un ensayo clínico, hay muchos otros factores, como la edad de los pacientes, la salud general, los regímenes de ejercicio y la presión arterial, que pueden dificultar ver si los resultados del experimento realmente pueden atribuirse a la droga en lugar de algún otro factor.

Aquí es donde entra la palabra «controlado». Este término puede ser confuso porque los estadísticos lo usan para describir más de un concepto. Mientras Redman bromea: «¡Deja que los estadísticos ofusquen un concepto perfectamente simple!» El primer significado es «aislar el impacto de una (o algunas) variables», explica Redman. «Controlado», en este sentido, significa poner restricciones en su lugar para que ciertas variables no impacten el resultado de su experimento. Por lo tanto, en un ensayo clínico de medicamentos, usted podría estar preocupado de que la dieta de los participantes afectará si el medicamento es efectivo. Usted «controla» esto poniendo a todos los pacientes en la misma dieta durante la duración del experimento. Del mismo modo, en el experimento de perforación, es posible que desee asegurarse de tener en cuenta la «dureza esperada de la roca», por lo que puede crear 15 pares de pozos en función de lo difícil que espere que sean perforar. Eso controlaría la dureza esperada. También puede asegurarse de utilizar equipos de perforación y equipos de perforación para controlar el impacto que esos factores pueden tener en el experimento.

Muchos experimentos controlados aleatorizados se realizan en un laboratorio porque «es más fácil controlar las cosas en un entorno de laboratorio», dice Redman. Pero por lo que Redman sabe, no hay «laboratorio de perforación de pozos», así que haces lo mejor que puedes. Por ejemplo, probablemente pueda controlar mejor la dureza de la roca estableciendo dos plataformas de 50 pies de distancia en la misma ubicación y cavando pozos secos. Eso le dará un resultado más confiable en términos de cómo funcionan las brocas nuevas y antiguas en circunstancias similares, pero también le costará mucho dinero hacerlo, y no ganará dinero en el proceso. Así que tienes que decidir cuánto control vale el costo.

El segundo significado de «control» se refiere a los grupos que está estudiando: un grupo de control y un grupo de tratamiento. Aquí control significa la forma actual de hacer las cosas (por ejemplo, el bit anterior) y el tratamiento significa la nueva forma de hacer las cosas (por ejemplo, el nuevo bit). Esto es importante porque para juzgar los resultados de su experimento, usted tiene que preguntar «comparado con qué?» No se acaba de empezar a perforar con la nueva broca y decidir «es mejor». Tienes que compararlo con un grupo de control, en este caso, los 15 pozos que estás cavando con el viejo bit, que es tu línea de base.

Del mismo modo, al probar un nuevo medicamento, debe tener en cuenta el «efecto placebo», en el que las personas mejoran simplemente porque piensan que están recibiendo tratamiento, por lo que usted trata a su grupo de control exactamente igual que el grupo de tratamiento, y busca una mejoría en el grupo de tratamiento en relación con el grupo de control.

Pero, ¿qué pozos o personas entran en el grupo de control y cuáles van al grupo experimental? ¿Y quién entra en el experimento en primer lugar? Ahí es donde aleatorización entra. Para negar los efectos de variables que usted desconoce (digamos que los patrones de sueño del paciente en un ensayo clínico), usted asigna aleatoriamente sujetos al grupo control o al grupo de tratamiento. Con tus pares de pozos arriba, elegirías aleatoriamente, tal vez incluso lanzando una moneda, lo que consigue el nuevo taladro en cada par. Esto es lo que Redman llama «sacar el sesgo oculto del experimento». Después de todo, si todos los pacientes sanos reciben el tratamiento y luego mejoran, usted no ha demostrado nada. O si accidentalmente perforas 15 de los pozos más fáciles de excavar con la nueva broca, realmente no sabes si es mejor.

La aleatorización (junto con un tamaño de muestra más grande) te hace sentir más seguro de que cualquier resultado que obtienes es realmente causado por la variable independiente de interés — en el caso farmacéutico, el efecto del fármaco — y por lo tanto es «generalizable más allá del experimento», según Redman.

Si esta clasificación de participantes suena como Pruebas A/B, eso es porque son similares. A/B puede ser un experimento controlado aleatorizado, suponiendo que haya controlado factores y sujetos aleatorizados, pero no todos los experimentos controlados aleatorizados son pruebas A/B.

Así que vamos a juntarlo todo. En palabras de Redman: «Toda la idea es aislar las variables independientes que te interesan. Un experimento controlado aleatorizado es un experimento en el que se controla para tener en cuenta los factores que conoce y luego se aleatoriza para dar cuenta de aquellos a los que no lo hace».

¿Cuáles son los pasos básicos para llevar a cabo un experimento controlado aleatorizado?

«No dejes que el diseño experimental depende de los analistas de datos», dice Redman. Es importante que un gerente conozca y comprenda el proceso para que pueda colaborar mejor, con usted aportando el conocimiento y la experiencia con el negocio y el analista aportando la experiencia en la recopilación y análisis de datos.

Estos son los pasos básicos:

  1. Decida cuál es su variable de interés dependiente (recuerde que puede haber más de una). En nuestro ejemplo de pozo de aceite, es la velocidad o eficiencia con la que perfora el pozo.
  2. Determine cuál es la población de interés. ¿Está interesado en entender si el nuevo bit funciona en todos sus pozos o solo tipos específicos de uno?
  3. Pregúntate, ¿qué es lo que estamos tratando de hacer con este experimento? ¿Cuál es la hipótesis nula… el hombre de paja que estás tratando de refutar? ¿Cuál es la hipótesis alternativa? Su hipótesis nula en este caso podría ser, «No hay diferencia entre los dos bits». Su hipótesis alternativa podría ser: «La nueva broca es más rápida».
  4. Piense en todos los factores que podrían estropear su experimento, por ejemplo, si las brocas están unidas a diferentes tipos de máquinas o se utilizan en tipos particulares de pozos.
  5. Escribir un protocolo de investigación, el proceso por el cual se lleva a cabo el experimento. ¿Cómo vas a construir los controles? ¿Qué tamaño de muestra necesitas? ¿Cómo vas a seleccionar los pozos? ¿Cómo vas a configurar la aleatorización?
  6. Una vez que tenga un protocolo, Redman sugiere que haga un experimento a pequeña escala para probar si el proceso que ha establecido funcionará. «La razón para hacer un estudio piloto es que lo más probable es que caigas en tu a**, y duele menos cuando se llama estudio piloto», bromea. Con un experimento como la broca uno, puede omitir el piloto debido al costo y el tiempo que implica perforar un pozo.
  7. Revise el protocolo en función de lo que aprendió en su estudio piloto.
  8. Realice el experimento, siguiendo el protocolo lo más cerca posible.
  9. Analice los resultados, buscando resultados planificados y manteniendo los ojos abiertos para los inesperados.

Después de haber analizado los resultados (y probablemente probado si son estadísticamente significativo) pones los resultados en práctica. Aquí es donde el caucho golpea la carretera, por supuesto. Lo que encuentre en un experimento de laboratorio puede no siempre sostenerse en el campo. Como dice Redman, «No se gana dinero en un laboratorio. Ganas dinero en el mundo real. Así que salga del laboratorio rápidamente».

¿Qué errores cometen las personas al hacer experimentos controlados aleatorizados?

Redman dice que uno de los errores más grandes que cometen las empresas es simplemente no hacer suficientes experimentos, no solo experimentos controlados aleatorizados, sino incluso más informales que son menos costosos y requieren mucho tiempo. «Se espera que los gerentes conozcan las respuestas. Para que un gerente diga: ‘No estoy seguro de saber, hagamos un experimento’, requiere cierta sofisticación y comprensión de cómo manejar estas cosas». Pero sin experimentos, no puedes estar seguro de que tus corazonadas estén bien.

Incluso los gerentes que están dispuestos a pedir experimentos a menudo no planean el experimento con suficiente cuidado. Redman dice que es importante hacer todos los pasos descritos anteriormente, pero la mayoría de las veces, los gerentes hacen los pocos pasos iniciales — averiguar la variable de interés y tal vez la población — y luego pasar adelante a realizar el experimento. «No han hecho el pensamiento», dice Redman. «Lleva a la gente de vuelta a esas clases de ciencias que no les gustaban», pero eso no hace que los pasos sean menos críticos.

Esto lleva a otro error: no ha puesto suficientes controles en su lugar para aislar las variables que le interesan. Es fácil de estropear. Hacer estos experimentos requiere saber mucho sobre el diseño experimental. ¿Cómo aislar exactamente los factores que intentas estudiar? Pero no hacer esto significa que podría atribuir los resultados a factores incorrectos.

El último error que señala Redman es fácil de resolver: no involucrar al analista. «Muchos gerentes creen que pueden arrojar datos a un científico de datos», dice, pero «todo analista de datos que se precie querrá participar en la configuración del experimento y escribir el protocolo». Y eso es bueno para todos. Cuanto antes colaboren en el proceso, más probabilidades podrán beneficiarse de la experiencia de los demás.


Escrito por
Amy Gallo



Scroll al inicio