Uno de los elementos más desafiantes de la investigación en ciencias sociales es que los investigadores suelen confiar en los datos que provienen de los seres humanos, y los humanos son notoriamente poco fiables. Cuando los CDC publicaron un informe en el verano de 2020 en el que se afirmaba que el 4% de los encuestados declararon haber ingerido productos químicos domésticos en un intento de protegerse del coronavirus, muchas personas se alarmaron (comprensiblemente). Los investigadores que replicaron el estudio, añadiendo algunas medidas básicas de control de calidad para eliminar los datos inexactos, obtuvieron resultados muy diferentes. En este artículo, el autor explica cómo los encuestados desatentos o traviesos pueden sesgar los datos accidental o intencionalmente, así como lo que los investigadores, los periodistas y el público en general pueden hacer para identificar estos problemas y evitar sacar conclusiones precipitadas basándose en información engañosa.

•••

A principios del verano de 2020, los Centros para el Control y la Prevención de Enfermedades (CDC)emitió un informe sobre las prácticas inseguras de prevención del coronavirus en los EE. UU. Según el informe, el 4% de los 502 encuestados declararon haber bebido o hecho gárgaras con lejía diluida en el último mes, el 4% dijo lo mismo del agua con jabón y el 4% dijo lo mismo del desinfectante doméstico. Esto rápidamente inspiró una serie de titulares alarmantes. (Reuters, por ejemplo, tituló One Piece:»¿Hacer gárgaras con lejía? Los estadounidenses hacen un uso indebido de los desinfectantes para prevenir el coronavirus.”)

La respuesta de los medios de comunicación era comprensible. Si bien el 4% puede no parecer mucho, si esta muestra de estudio fuera representativa de la población estadounidense, implicaría que aproximadamente 12 millones de estadounidenses incurrieron en estos comportamientos peligrosos, una cifra realmente alarmante.

Pero puede que haya motivos para cuestionar esa conclusión. En primer lugar, el informe de los CDC señaló que una encuesta en la que participaran solo 500 participantes no era necesariamente representativa de la población estadounidense (aunque los CDC ponderaron las respuestas para adaptarlas a los datos demográficos nacionales de edad, género y raza, con el fin de abordar, al menos de alguna manera, cualquier disparidad). Y más allá de estas limitaciones de la muestra, unsegundo estudio (actualmente en proceso de revisión por pares), cuyo objetivo era replicar los hallazgos de los CDC con algunos controles de calidad adicionales, sugiere que los datos en sí mismos podrían tener algunos defectos graves.

En concreto, este nuevo estudio de una plataforma de investigación en líneaInvestigación en la nube intentó abordar dos problemas principales que pueden amenazar la calidad de los datos:falta de atención (es decir, los encuestados que son descuidados o no prestan atención) y picardía (es decir, los encuestados que mienten o engañan intencionalmente a los investigadores). Los psicólogos que estudian conductas relativamente raras, como el consumo de drogas duras, conocen estos desafíos desde hace tiempo. Por ejemplo, en un estudio sobre el consumo de drogas realizado en 1973, los investigadores encontraron que cuando incluyeron un medicamento falso en la lista de medicamentos por los que preguntaron a la gente, el 4% de los encuestados declaró haber consumido un medicamento que no existía, lo que sugiere que los datos probablemente no eran del todo fiables.

Puede que se haya fijado en la cifra recurrente del 4%. Resulta que puede que no sea una coincidencia. El destacado psiquiatra y bloguero Scott Siskind lo acuñó el»La constante de Lizardman» en 2013, en referencia a un Encuestas de política pública informa que el 4% de los encuestados dijeron que creían que los lagartos que cambiaban de forma controlaban el mundo. Esta encuesta atrajo mucha atención en los medios de comunicación, incluidos titulares como este:»La locura de la conspiración: por qué 12 millones de estadounidenses creen que los lagartos alienígenas nos gobiernan.» Pero Siskind y otros sostienen que ese 4% tiene muchas más probabilidades de reflejar la falta de atención y de los encuestados traviesos que de una verdadera creencia en una conspiración tan descabellada.

Al igual que con la encuesta sobre lagartos, el informe de los CDC generó mucha publicidad. Y al igual que en la encuesta sobre lagartos, estas respuestas podrían ser legítimas o simplemente ser datos incorrectos.

Para empezar a llegar al fondo del asunto, el segundo estudio buscó identificar si la falta de atención o la picardía podían explicar los sorprendentes hallazgos de los CDC. Tras hacer las mismas preguntas que en la encuesta de los CDC, los investigadores pidieron a los participantes que realizaran un breve ejercicio de asociación de palabras (es decir, marcar con un círculo la palabra no relacionada de la lista) para comprobar su atención. Estas preguntas se diseñaron para que cualquier persona con un nivel básico de lectura de inglés pudiera responderlas fácilmente, siempre y cuando prestara atención. Luego, para dirigirse a los encuestados traviesos, los investigadores hicieron preguntas de «verificación de la realidad», preguntas con una sola respuesta razonable, como «¿Ha muerto de un ataque al corazón?» o «¿Ha utilizado alguna vez Internet?» (La encuesta se distribuyó en línea.)

Por último, como medida de control de calidad adicional, a cualquiera que dijera «sí» a la ingestión de productos químicos domésticos se le hacían una serie de preguntas de seguimiento: tenía que confirmar que había seleccionado «sí» intencionalmente y, a continuación, proporcionar algunos detalles adicionales sobre el contexto en el que había ingerido los productos químicos.

Entonces, ¿qué encontraron los investigadores? Recopilaron datos de un total de 688 participantes. De ellos, 55 (el 8%) declararon que habían ingerido al menos uno de los tres productos de limpieza del hogar (desinfectante, jabón o lejía), un resultado similar al publicado por los CDC. Pero de esas 55, solo 12 superaron las preguntas básicas de control de calidad. En otras palabras, casi el 80% (43 de 55) de los encuestados que afirmaron haber ingerido una sustancia química tóxica no identificaron con precisión palabras simples relacionadas o dieron respuestas completamente inverosímiles a las preguntas de verificación de la realidad.

Eso dejó a 12 bebedores aparentes de productos químicos que aprobaron las preguntas de control de calidad. ¿De verdad bebían lejía? Si es así, solo representaría el 1,7% de la muestra, pero seguiría representando a millones de estadounidenses.

Cuando se les pidió que confirmaran si habían ingerido productos químicos domésticos, 11 de los 12 dijeron que habían seleccionado la opción «sí» por error. Y el único participante restante, que comprobó que había seleccionado «sí» intencionalmente, respondió a la pregunta pidiendo más detalles con «Yxgyvuguhih». También informaron que tenían 20 años, tenían 4 hijos, pesaban 1900 libras y tenían una estatura de «100». (No proporcionaron unidades, pero ni las pulgadas ni los centímetros son muy plausibles). No hace falta decir que estas respuestas ponen en duda la validez de los datos del último participante.

Entonces, ¿cuántos estadounidenses ingirieron lejía para protegerse del coronavirus? La verdad es que no lo sabemos. Necesitaríamos más investigación para responder a esa pregunta de forma fiable, pero el hecho de que el porcentaje haya bajado del 4 al 0% tras tener en cuenta los problemas básicos de calidad de los datos sugiere que lo más probable es que la cifra real sea mucho más baja de lo que sugieren los titulares.

Para que quede claro, la conclusión aquí no es que todos los datos de las encuestas sean basura. Pero especialmente cuando esos datos se utilizan para respaldar afirmaciones con graves repercusiones sociales, es esencial validar los resultados con intervenciones básicas de control de calidad, como las comprobaciones de atención y realidad descritas anteriormente. En el caso del estudio de los CDC, el hecho de no hacerlo (junto con algunos reportajes quizás demasiado entusiastas) llevó a los investigadores, a los medios de comunicación y al público a creer que hasta 12 millones de estadounidenses bebían lejía. Es probable que esta afirmación no solo fuera falsa, sino también potencialmente perjudicial, ya que podría haber servido paranormalizar estos comportamientos peligrosos y, por lo tanto, aumentar el número de personas que podrían participar en ellos.

Al igual que los químicos y los físicos deben asegurarse de que sus herramientas de medición están bien calibradas, los científicos sociales también deben garantizar la calidad de sus datos para evitar llegar a conclusiones engañosas. Si bien no hay soluciones infalibles, un poco de control de calidad rudimentario puede contribuir en gran medida a validar la precisión y la fiabilidad de los datos declarados por los propios usuarios. Al mismo tiempo, parte de la responsabilidad recae también en los periodistas, de comprobar los datos e informar con precisión sobre los estudios, y de evitar el sensacionalismo. Y, por supuesto, como con cualquier contenido, el último guardián es usted, el lector. La próxima vez que se encuentre con algo que suene demasiado escandaloso para ser verdad, sepa que su instinto puede ser correcto. En última instancia, nos toca a todos pensar críticamente, investigar y determinar por nosotros mismos si se puede confiar en una fuente.