Los algoritmos han recibido muchas críticas recientemente por tomar decisiones sesgadas. ¿Debería indignarnos el sesgo que se refleja en la producción algorítmica? Sí. Pero la forma en que las organizaciones responden a sus algoritmos determina si avanzan a la hora de sesgar sus decisiones o si perpetúan aún más su toma de decisiones sesgada. Las organizaciones deberían utilizar algoritmos para las lupas que son: los algoritmos pueden agregar puntos de datos individuales con el fin de descubrir patrones que las personas tienen dificultades para detectar. Cuando los algoritmos revelen sesgos, las empresas deberían aprovechar este «fracaso» como una oportunidad para aprender cuándo y cómo se produce el sesgo. De esta manera, están mejor preparados para depurar sus prácticas actuales y mejorar su toma de decisiones generales.

•••

Los algoritmos han recibido muchas críticas recientemente por tomar decisiones sesgadas. La gente está indignada por unalgoritmo de contratación Amazon desarrolló que pasó por alto a las mujeres solicitantes de empleo. Del mismo modo, están indignados porpolicía predictiva ysentencia predictiva que penalizan desproporcionadamente a las personas de color. Es importante destacar que la raza y el género no se incluyeron como entradas en ninguno de estos algoritmos.

¿Debería indignarnos el sesgo que se refleja en la producción algorítmica? Sí. Pero la forma en que las organizaciones responden a sus algoritmos determina si avanzan a la hora de sesgar sus decisiones o si perpetúan aún más su toma de decisiones sesgada.

Hasta ahora, la respuesta típica es que los medios de comunicación usen el algoritmo como chivo expiatorio mientras la empresa vuelve a la toma de decisiones humana. Pero este es el enfoque incorrecto para identificar y abordar los sesgos. Más bien, las organizaciones deberían utilizar algoritmos estadísticos para las lupas que son: los algoritmos pueden agregar puntos de datos individuales con el propósito de descubrir patrones que las personas tienen dificultades para detectar. Cuando los algoritmos revelen sesgos, las empresas deberían aprovechar este «fracaso» como una oportunidad para aprender cuándo y cómo se produce el sesgo. De esta manera, están mejor preparados para depurar sus prácticas actuales y mejorar su toma de decisiones en general.

El problema de los algoritmos de culpar

Llamar sesgados a los algoritmos los antropomorfiza. Pensemos, por ejemplo, en titulares como:«Por qué no sorprende en absoluto que la IA de contratación de Amazon tuviera prejuicios contra las mujeres», «Amazon descarta una herramienta secreta de contratación de IA que mostraba prejuicios contra las mujeres», y«El algoritmo de contratación sexista de Amazon podría seguir siendo mejor que el de un humano». Incluso los investigadores dan agencia a los algoritmos al cuestionar,«¿Por qué discrimina la inteligencia artificial?» y etiquetar la salida como«Sesgo automático» y«Sesgo algorítmico». Esta simple elección de redacción puede parecer poco llamativa, pero los algoritmos antropomorfizantes echan la culpa a la herramienta y, en última instancia, eximen a los verdaderos responsables de la toma de decisiones de su responsabilidad. (En el aprendizaje automático, «sesgo» tiene un significado diferente; el problema está en la aplicación más coloquial del término).

Los que realmente toman las decisiones son las personas que toman las decisiones de contratación. Dirigiendo mal nuestra indignación significa que estos responsables de la toma de decisiones y sus directivos no rinden cuentas por la resolución de los problemas descubiertos por el procesamiento algorítmico. Los datos de entrada de los algoritmos de Amazon consistían en datos históricos: decisiones de contratación anteriores tomadas por personas; aquí es donde se originó el sesgo y donde las organizaciones deberían centrar sus esfuerzos en los debios. Culpar a un algoritmo de producir resultados sesgados es tan contraproducente como culpar a un espejo por reflejar un moretón en la frente. Destruir el espejo no cura el hematoma, pero podría prolongar el tiempo que se tarda en solucionar el problema y detectar otros en el futuro.

Volver al juicio humano no resuelve el problema

Cuando las empresas desechan estos algoritmos en respuesta a una reacción violenta, vuelven a sus procesos de toma de decisiones originales y defectuosos. Para la mayoría de las decisiones, las organizaciones se han basado históricamente en el juicio humano. Años de investigación muestran que el juicio humano suele serprevisiblemente sesgado.

No solo las personas sonincoherente (lo que los investigadores consideran «baja fiabilidad»), pero también nos distrae la información irrelevante (la de «baja validez predictiva»). Tomemos como ejemplo la contratación y los ascensos: incluso después de controlar el sexo y la edad, los investigadores descubrieron que las personas más altas ganan más dinero. Una pulgada de altura vale 789 dólares adicionales por año de salario. Es poco probable que los directivos pretendan contratar o ascender en función de la altura, pero esta información parece influir en sus juicios. Además, nos cansamos a medida que procesamos más información, aumentar la probabilidad que cometemos estos errores.

Por si fuera poco, el proceso del pensamiento humano también es frustrantemente opaco. Pida a un gerente que describa cómo recluta a los empleados con alto rendimiento y tal vez le explique que buscan «jugadores de equipo». Pero, ¿qué significa eso exactamente? Puede que digan que buscan a alguien que trabaje bien con los demás. Pero, ¿qué información buscan en un currículum o durante una entrevista para indicarlo? Es posible que las personas se basen en criterios subjetivos para tomar decisiones y ni siquiera se den cuenta hasta que tratan de explicar su proceso de pensamiento. Esto dificulta la creación de un proceso de decisión transparente, lo que hace que la coherencia sea casi imposible. Por eso es peligroso dejar los algoritmos en favor del juicio humano. En última instancia, entierra nuestros sesgos más profundamente y hace que sean más difíciles de detectar.

El caso de los algoritmos

La gente se cansa y se distrae. Los algoritmos no. Por definición, las ecuaciones matemáticas siguen las reglas creadas para ellas. Siguen siendo consistentes. Esta es la razón por la que incluso el algoritmo más simple, la regresión, esa menudo más preciso que los expertos.

Mientras que a las personas les suele resultar difícil explicar sus procesos de pensamiento, la mayoría de los algoritmos son transparentes, al menos para su creador. Para las regresiones lineales simples, una persona tiene que especificar el peso o la importancia que recibe cada variable de entrada en la ecuación. La ecuación requiere variables de entrada y salida que sean lo suficientemente objetivas como para cuantificarlas. Por lo tanto, los números introducen transparencia en el proceso de decisión. (Ciertas formas de aprendizaje automático son excepciones. Aunque una persona decide qué conjunto de datos utilizar, las reglas de decisión utilizadas por el algoritmo entrenado no se explican fácilmente.)

Por supuesto, existe una preocupación legítima por a ciegas siguiendo todos los resultados algorítmicos, independientemente de las circunstancias específicas, ya que los algoritmos puedensesgo compuesto que está presente en los datos de entrada. Un algoritmo ampliará cualquier patrón de los datos de entrada, por lo que si hay un sesgo, el algoritmo también lo ampliará.

No es sorprendente que esta preocupación sea particularmente relevante cuando las organizaciones prestan poca atención a las variables de datos que se utilizan como entrada. Y lo que es aún más preocupante es cuando las organizaciones no someten el algoritmo a iteraciones de pruebas. El juicio humano es necesario para evaluar la precisión de la salida algorítmica y los algoritmos necesitan comentarios para mejorar. La voluntad de una organización de invertir en algoritmos sin incluir la retroalimentación como parte del proceso ha llevado a pedirauditoría algorítmica.

De hecho, Amazon comprobó el resultado de sus algoritmos. Y, por suerte, compartieron su «fracaso». Ese resultado nos contó algo sorprendentemente específico sobre cómo los prejuicios se infiltraron en los procesos de contratación de la empresa. Amazon utilizó 500 modelos para identificar qué señales predecían el éxito, definidas como si se había contratado a alguien en la empresa. Al descubrir la existencia de un sesgo, la empresa también descubrió pistas sobre su origen. Ciertas palabras de los currículums de las personas estaban asociadas con la contratación, verbos que expresaban confianza y describían la forma en que se llevaban a cabo las tareas,incluyendo «ejecutado» y «capturado». La mayoría de los solicitantes que usaron esas palabras resultaron ser hombres; estadísticamente, esas señales estaban correlacionadas con el género.

Esta conclusión permitió a Amazon identificar el sesgo en sus decisiones de contratación anteriores. Es probable que los directores de contratación no supieran que este idioma en particular los influía. O quizás percibieron ese lenguaje como una señal de la confianza de alguien. Puede que se hayan basado más en eso que en otros datos del currículum, pensando que la confianzaes un indicador de competencia más útil de lo que realmente es.

Descubrir este tipo de asociación permite a la empresa mejorar sus prácticas de contratación actuales. Por ejemplo, Amazon puede redactar estas palabras irrelevantes en los currículums antes de revisarlos si sabe que están asociadas con el género y, por lo demás, no son informativas. Además, los programadores pueden explicar estadísticamente esta redacción para que un algoritmo no la utilice como señal predictiva.

Uso de algoritmos como lupas

Las organizaciones pueden utilizar algoritmos para amplificar a propósito los posibles sesgos con el fin de identificarlos y abordarlos. La detección es el primer paso para solucionar el problema. Cuando los algoritmos revelan sesgos, las empresas aprenden sobre sus procesos de decisiones anteriores, qué es lo que impulsa los sesgos y qué información irrelevante nos distrae de la información útil. Las empresas pueden aplicar esta estrategia de lupa a cualquier proceso de decisión importante que implique predicciones, desde la contratación hasta los ascensos.

Aprovechar los algoritmos como lupas puede ahorrar tiempo a las organizaciones. Por ejemplo, si un departamento contrata a dos personas cada año, puede que tarde en darse cuenta de que el departamento de los diez siempre solo incluye a una mujer. Pero cuando un algoritmo agrega decisiones poco frecuentes, encuentra patrones que no habríamos visto durante años. Hacer que los prejuicios sean evidentes da a las organizaciones la oportunidad de abordar el problema. La alternativa es que las organizaciones sigan funcionando como de costumbre, dejando que los prejuicios se filtren en prácticamente todas las contrataciones o ascensos.

Una vez detectados los sesgos, las organizaciones pueden corregir las decisiones sesgadas de tres maneras principales. La primera puede que sea la más difícil. Implica crear mejores datos de entrada para el algoritmo, lo que comienza con cambiar las prácticas de contratación actuales. En segundo lugar, podemos seguir utilizando los mismos datos históricos, pero crear nuevas reglas para el algoritmo, como incluir una variable que especifique la diversidad. En tercer lugar, podemos examinar cómo las variables de entrada existentes pueden introducir sesgos o considerar variables de entrada nuevas y más apropiadas. Para ver una lista de control detallada sobre cómo aprovechar sus algoritmos como lupas, consulte el «leer más» anterior.

Pregunte «¿Cuál es la alternativa?»

Ningún algoritmo es perfecto. Pero tampoco lo son los humanos. Si lo estuviéramos, conoceríamos el futuro. Cuando se enfrenta a una salida algorítmica que no es perfecta, la gente puede querer tirarla a la basura por reflejo.

Durante las discusiones de mi clase»,La psicología del Big Data», los estudiantes leen sobre un algoritmo creado para predecir qué estudiantes tienen más probabilidades de abandonar la universidad. El algoritmo tenía una precisión alrededor del 85% de las veces. La discusión se centró en si se debe confiar en resultados que no sean perfectos. Los animé a que consideraran la alternativa a la hora de pensar en cuánto deberían confiar en el algoritmo. ¿Qué tan bien predeciría una persona el mismo resultado? ¿Serían capaces de alcanzar un 60% de precisión? En comparación con un punto de referencia del 60% de precisión, el 85% comienza a tener un aspecto mucho mejor.

Cuando se compara directamente la precisión algorítmica y humana, elprecisión predictiva de los algoritmos siempre deja fuera del agua incluso la opinión de los expertos. Por eso tenemos que considerar la alternativa a los juicios algorítmicos. De hecho, en mi investigación con mis colegas Julia Minson de la Universidad de Harvard y Don Moore de la Universidad de California en Berkeley, descubrimos quelos expertos que ignoran el consejo del algoritmo hacen predicciones menos precisas en comparación con los laicos que están dispuestos a seguir el consejo.

Al final, los algoritmos son herramientas. Las personas los crean, determinan si su resultado es preciso y decide cuándo y cómo actuar en función de ese resultado. Los datos pueden proporcionar información, pero las personas son responsables de las decisiones que se toman en función de ellos.