por Stephanie Kelley,
Resumen:
Un estudio reciente sugiere que negar a los responsables de la IA el acceso a datos confidenciales en realidad aumenta el riesgo de resultados discriminatorios. Esto se debe a que la IA extrae inferencias incompletas de los datos o los sustituye parcialmente identificando proxies. Proporcionar datos confidenciales eliminaría este problema, pero es problemático hacerlo en determinadas jurisdicciones. Los autores presentan soluciones alternativas que pueden resolver el problema en algunos países.
___
Las decisiones sobre a quién entrevistar para un trabajo, a quién brindar atención médica o a quién conceder un préstamo alguna vez las tomaban los seres humanos, pero cada vez con más frecuencia las toman mediante algoritmos de aprendizaje automático (ML), y ocho de cada 10 empresas planean invertir en algún tipo de aprendizaje automático en 2023 según New Vantage. ¿El objetivo número uno de estas inversiones? Impulsar el crecimiento empresarial con los datos.
Si bien los datos pueden adoptar muchas formas, cuando se centran en generar crecimiento empresarial, una empresa suele interesarse por los datos individuales, que pueden pertenecer a clientes, empleados, clientes potenciales o casi cualquier persona sobre la que la organización pueda recopilar datos legalmente. Los datos se introducen en algoritmos de aprendizaje automático que encuentran patrones en los datos o generan predicciones. Estos resultados se utilizan luego para tomar decisiones empresariales, por lo general sobre en quién o en qué centrar los esfuerzos empresariales.
Si bien la inversión en algoritmos de aprendizaje automático sigue creciendo e impulsando una mayor eficiencia empresarial: un 30% o más, según un informe reciente de McKinsey — El uso de modelos de aprendizaje automático y datos individuales conlleva algunos riesgos, éticos para ser específicos. El Foro Económico Mundial cita el desempleo, la desigualdad, la dependencia humana y la seguridad entre sus principales riesgos de utilizar la inteligencia artificial y el aprendizaje automático, pero con diferencia el mayor riesgo ético en la práctica es la discriminación.
El mayor riesgo
Sin duda, siempre ha existido una discriminación injustificada por parte de las empresas. La discriminación de los grupos históricamente desfavorecidos ha llevado a la formulación de varias leyes contra la discriminación, como la Ley de Vivienda Justa de 1968 y la Ley de Igualdad de Oportunidades Crediticias de 1974 en los Estados Unidos, y la Directiva de Género de la Unión Europea. El espacio crediticio, en particular, ha sido motivo de trato discriminatorio, hasta el punto de que discriminación en los préstamos hipotecarios ha sido considerado uno de los temas de derechos civiles más controvertidos.
Históricamente, con la esperanza de evitar decisiones discriminatorias, se han excluido los datos confidenciales, como la raza, el género y la edad de las personas, de las decisiones individuales importantes, como el acceso a los préstamos, la admisión a la universidad y la contratación. Ya sea que se hayan excluido los datos confidenciales de conformidad con las leyes antidiscriminación (como la exclusión de los datos sobre raza y género de las solicitudes de préstamos no hipotecarios de los consumidores en los Estados Unidos debido a la Ley de Igualdad de Oportunidades Crediticias) o las prácticas de gestión de riesgos de una empresa, el resultado final es el mismo: las empresas rara vez tienen acceso a datos confidenciales o los utilizan para tomar decisiones que afecten a las personas, ya sea que utilicen el aprendizaje automático o los responsables de la toma de decisiones humanos.
A primera vista, esto tiene sentido; excluya los datos confidenciales individuales y no podrá discriminar a esos grupos. Tenga en cuenta cómo funciona esto a la hora de determinar a quién entrevistar para un trabajo, primero con la toma de decisiones basada en personas. Un experto en recursos humanos eliminaría los nombres y los géneros de los candidatos de los currículums antes de analizar las credenciales de los candidatos para tratar de evitar la discriminación a la hora de determinar a quién entrevistar. Ahora, considere esta misma práctica de exclusión de datos cuando la decisión se toma con un algoritmo de aprendizaje automático; los nombres y los géneros se eliminarán de los datos de entrenamiento antes de introducirlos en el algoritmo de aprendizaje automático, que luego utilizaría estos datos para predecir alguna variable objetivo, como el rendimiento laboral esperado, a fin de decidir a quién entrevistar.
Pero si bien esta práctica de exclusión de datos ha reducido la discriminación en la toma de decisiones basada en humanos, puede crear discriminación cuando se aplica a la toma de decisiones basada en la ML, especialmente cuando existe un desequilibrio significativo entre los grupos de población. Si la población que se está considerando en un proceso empresarial determinado ya está sesgada (como ocurre con las solicitudes y aprobaciones de crédito), ML no podrá resolver el problema simplemente sustituyendo al responsable humano de la toma de decisiones. Esto se hizo evidente en 2019, cuando la Apple Card fue acusada de discriminación de género a pesar de no haber utilizado datos de género en el desarrollo de sus algoritmos de aprendizaje automático. Paradójicamente, esa resultó ser la razón de el trato desigual de los clientes.
El fenómeno no se limita al espacio crediticio. Considere un proceso de toma de decisiones de contratación en Amazon cuyo objetivo era utilizar un algoritmo de aprendizaje automático. Un equipo de científicos de datos entrenó un algoritmo de aprendizaje automático en los datos del currículum para predecir el desempeño laboral de los candidatos con la esperanza de agilizar el proceso de selección de las personas a las que entrevistar. El algoritmo se basó en los currículums de los empleados actuales (datos individuales) y se eliminaron el género y los nombres, con la esperanza de evitar la discriminación, según las prácticas de toma de decisiones humanas. El resultado fue exactamente lo contrario: el algoritmo discriminaba a las mujeres al predecir que tenían un desempeño laboral significativamente inferior al de los hombres con capacidades similares. Amazon, afortunadamente, descubrió esta discriminación antes de que el modelo se utilizara con los solicitantes reales, pero solo porque tenían acceso al género del solicitante, a pesar de no usarlo para entrenar el algoritmo de aprendizaje automático, con el que medir la discriminación.
Argumentos a favor de incluir datos confidenciales
En un estudio reciente publicado en Gestión de operaciones de fabricación y servicios pensamos en un prestamista de tecnología financiera que utiliza un algoritmo de aprendizaje automático para decidir a quién conceder un préstamo. El prestamista utiliza los datos individuales de prestatarios anteriores para entrenar un algoritmo de aprendizaje automático que genere predicciones sobre si un solicitante de préstamo incumplirá o no, si se le concede un préstamo. Según la jurisdicción legal y las prácticas de gestión de riesgos del prestamista, es posible que el prestamista haya recopilado o no datos de atributos confidenciales, como el género o la raza, o que pueda utilizar esos datos para entrenar el algoritmo ML. (Aunque nuestra investigación se centra en el género, esto no debería disminuir la importancia de investigar otros tipos de discriminación algorítmica. En nuestro estudio, el género se indicó como mujer u hombre; reconocemos que el género no es binario, sino que nuestro conjunto de datos lo restringió).
La práctica habitual, como hemos señalado anteriormente, ya sea por motivos legales o de gestión de riesgos, es que el prestamista no utilice datos confidenciales, como el género. Pero, en cambio, nos preguntamos qué pasaría si se incluyera el género. Si bien esta idea puede sorprender a algunos, es una práctica común en muchos países recopilar información de género (por ejemplo, Canadá y los países de la Unión Europea) e incluso utilizarla en algoritmos de aprendizaje automático (por ejemplo, Singapur).
Incluir el género reduce significativamente la discriminación, 2,8 veces. Sin acceso al género, el algoritmo de aprendizaje automático sobrepredice que las mujeres dejarán de pagar en comparación con su tasa real de impagos, mientras que la tasa de los hombres es precisa. Añadir el género al algoritmo de aprendizaje automático corrige esto y la brecha en la precisión de la predicción para hombres y mujeres que vienen por defecto disminuye. Además, el uso del género en el algoritmo de aprendizaje automático también aumenta la rentabilidad de media un 8%.
La propiedad clave de los datos de género en este caso es que proporcionan poder predictivo al algoritmo de aprendizaje automático.
Dado esto, cuando se excluye el género, pueden suceder tres cosas: 1) se pierde una cantidad de información predictiva directamente relacionada con el género, 2) la discriminación de género injusta que se puede introducir en el proceso no se puede controlar ni corregir de manera eficiente y 3) una parte de esa información se estima mediante proxies, variables que están altamente correlacionadas con otra, de modo que cuando se elimina una variable, como el género, se puede triangular variable.
Descubrimos que los proxies (como la profesión o la relación entre la experiencia laboral y la edad) pueden predecir el género con un 91% de precisión en nuestros datos, por lo que, aunque se elimina el género, el algoritmo estima gran parte de la información de género a través de proxies. Pero estos poderes favorecen a los hombres. Sin acceso a los datos de género reales, el algoritmo ML no puede recuperar tanta información para las mujeres que para los hombres, y las predicciones para las mujeres se ven afectadas, lo que resulta en discriminación.
Los proxies también eran un factor clave en la discriminación en el algoritmo de aprendizaje automático de contratación de Amazon, que no tenía acceso al género, pero tenía acceso a varios poderes de género, como universidades y clubes. El algoritmo ML penalizaba los currículums de las personas con términos como «capitana de un club de ajedrez femenino» y rebajaba la calificación de los graduados de las universidades exclusivamente para mujeres porque se formó con una muestra de empleados actuales de ingeniería de software, que resulta que eran en su mayoría hombres y ningún hombre pertenecía a estos clubes ni asistía a estas universidades.
No se trata solo de un problema de discriminación de género. Si bien nuestra investigación se centra en el género como atributo de interés sensible, podría producirse un efecto similar si se excluyen datos confidenciales con valor predictivo de un algoritmo de aprendizaje automático, como la raza o la edad. Esto se debe a que los algoritmos de aprendizaje automático aprenden del sesgo histórico de los datos y la discriminación podría aumentar aún más si la categoría de datos confidenciales incluye grupos minoritarios más pequeños, por ejemplo, personas no binarias en la categoría de género, o si tenemos en cuenta los riesgos de discriminación interseccional (por ejemplo, la combinación de género y raza, edad y orientación sexual).
Nuestro estudio demuestra que, cuando es posible, el acceso a los datos de atributos confidenciales puede reducir sustancialmente la discriminación y, a veces, también aumentar la rentabilidad.
Para entender cómo funciona esto, consulte la situación crediticia que estudiamos. En general, las mujeres son mejores prestatarias que los hombres, y las personas con más experiencia laboral son mejores prestatarias que las que tienen menos. Pero las mujeres también tienen menos experiencia laboral, de media, y representan una minoría de los prestatarios anteriores (en los que se entrenan los algoritmos de aprendizaje automático).
Ahora, a modo de ejemplo estilizado, imagine que una mujer con tres años de experiencia laboral es suficientemente solvente, mientras que un hombre no lo es. Al tener acceso a los datos de género, el algoritmo lo predeciría correctamente, lo que resultaría en la emisión de préstamos a mujeres con tres años de experiencia, pero se los negaría a los hombres.
Pero cuando el algoritmo no tiene acceso a los datos de género, descubre que una persona con tres años de experiencia se parece más a un hombre y, por lo tanto, predice que esa persona es un mal prestatario y niega los préstamos a todos los solicitantes con tres años de experiencia. Esto no solo reduce el número de préstamos rentables emitidos (lo que perjudica la rentabilidad), sino que esa reducción se debe únicamente a la denegación de préstamos a mujeres (lo que aumenta la discriminación).
Qué pueden hacer las empresas
Obviamente, el simple hecho de incluir el género mejorará el número de préstamos concedidos a mujeres y la rentabilidad de la empresa. Pero muchas empresas no pueden hacer eso simplemente. Para ellos, hay algo de luz al final del túnel, y en los próximos años se promulgarán varias normas nuevas de inteligencia artificial, incluida la de la ciudad de Nueva York Ley de herramientas automatizadas de decisión laboral, y el Ley de Inteligencia Artificial de la Unión Europea.
Estas leyes parecen mantenerse alejadas de las estrictas prohibiciones de datos y modelos y, en cambio, optan por auditorías basadas en el riesgo y centrarse en los resultados de los algoritmos, lo que probablemente permita recopilar y utilizar datos confidenciales en la mayoría de los algoritmos. Este tipo de regulación de la IA centrada en los resultados no es del todo nueva, ya que se han propuesto directrices similares en Principios para promover la equidad, la ética, la responsabilidad y la transparencia de la Autoridad Monetaria de Singapur.
En este contexto, hay tres formas en las que las empresas podrían incluir en el futuro los datos de género en la toma de decisiones sobre el aprendizaje automático. Pueden 1) preprocesar los datos antes de un entrenamiento con algoritmos de aprendizaje automático (por ejemplo, muestrear a la baja a hombres o aumentar la muestra a las mujeres) para que el modelo se base en datos más equilibrados, 2) imputar el género a partir de otras variables (por ejemplo, profesiones o una relación entre la experiencia laboral y el número de hijos) y 3) ajustar los hiperparámetros del modelo con el género y, a continuación, eliminar el género para estimar los parámetros del modelo.
Descubrimos que estos enfoques reducían significativamente la discriminación con un impacto menor en la rentabilidad. El primer enfoque reduce la discriminación entre un 4,5 y un 24%, a costa de una pequeña reducción en la rentabilidad total de los préstamos, del 1,5 al 4,5%. La segunda reduce la discriminación en casi un 70% y aumenta la rentabilidad un 0,15%, respectivamente, y la tercera reduce la discriminación un 37% a costa de alrededor del 4,4% en reducción de la rentabilidad. (Consulte nuestro periódico para obtener más información.)
En algunos casos, y si estas otras estrategias no son eficaces, puede que a las empresas les resulte mejor simplemente restablecer el derecho de decisión a las personas. De hecho, esto es lo que hizo Amazon tras revisar los problemas de discriminación con su software de contratación de IA.
Por lo tanto, animamos a las empresas a que participen activamente en las conversaciones con los organismos reguladores que están elaborando directrices en este ámbito y a que consideren la recopilación responsable de datos confidenciales dentro de los límites de sus reglamentos pertinentes, de modo que puedan, como mínimo, medir la discriminación en los resultados de sus algoritmos de aprendizaje automático e, idealmente, utilizar los datos confidenciales para reducirla. Es posible que a algunas empresas incluso se les permita utilizar los datos para el entrenamiento inicial de algoritmos de aprendizaje automático y, al mismo tiempo, excluirlos de las decisiones individuales.
Este punto medio es mejor que no utilizar ningún dato confidencial, ya que los métodos antes mencionados pueden ayudar a reducir la discriminación con un impacto menor y, a veces, incluso un aumento en la rentabilidad. Con el tiempo, y a medida que surjan más pruebas de que los datos confidenciales se pueden recopilar y utilizar de forma responsable, debemos esperar que surja un marco que permita su uso.