A medida que los algoritmos y la IA se integran cada vez más en la vida de las personas, también hay una creciente demanda de transparencia en cuanto a cuándo se utiliza una IA y para qué se utiliza. Eso significa comunicar por qué se eligió una solución de IA, cómo se diseñó y desarrolló, por qué motivos se desplegó, cómo se supervisa y actualiza y las condiciones en las que puede retirarse. Aumentar la transparencia tiene cuatro efectos específicos: 1) reduce el riesgo de errores y usos indebidos, 2) distribuye la responsabilidad, 3) permite la supervisión interna y externa y 4) expresa respeto por las personas. Sin embargo, la transparencia no es una propuesta de todo o nada. Las empresas tienen que encontrar el equilibrio adecuado en cuanto a la transparencia con las partes interesadas.

•••

En 2018, una de las mayores empresas de tecnología del mundo estrenó una IA que llamaba a los restaurantes y se hacía pasar por un humano para hacer reservas. Para «demostrar» que era humano, la empresa entrenó a la IA para que insertara «umms» y «ahhs» en su solicitud: por ejemplo, «¿Cuándo me gustaría hacer la reserva? Ummm, a las 8 p. m., por favor». La reacción fue inmediata: periodistas y ciudadanos se opusieron a que se engañara a la gente haciéndole creer que estaba interactuando con otra persona, no con un robot. La gente sentía que le habían mentido. La historia es a la vez un cuento con moraleja y un recordatorio: a medida que los algoritmos y la IA se integran cada vez más en la vida de las personas, también hay una creciente demanda de transparencia en torno a cuándo se utiliza una IA y para qué se utiliza. Es fácil entender de dónde viene esto. La transparencia es un elemento esencial para ganarse la confianza de los consumidores y los clientes en cualquier ámbito. Y en lo que respecta a la IA, la transparencia no consiste solo en informar a las personas cuando interactúan con una IA, sino también en comunicar con las partes interesadas pertinentes por qué se eligió una solución de IA, cómo se diseñó y desarrolló, por qué se desplegó, cómo se supervisa y actualiza y las condiciones en las que puede retirarse. Desde este punto de vista, y al contrario de lo que piensan muchas organizaciones sobre la transparencia, la transparencia no es algo que se produzca al final del despliegue de un modelo cuando alguien pregunta al respecto. La transparencia es una cadena que va desde los diseñadores hasta los desarrolladores, los ejecutivos que aprueban el despliegue, las personas a las que afecta y todos los demás. La transparencia es la transferencia sistemática del conocimiento de una parte interesada a otra: los recopiladores de datos son transparentes con los científicos de datos en cuanto a los datos que se recopilan y cómo se recopilan y, a su vez, los científicos de datos son transparentes con los ejecutivos sobre por qué se eligió un modelo en lugar de otro y las medidas que se tomaron para mitigar los sesgos, por ejemplo. A medida que las empresas integran y despliegan cada vez más la IA, deberían tener en cuenta cómo ser transparentes y qué procesos adicionales podrían necesitar introducir. Aquí es donde las empresas pueden empezar. ## Los impactos de ser transparente Si bien el objetivo general de ser transparente es generar confianza, tiene al menos cuatro tipos específicos de efectos: ### Reduce el riesgo de errores y usos indebidos. Los modelos de IA son sistemas muy complejos: diversas partes interesadas los diseñan, desarrollan e implementan en entornos complejos. Esto significa que hay mucho margen de error y uso indebido. La mala comunicación entre los ejecutivos y el equipo de diseño puede provocar que la IA se optimice para la variable equivocada. Si el equipo de producto no explica cómo gestionar correctamente los resultados del modelo, introducir la IA puede resultar contraproducente en situaciones de mucho en juego. Pensemos en el caso de una IAdiseñado para leer radiografías en busca de tumores cancerosos. Luego, los médicos revisaron las radiografías que la IA calificó como «positivas» para detectar tumores. La IA se introdujo porque, según se pensaba, el médico podía observar 40 radiografías con bandera de IA con mayor eficacia que 100 radiografías sin bandera de IA. Por desgracia, se ha producido una interrupción en la comunicación. Al diseñar el modelo, los científicos de datos pensaron razonablemente que marcar erróneamente una radiografía como negativa cuando, de hecho, la radiografía muestra un tumor canceroso puede tener consecuencias muy peligrosas, por lo que establecieron una tolerancia baja a los falsos negativos y, por lo tanto, una tolerancia alta a los falsos positivos. Sin embargo, esta información no se comunicó a los radiólogos que utilizaron la IA. El resultado fue que los radiólogos dedicaron más tiempo a analizar 40 radiografías con bandera de IA que a 100 radiografías sin bandera. Pensaron: la IA debe haber visto algo que me falta, así que seguiré buscando. Si hubieran estado debidamente informados (si la decisión de diseño se hubiera tomado de forma transparente para el usuario final), los radiólogos podrían haber pensado: La verdad es que no veo nada aquí y sé que la IA es demasiado sensible, así que voy a seguir adelante. ### Distribuye la responsabilidad. Los ejecutivos tienen que decidir si un modelo es lo suficientemente confiable como para implementarlo. Los usuarios deben decidir cómo utilizar el producto en el que está integrado el modelo. Los reguladores tienen que decidir si se debe imponer una multa por negligencia en el diseño o el uso. Los consumidores tienen que decidir si quieren interactuar con la IA. Ninguna de estas decisiones se puede tomar si las personas no están debidamente informadas, lo que significa que si algo sale mal, la culpa recae en quienes ocultaron información importante o socavaron el intercambio de información por parte de otros. Por ejemplo, un ejecutivo que apruebe el uso de la IA primero necesita saber, en términos generales, cómo se diseñó el modelo. Esto incluye, por ejemplo, cómo se obtuvieron los datos de entrenamiento, qué función objetivo se eligió y por qué se eligió, y cómo funciona el modelo en comparación con los puntos de referencia relevantes. Los ejecutivos y los usuarios finales que no reciben los conocimientos que necesitan para tomar decisiones informadas, incluidos los conocimientos sin los que ni siquiera saben que hay preguntas importantes que no se hacen, no pueden rendir cuentas de manera razonable. No comunicar esa información es, en algunos casos, un incumplimiento del deber. En otros casos, especialmente para el personal más subalterno, la culpa no es de la persona que no pudo comunicarse, sino de la persona o las personas, especialmente los líderes, que no crearon las condiciones necesarias para una comunicación clara. Por ejemplo, un director de producto que quiera controlar todas las comunicaciones de su grupo con personas ajenas al grupo puede restringir involuntariamente las comunicaciones importantes, ya que representan un obstáculo en la comunicación. Al ser transparentes de principio a fin, se puede distribuir la verdadera responsabilidad entre todos, ya que se les dan los conocimientos que necesitan para tomar decisiones responsables. ### Permite la supervisión interna y externa. Los modelos de IA los crean un puñado de científicos e ingenieros de datos, pero el impacto de sus creaciones puede ser enorme, tanto en términos de cómo afecta a los resultados finales como a la sociedad en su conjunto. Como en cualquier otra situación de alto riesgo, es necesaria la supervisión tanto para detectar los errores cometidos por los tecnólogos como para detectar posibles problemas para los que los tecnólogos tal vez no estén capacitados, ya sean riesgos éticos, legales o de reputación.Hay muchas decisiones en el proceso de diseño y desarrollo que simplemente no deben dejarse (únicamente) en manos de los científicos de datos. Sin embargo, la supervisión es imposible si los creadores de los modelos no comunican claramente a las partes interesadas internas y externas las decisiones que se tomaron y la base en la que se tomaron. Los reguladores investigaron recientemente a uno de los bancos más grandes del mundo, por un algoritmo supuestamente discriminatorio, que exige que los reguladores tengan una idea de cómo se diseñó, desarrolló e implementó el modelo. Del mismo modo, los directores o consejos de administración de riesgos internos no pueden cumplir su función si tanto el producto como el proceso que dio lugar al producto son opacos para ellos, lo que aumenta el riesgo para la empresa y para todos los afectados por la IA. ### Expresa respeto por las personas. Los clientes que utilizaban la IA para hacer reservas pensaban que los habían engañado. En otros casos, la IA se puede utilizar para manipular o empujar a las personas. Por ejemplo, la IA desempeña un papel crucial en la difusión de la desinformación, los codazos y las burbujas filtrantes. Pensemos, por ejemplo, en un asesor financiero que oculta la existencia de algunas oportunidades de inversión y hace hincapié en las posibles ventajas de otras porque recibe una comisión mayor cuando vende estas últimas. Eso es malo para los clientes al menos de dos maneras: primero, puede ser una mala inversión y, segundo, es manipulador y no logra garantizar el informado consentimiento del cliente. Dicho de otra manera, este asesor no respeta lo suficiente el derecho de sus clientes a determinar por sí mismo qué inversión es la adecuada para ellos. El punto más general es que la IA puede socavar la autonomía de las personas: su capacidad de ver las opciones disponibles y de elegir entre ellas sin influencias ni manipulaciones indebidas. En la medida en que las opciones se excluyen silenciosamente del menú y otras opciones se promocionan repetidamente es, aproximadamente, la medida en que se empuja a las personas a entrar en cajas en lugar de darles la posibilidad de elegir libremente. El corolario es que la transparencia en cuanto a si se utiliza una IA, para qué se utiliza y cómo funciona expresa respeto por las personas y su capacidad de toma de decisiones. ## Cómo es una buena comunicación La transparencia no es una propuesta de todo o nada. Las empresas deberían encontrar el equilibrio adecuado en cuanto a la transparencia con las partes interesadas. Por ejemplo, ninguna organización quiere ser transparente de una manera que comprometa su propiedad intelectual, por lo que a algunas personas se les debería decir muy poco. En relación con esto, puede tener sentido ser muy transparente en algunas circunstancias debido al grave riesgo; las aplicaciones de la IA de alto riesgo pueden requerir ir más allá de los niveles estándar de transparencia, por ejemplo. Identificar a todas las posibles partes interesadas, tanto internas como externas, es un buen punto de partida. Pregúnteles lo que necesitan saber para hacer su trabajo. Un gestor de riesgos modelo en un banco, por ejemplo, puede que necesite información relacionada con el umbral del modelo, mientras que el director de Recursos Humanos puede que necesite saber cómo se ponderan las variables de entrada para determinar una puntuación «digna de entrevista». Puede que otro stakeholder, estrictamente hablando, no necesite la información para hacer su trabajo, pero eso le facilitaría las cosas. Esa es una buena razón para compartir la información. Sin embargo, si compartir esa información también crea un riesgo innecesario de comprometer la propiedad intelectual, lo mejor es retener la información. Saber por qué alguien que necesite una explicación también puede revelar qué tan prioritaria es la transparencia para cada stakeholder. Por ejemplo, estaría bien tener cierta información, pero no, estrictamente hablando, necesaria, y puede haber varios motivos para proporcionar o retener esa información adicional. En última instancia, este tipo de decisiones deberán sistematizarse en la política y el procedimiento. Una vez que sepa quién necesita qué y por qué, está la cuestión de dar las explicaciones correctas. Un director de información puede entender las explicaciones técnicas que, por ejemplo, el director ejecutivo podría no entender, y mucho menos un regulador o el consumidor medio. Las comunicaciones deben adaptarse a sus audiencias, y estas audiencias son diversas en cuanto a sus conocimientos técnicos, nivel educativo e incluso en los idiomas que hablan y leen. Por lo tanto, es crucial que los equipos de productos de IA trabajen con las partes interesadas para determinar el método de comunicación más claro, eficiente y sencillo, hasta los detalles de si la comunicación por correo electrónico, Slack, la incorporación presencial o la paloma mensajera es la más eficaz. ### . . . En nuestro debate ha estado implícita una distinción entre transparencia y explicabilidad. La IA explicable tiene que ver con la forma en que el modelo de IA transforma las entradas en salidas; ¿cuáles son las reglas? ¿Por qué esta entrada en particular llevó a esta salida en particular? La transparencia tiene que ver con todo lo que ocurre antes y durante la producción y el despliegue del modelo, tenga o no resultados explicables. La IA explicable es o puede ser importante por diversas razones distintas a las que hemos explicado aquí. Dicho esto, gran parte de lo que hemos dicho también se aplica a la IA explicable. Al fin y al cabo, en algunos casos será importante comunicar a las distintas partes interesadas no solo lo que las personas han hecho con el modelo de IA y con él, sino también cómo funciona el propio modelo de IA. En última instancia, tanto la explicabilidad como la transparencia son esenciales para generar confianza.