La IA añade valor al identificar patrones tan complejos que pueden desafiar la comprensión humana. Eso puede crear un problema: la IA puede ser una caja negra, lo que a menudo nos impide responder a preguntas cruciales sobre sus operaciones. Eso importa más en algunos casos que en otros. Las empresas tienen que entender lo que significa que la IA sea «explicable» y cuándo es importante poder explicar cómo la IA produjo sus resultados. En general, las empresas necesitan que la IA sea explicable cuando: 1) la regulación lo exige, 2) es importante para entender cómo utilizar la herramienta, 3) podría mejorar el sistema y 4) puede ayudar a determinar la imparcialidad.
•••
«Con la cantidad de datos actual, sabemos que no hay manera de que nosotros, como seres humanos, podamos procesarlos todos… La única técnica que conocemos que puede recopilar información a partir de los datos es la inteligencia artificial», dijo el CEO de IBMArvind Krishna dijo recientemente al Wall Street Journal. La información a la que se refiere Krishna son patrones en los datos que pueden ayudar a las empresas a hacer predicciones, ya sea la probabilidad de que alguien no pague una hipoteca, la probabilidad de que desarrolle diabetes en los próximos dos años o si un candidato a un puesto de trabajo es una buena opción. Más específicamente, la IA identifica matemático los patrones que se encuentran en miles de variables y las relaciones entre esas variables. Estos patrones pueden ser tan complejos que pueden desafiar la comprensión humana. Esto puede crear un problema: si bien entendemos las variables que incluimos en la IA (solicitudes de hipotecas, historiales médicos, currículums) y entendemos los resultados (aprobó el préstamo, tiene diabetes, merece una entrevista), puede que no entendamos lo que sucede entre las entradas y las salidas. La IA puede ser una «caja negra», lo que a menudo nos impide responder a preguntas cruciales sobre el funcionamiento de la «máquina». ¿Hace predicciones fiables? ¿Hace esas predicciones con bases sólidas o justificadas? ¿Sabremos cómo arreglarlo si se rompe? O, de manera más general: ¿podemos confiar en una herramienta cuyas operaciones no entendemos, especialmente cuando hay mucho en juego? En la mente de muchos, la necesidad de responder a estas preguntas lleva a la demanda de explicable IA: en resumen, IA cuyas predicciones podemos explicar. ## ¿Qué hace que una explicación sea buena? Una buena explicación debe ser inteligible para el público al que va dirigida y debe ser útil, en el sentido de que ayuda a ese público a alcanzar sus objetivos. En lo que respecta a la IA explicable, hay una variedad de partes interesadas que podrían necesitar entender cómo una IA tomaba una decisión: los reguladores, los usuarios finales, los científicos de datos, los ejecutivos encargados de proteger la marca de la organización y el impacto en los consumidores, por nombrar algunos. Todos estos grupos tienen diferentes habilidades, conocimientos y objetivos; un ciudadano común probablemente no entendería un informe destinado a científicos de datos. Por lo tanto, lo que se considere una buena explicación depende de las partes interesadas a las que vaya dirigida. Los diferentes públicos suelen necesitar explicaciones diferentes. Por ejemplo, un consumidor al que un banco rechace una hipoteca probablemente quiera entender por qué se le niega una hipoteca para poder hacer cambios en sus vidas y tomar una mejor decisión la próxima vez. Un médico querría entender por qué se generó la predicción sobre la enfermedad del paciente para poder determinar si la IA nota un patrón que no observa o si la IA podría estar equivocada. Los ejecutivos querrían explicaciones que les permitieran entender los riesgos éticos y reputacionales asociados a la IA para poder crear las estrategias de mitigación de riesgos adecuadas o decidir hacer cambios en su estrategia de salida al mercado. Sin embargo, adaptar una explicación a la audiencia y al caso en cuestión es más fácil decirlo que hacerlo. Por lo general, implica un duro equilibrio entre precisión y explicabilidad. En general, reducir la complejidad de los patrones que identifica una IA facilita la comprensión de cómo produce los resultados que produce. Pero, en igualdad de condiciones, reducir la complejidad también puede significar reducir la precisión (y, por lo tanto, la utilidad) de la IA. Si bien los científicos de datos tienen herramientas que ofrecen información sobre cómo las diferentes variables pueden dar forma a los resultados, estas solo ofrecen una mejor idea de lo que sucede dentro del modelo y, por lo general, son demasiado técnicas para que los consumidores, los ciudadanos, los reguladores y los ejecutivos las utilicen en la toma de decisiones. Las organizaciones deberían resolver esta tensión, o al menos abordarla, en su enfoque de la IA, incluso en sus políticas, diseño y desarrollo de modelos que diseñan en cuestión de horas o que adquieren de proveedores externos. Para ello, deberían prestar mucha atención a cuando la explicabilidad es una necesidad, frente a una buena tenerla o completamente innecesaria. ## Cuando necesitamos explicabilidad Intentar explicar cómo una IA crea sus productos requiere tiempo y recursos; no es gratis. Esto significa que vale la pena evaluar si se necesitan resultados explicables en primer lugar para un caso de uso en particular. Por ejemplo, la IA de reconocimiento de imágenes se puede utilizar para ayudar a los clientes a etiquetar las fotos de sus perros cuando las suben a la nube. En ese caso, la precisión puede importar mucho, pero exactamente cómo el modelo lo hace, puede que no importe tanto. O tomemos como ejemplo una IA que predice cuándo llegará el cargamento de tornillos a la fábrica de juguetes; puede que allí no haya mucha necesidad de explicación. En términos más generales, una buena regla general es que la explicabilidad probablemente no sea necesaria cuando se hacen predicciones de bajo riesgo sobre entidades que no son personas. (Sin embargo, hay excepciones, ya que cuando la optimización de las rutas del metro permite dar mayor acceso a ese recurso a algunas subpoblaciones que a otras). El corolario es que la explicabilidad puede ser muy importante, especialmente cuando los resultados influyen directamente en el trato que reciben las personas. Hay al menos cuatro tipos de casos que considerar en este sentido. ### Cuando el cumplimiento normativo lo exija. Una persona a la que se le niegue un préstamo o una hipoteca merece una explicación de por qué se le denegó. No solo se merecen esa explicación por respeto (simplemente decir «no» a un solicitante e ignorar las solicitudes de explicación es una falta de respeto), sino que también la exige el reglamento. Es posible que las empresas de servicios financieros, que ya necesitan explicaciones para sus modelos distintos de la IA, tengan que extender ese requisito a los modelos de IA, como los actuales yreglamentos pendientes, especialmente fuera de la Unión Europea, indique. ### Cuando la explicabilidad es importante para que los usuarios finales puedan ver la mejor manera de utilizar la herramienta. No necesitamos saber cómo funciona el motor de un coche para conducirlo. Sin embargo, en algunos casos, saber cómo funciona un modelo es imprescindible para su uso eficaz. Por ejemplo, un agente de detección de fraudes puede utilizar una IA que señale posibles casos de fraude. Si no saben por qué la IA marcó la transacción, no sabrán por dónde empezar la investigación, lo que se traducirá en un proceso muy ineficiente. Por otro lado, si la IA no solo señala las transacciones como que merecen una mayor investigación, sino que también da una explicación de por qué se marcó la transacción, el agente puede hacer su trabajo de manera más eficiente y eficaz. ### Cuando la explicabilidad podría mejorar el sistema. En algunos casos, los científicos de datos pueden mejorar la precisión de sus modelos en comparación con los puntos de referencia relevantes haciendo ajustes en su forma de entrenar o su funcionamiento sin tener un conocimiento profundo de su funcionamiento. Este es el caso de la IA de reconocimiento de imágenes, por ejemplo. En otros casos, saber cómo funciona el sistema puede ayudar a depurar el software de IA y a realizar otros tipos de mejoras. En esos casos, dedicar recursos a la explicabilidad puede ser esencial para el valor empresarial a largo plazo del modelo. ### Cuando la explicabilidad puede ayudar a evaluar la imparcialidad. La explicabilidad se presenta, en términos generales, de dos formas: global y local. Las explicaciones locales explican por qué esta entrada en particular llevó a esta salida en particular, por ejemplo, por qué a esta persona en concreto se le negó una entrevista de trabajo. Las explicaciones globales articulan de manera más general la forma en que el modelo transforma las entradas en salidas. Dicho de otra manera, articulan las reglas del modelo o las reglas del juego. Por ejemplo, las personas que tienen este tipo de historial médico con este tipo de resultados de análisis de sangre reciben este tipo de diagnóstico. En una amplia variedad de casos, tenemos que preguntarnos si los resultados son justos: ¿realmente se le debería haber negado la entrevista a esta persona o si evaluamos injustamente al candidato? Y lo que es más importante, cuando le pedimos a alguien que siga las reglas del juego de la contratación, el préstamo hipotecario y la recepción de publicidad, tenemos que evaluar si las reglas del juego son justas, razonables y, en general, aceptables desde el punto de vista ético. Por lo tanto, las explicaciones, especialmente las globales, son importantes cuando queremos o necesitamos evaluar éticamente las reglas del juego; las explicaciones nos permiten ver si las reglas son justificado. ## Crear un marco de explicabilidad La explicabilidad importa en algunos casos y no en otros, y cuando importa, puede que importe por diversas razones. Es más, la sensibilidad operativa ante estos asuntos puede ser crucial para el diseño y el despliegue de la IA de manera eficiente, eficaz y ética. Por lo tanto, las organizaciones deberían crear un marco que aborde los riesgos de las cajas negras para su industria y sus organizaciones en particular, que les permita priorizar adecuadamente la explicabilidad en cada uno de sus proyectos de IA. Ese marco no solo permitiría a los científicos de datos crear modelos que funcionen bien, sino que también permitiría a los ejecutivos tomar decisiones acertadas sobre lo que se debe diseñar y cuándo los sistemas son lo suficientemente confiables como para desplegarlos.