No es fácil saber cómo administrar e implementar sistemas de IA de forma responsable hoy en día. Sin embargo, la Oficina de Responsabilidad del Gobierno de los Estados Unidos ha desarrollado recientemente la primera infraestructura para ayudar a garantizar la rendición de cuentas y el uso responsable de los sistemas de IA. Define las condiciones básicas para la rendición de cuentas a lo largo de todo el ciclo de vida de la IA, desde el diseño y el desarrollo hasta la implementación y la supervisión, y presenta preguntas específicas para que los líderes y las organizaciones formulen, y los procedimientos de auditoría que deben utilizar al evaluar los sistemas de IA.
Cuando se trata de gestionar la inteligencia artificial, no faltan principios y conceptos destinados a apoyar un uso justo y responsable. Sin embargo, las organizaciones y sus líderes suelen quedarse rascándose la cabeza cuando se enfrentan a preguntas difíciles sobre cómo administrar e implementar sistemas de IA de forma responsable en la actualidad.
Por eso, en la Oficina de Responsabilidad del Gobierno de los Estados Unidos, recientemente hemos desarrollado la primera del gobierno federal infraestructura para ayudar a garantizar la rendición de cuentas y el uso responsable de los sistemas de IA. El marco define las condiciones básicas para la rendición de cuentas a lo largo de todo el ciclo de vida de la IA, desde el diseño y el desarrollo hasta la implementación y la supervisión. También presenta preguntas específicas que se deben formular y procedimientos de auditoría a utilizar al evaluar los sistemas de IA en las cuatro dimensiones siguientes: 1) gobernanza, 2) datos, 3) rendimiento y 4) monitoreo.
Nuestro objetivo al realizar este trabajo ha sido ayudar a las organizaciones y líderes a pasar de las teorías y los principios a las prácticas que realmente se pueden utilizar para gestionar y evaluar la IA en el mundo real.
Comprender todo el ciclo de vida de la IA
Con demasiada frecuencia, se hacen preguntas de supervisión sobre un sistema de IA después está construido y ya desplegado. Pero eso no es suficiente: las evaluaciones de una IA o un sistema de aprendizaje automático deben realizarse en cada momento de su ciclo de vida. Esto ayudará a identificar problemas de todo el sistema que se pueden pasar por alto durante las evaluaciones «puntuales» definidas de forma limitada.
Construyendo sobre trabajo realizada por la Organización de Cooperación y Desarrollo Económicos (OCDE) y otros, hemos observado que las etapas importantes del ciclo de vida de un sistema de IA incluyen:
Diseño: articulación de los objetivos y metas del sistema, incluidos los supuestos subyacentes y los requisitos generales de desempeño.
Desarrollo: definición de requisitos técnicos, recopilación y procesamiento de datos, creación del modelo y validación del sistema.
Despliegue: piloto, comprobación de la compatibilidad con otros sistemas, garantía del cumplimiento normativo y evaluación de la experiencia del usuario.
Monitoreo: evaluar continuamente los resultados e impactos del sistema (tanto intencionados como no intencionados), perfeccionar el modelo y tomar decisiones para ampliar o retirar el sistema.
Esta visión de la IA es similar al enfoque del ciclo de vida utilizado en el desarrollo de software. Como hemos señalado en separado trabajo sobre desarrollo ágil, las organizaciones deben establecer actividades de ciclo de vida adecuadas que integren la planificación, el diseño, la construcción y las pruebas para medir continuamente el progreso, reducir los riesgos y responder a los comentarios de las partes interesadas.
Incluir a toda la comunidad de partes interesadas
En todas las etapas del ciclo de vida de la IA, es importante reunir al conjunto correcto de partes interesadas. Se necesitan algunos expertos para aportar información sobre el rendimiento técnico de un sistema. Estas partes interesadas técnicas podrían incluir científicos de datos, desarrolladores de software, especialistas en ciberseguridad e ingenieros.
Sin embargo, toda la comunidad de partes interesadas va más allá de los expertos técnicos. También se necesitan partes interesadas que puedan hablar sobre el impacto social de la implementación de un sistema de IA en particular. Estas partes interesadas adicionales incluyen expertos en políticas y legales, expertos en materia, usuarios del sistema y, lo que es más importante, las personas afectadas por el sistema de IA.
Todas las partes interesadas desempeñan un papel esencial para garantizar que se identifiquen, evalúen y mitiguen las preocupaciones éticas, jurídicas, económicas o sociales relacionadas con el sistema de IA. Las aportaciones de una amplia gama de partes interesadas, tanto técnicas como no técnicas, son un paso clave para ayudar a protegerse de consecuencias no deseadas o sesgos en un sistema de IA.
Cuatro dimensiones de la responsabilidad de IA
A medida que las organizaciones, los líderes y los evaluadores externos se centran en la rendición de cuentas durante todo el ciclo de vida de los sistemas de IA, hay cuatro dimensiones a tener en cuenta: gobernanza, datos, rendimiento y monitoreo. Dentro de cada área hay que tomar medidas importantes y cosas que hay que buscar.
Evaluar las estructuras de gobernanza. Un ecosistema saludable para gestionar la IA debe incluir procesos y estructuras de gobierno. La gobernanza adecuada de la IA puede ayudar a gestionar los riesgos, demostrar valores éticos y garantizar el cumplimiento. Responsabilidad de la IA significa buscar pruebas sólidas de gobernanza a nivel organizacional, incluidas metas y objetivos claros para el sistema de IA; roles, responsabilidades y líneas de autoridad bien definidos; una fuerza laboral multidisciplinaria capaz de administrar sistemas de IA; un amplio conjunto de partes interesadas; y procesos de gestión de riesgos. Además, es vital buscar elementos de gobernanza a nivel de sistema, tales como especificaciones técnicas documentadas del sistema de IA particular, cumplimiento y acceso de stakeholder a la información de diseño y operación del sistema.
Comprenda los datos. La mayoría de nosotros sabemos que los datos son la esencia de muchos sistemas de IA y aprendizaje automático. Pero los mismos datos que otorgan potencia a los sistemas de IA también pueden ser una vulnerabilidad. Es importante contar con documentación de cómo se utilizan los datos en dos etapas diferentes del sistema: cuándo se utilizan para crear el modelo subyacente y mientras el sistema de IA está en funcionamiento real. Una buena supervisión de la IA incluye contar con documentación de las fuentes y orígenes de los datos utilizados para desarrollar los modelos de IA. También es necesario prestar atención a los problemas técnicos relacionados con la selección de variables y el uso de datos modificados. Es necesario examinar la fiabilidad y la representatividad de los datos, incluido el potencial de sesgo, desigualdad u otras preocupaciones sociales. La responsabilidad también incluye la evaluación de la seguridad y la privacidad de datos de un sistema de IA.
Defina los objetivos de rendimiento y las métricas. Después de desarrollar y desplegar un sistema de IA, es importante no perder de vista las preguntas: «¿Por qué construimos este sistema en primer lugar?» y «¿Cómo sabemos que funciona?» Responder a estas preguntas importantes requiere una documentación sólida del propósito declarado de un sistema de IA junto con definiciones de métricas de rendimiento y los métodos utilizados para evaluar dicho rendimiento. La administración y los que evalúan estos sistemas deben ser capaces de garantizar que una aplicación de IA cumpla los objetivos previstos. Es fundamental que estas evaluaciones del rendimiento se realicen a nivel amplio del sistema, pero también se centren en los componentes individuales que apoyan e interactúan con el sistema general.
Revisar los planes de seguimiento La IA no debe considerarse un sistema de «configurarlo y olvídalo». Es cierto que muchos de los beneficios de la IA se derivan de la automatización de ciertas tareas, a menudo a una escala y velocidad más allá de la capacidad humana. Al mismo tiempo, la supervisión continua del rendimiento por parte de las personas es esencial. Esto incluye el establecimiento de una gama de deriva de modelos aceptable y una supervisión sostenida para garantizar que el sistema produzca los resultados esperados. La supervisión a largo plazo también debe incluir evaluaciones de si el entorno operativo ha cambiado y en qué medida las condiciones permiten ampliar o ampliar el sistema a otros entornos operativos. Otras preguntas importantes que debe hacerse son si el sistema de IA sigue siendo necesario para alcanzar los objetivos previstos y qué métricas se necesitan para determinar cuándo retirar un sistema determinado.
Piensa como un auditor
Hemos anclado nuestro marco en las normas gubernamentales de auditoría y control interno existentes. Esto permite que sus prácticas y preguntas de auditoría sean utilizadas por los recursos existentes de rendición de cuentas y supervisión a los que las organizaciones ya tienen acceso. El marco también está escrito en lenguaje sencillo para que los usuarios no técnicos puedan aplicar sus principios y prácticas al interactuar con los equipos técnicos. Si bien nuestro trabajo se ha centrado en la rendición de cuentas por el uso de IA por parte del gobierno, el enfoque y el marco se adaptan fácilmente a otros sectores.
El marco completo describe preguntas específicas y procedimientos de auditoría que cubren las cuatro dimensiones descritas anteriormente (gobernanza, datos, rendimiento y monitoreo). Los ejecutivos, los gestores de riesgos y los profesionales de auditoría, prácticamente cualquier persona que trabaje para impulsar la rendición de cuentas de los sistemas de IA de una organización, pueden utilizar inmediatamente este marco, porque en realidad define las prácticas de auditoría y proporciona preguntas concretas que hacer al evaluar los sistemas de IA.
Cuando se trata de generar rendición de cuentas para la IA, nunca duele pensar como un auditor.