La cacofonía de alarmas en torno a la IA generativa ha dejado a los líderes desorientados y preocupados, sobre todo teniendo en cuenta que la IA generativa está disponible para todos los miembros de sus organizaciones, no solo para los científicos de datos. Hay al menos cuatro riesgos intersectoriales que las organizaciones deben gestionar: el problema de las alucinaciones, el problema de la deliberación, el sórdido problema del vendedor y el problema de la responsabilidad compartida. Comprender estos riesgos en detalle puede ayudar a las empresas a planificar la forma en que quieren abordarlos.

•••

Los líderes de todos los sectores se enfrentan a la presión de sus consejos de administración y directores ejecutivos para que averigüen dónde se puede implementar una solución de IA generativa. La razón es conocida: por un lado, existe el entusiasmo por aprovechar las nuevas oportunidades y, por otro, el miedo a quedarse por detrás de la competencia. Pero en medio del impulso por innovar, también hay una ansiedad fundada.Uso prohibido de Samsung de ChatGPT después de que los empleados cargaran datos confidenciales de la empresa en la plataforma y que posteriormente se filtraron. La tendencia bien documentada de la IA a generar resultados discriminatorios se aplica también a la IA generativa. Mientras tanto, las empresas de IA generativa se enfrentan a demandas: StableDiffusion, que genera imágenes,se enfrenta a una demanda de Getty Images, mientras Microsoft, GitHub y OpenAI se enfrentan a una demanda colectiva. Las personas y empresas responsables de esta tecnología también están haciendo sonar las alarmas, desde varios «padrinos de la IA», como Geoffrey Hinton y Yoshua Bengio, hasta artistas como Sam Altman, CEO de OpenAI. Los humanos, afirman, podrían enfrentarse a la extinción —o al menos al dominio de sus señores supremos robots—en un futuro próximo. Otras voces advierten de la facilidad de crear información errónea de alta calidad hace campaña en vísperas de las elecciones presidenciales de los Estados Unidos cuando aúnotros advierten de la posible catástrofe económica causado por la IA que sustituyó a los trabajadores humanos. En los últimos meses asesorando a clientes empresariales, he descubierto que los líderes corporativos, tanto del lado tecnológico como no tecnológico, están confundidos en cuanto a lo que deben prestar atención. La cacofonía de las alarmas los ha dejado desorientados y preocupados, sobre todo teniendo en cuenta que la IA generativa está disponible para todos los miembros de sus organizaciones, no solo para los científicos de datos. Como comentó un cliente al explicar por qué necesita un programa de riesgo ético de la IA: «No es que nada esté en llamas. Es que todos los miembros de nuestra organización sostienen un lanzallamas». ## ¿De qué riesgos tiene realmente que preocuparse? Si bien la IA generativa presenta muchos riesgos éticos genuinos, esos riesgos no se aplican a todas y cada una de las empresas. En primer lugar, aunque admitiéramos a modo de argumento que el efecto acumulativo de la IA en la economía se traduce en una pérdida masiva de empleo, no se deduce que ninguna empresa en particular tenga la obligación de detenerlo. Al fin y al cabo, según una visión estándar de las responsabilidades de las empresas, no tienen la obligación de contratar o retener empleados. Puede que sea bueno desde el punto de vista ético mantener a las personas activas cuando podrían ser sustituidas por una IA más eficiente o menos cara y, en algunos casos, animaría a las empresas a que hicieran precisamente eso, pero por lo general no se considera un requisito ético. En segundo lugar, podría decirse que la amenaza de la difusión de información errónea (electoral) es uno de los mayores riesgos a los que se enfrentan las democracias modernas (sin duda, se encuentra entre mis tres primeros), pero la mayoría de las empresas no se dedican a ayudar a las personas o las empresas a difundir información. Es poco probable que este riesgo afecte a su organización, a menos que se trate de una empresa de redes sociales. En tercer lugar, aunque admitiéramos que la IA representa un riesgo existencial para la raza humana en un futuro próximo, probablemente su organización pueda hacer muy poco al respecto. Si puede hacer algo al respecto, hágalo, por favor. Ahora que hemos dejado de lado esos riesgos éticos, pasemos a los que la mayoría de las empresas tienen que enfrentarse. Lo primero que tienen que hacer las empresas es preguntar: 1. ¿Qué riesgos éticos, reputacionales, reglamentarios y legales comparte la IA generativa con la IA no generativa? 2. ¿Qué riesgos éticos, reputacionales, reglamentarios y legales son específicos o exacerbados por la IA generativa en comparación con la IA no generativa? En cuanto a la primera pregunta, la IA no generativa puedecrear fácilmente productos sesgados o discriminatorios. También puede producir resultados de una manera que no se puede explicar , conocido como el problema de la caja negra. Y la IA no generativa se puede entrenar o crear datos que infrinjan la privacidad de los demás. Por último, muchos de los riesgos éticos de la IA no generativa son específicos de cada caso de uso. Esto se debe a que los tipos de riesgos éticos a los que se enfrenta una organización dependen de los distintos contextos en los que se despliegue la IA no generativa. Acciones de IA generativa todos de estos riesgos éticos con la IA no generativa. Tanto los generadores de imágenes como los de texto han demostradosesgos en sus salidas. Con respecto al problema de la caja negra, los propios científicos de datos no pueden explicar cómo la producción ha mejorado tanto. Y dado que estos modelos se entrenan con datos extraídos de Internet, esos datos incluyen tanto datos sobre personas como datos que son propiedad intelectual de personas u organizaciones. Por último, al igual que con la IA no generativa, los riesgos éticos de la IA generativa también son específicos de cada caso de uso. Pero hay un giro. La IA generativa es una IA de uso general. Esto significa que se puede utilizar en innumerables casos de uso en todos los sectores. No solo eso, sino que las organizaciones ahora tienen miles (si no decenas o cientos de miles) de empleados que tienen acceso a estas nuevas herramientas. Las organizaciones no solo necesitan tener en sus manos los casos de uso (los riesgos éticos específicos de la IA diseñados por científicos e ingenieros de datos), sino también los innumerables contextos en los que sus empleados pueden utilizar la IA. Esto nos lleva a nuestra segunda pregunta: ¿Qué riesgos éticos, reputacionales, reglamentarios y legales son específicos o exacerbados por la IA generativa en comparación con la IA no generativa? ## Los riesgos éticos de la IA generativa Hay al menos cuatro riesgos intersectoriales que las organizaciones deben gestionar: el problema de las alucinaciones, el problema de la deliberación, el sórdido problema del vendedor y el problema de la responsabilidad compartida. Comprender estos riesgos en detalle puede ayudar a las empresas a planificar la forma en que quieren abordarlos. ### El problema de las alucinaciones Un riesgo importante relacionado con las LLM como ChatGPT de OpenAI, Bing de Microsoft y Bard de Google es quegenerar información falsa. Abundan los ejemplos de lo arriesgado que es esto. Piense en los médicos que utilizan un LLM para diagnosticar a los pacientes, en los consumidores que utilizan un LLM para pedir asesoramiento financiero o sobre relaciones, o en los consumidores que piden información sobre un producto, por nombrar algunos de los innumerables contextos en los que se puede implementar un LLM. Hay algunos aspectos importantes del problema de las alucinaciones en los que hay que hacer hincapié. En primer lugar, no se puede automatizar la comprobación de la veracidad de las afirmaciones de una LLM. No hay ningún software que pueda ejecutar un programa que compare las afirmaciones con la realidad. La verificación de la veracidad o falsedad de una afirmación debe hacerse manualmente. En segundo lugar, la gente tiende a confiar en los resultados de los programas de software. De hecho, la tendencia está tan bien establecida que hay un nombre para ella: «sesgo de automatización». Por lo tanto, la verificación manual que hay que realizar es algo que debe realizarse contra la fuerza compensatoria del sesgo de la automatización. El problema se ve agravado por el tono de autoridad que suelen manifestar los LLM. Los LLM no solo se equivocan con demasiada frecuencia, sino que con demasiada frecuencia se equivocan con confianza. En tercer lugar, y con relación a ello, la gente es perezosa y quiere respuestas rápidas (que es una de las razones para recurrir a un LLM en primer lugar) y comprobar manualmente la veracidad de los resultados puede requerir bastante esfuerzo y se produce lentamente. En cuarto lugar, como destaca la analogía anterior del lanzallamas, se trata de una herramienta a la que, literalmente, todos los miembros de su organización tienen acceso. En quinto y último lugar, muchas personas no saben que los LLM defienden con confianza afirmaciones falsas, lo que las hace particularmente vulnerables a depender demasiado de la herramienta. Es importante destacar en este contexto que el mero hecho de decir a los empleados que los LLM pueden generar información falsa no basta para evitar que confíen automáticamente en ella. El conocimiento es una cosa; la acción es otra. Racionalizar que «este resultado probablemente esté bien» probablemente sea común, dado el sesgo de automatización, la pereza y la necesidad de velocidad. Los procesos de diligencia debida, el cumplimiento de esos procesos y la supervisión del uso son necesarios para combatir a estos enemigos, al igual que la participación de otras personas que podrían corregir las deficiencias demasiado humanas de otra persona. ### El problema de la deliberación Parece que los LLM tienen el poder de deliberar, de presentar un razonamiento coherente que parece pensar, pero en realidad, están generando un facsímil delgado y uno que puede resultar peligroso. Supongamos que un asesor financiero no está seguro de qué recomendar y, por lo tanto, consulta a un LLM para obtener asesoramiento. El LLM podría recomendar una estrategia de inversión determinada, con el supuesto razonamiento detrás del consejo. Pero no se deje engañar: aunque parezca que un LLM ofrece una explicación detrás de su producción, en realidad solo genera una razón que suena plausible, basada en un proceso de predicción de qué palabras van juntas. Este punto es un poco sutil, así que dediquémonos nuestro tiempo. Los LLM se dedican a encontrar el siguiente conjunto de palabras que sea lo más coherente posible con las palabras anteriores. Sus resultados deberían tener sentido para el usuario. Lo que sorprende de los LLM recientes, como el GPT-4, es que pueden tener sentido sin saber lo que dicen. Un LLM no entiende sus resultados. No entiende el significado de las palabras. Es un predictor de las próximas palabras sorprendentemente exitoso (aunque lejos de ser perfecto). Esto significa que cuando pide a un LLM una explicación de por qué recomienda X, en realidad no le da una explicación de por qué recomendó X. Predice que las siguientes palabras que «cree» son coherentes con la conversación que ha tenido lugar hasta ahora. Lo hace no articular el razones recomienda X porque no proporciona salidas por alguna razón. No delibera ni decide. Solo predice la probabilidad de la próxima palabra. Así que no puede le explico las razones por las que recomendó X, ya que su resultado se basa en la probabilidad, no en los motivos. En cambio, es fabrica razones, que, para el usuario desprevenido, realmente se parecen a las razones detrás de las salidas. Esto genera al menos dos problemas. En primer lugar, es fácil dejarse engañar por esto. Supongamos, por ejemplo, que un usuario supera su sesgo de automatización, su pereza y su necesidad de velocidad y comienza a buscar en el LLM una justificación para su respuesta. Es de suponer que el usuario consultó la LLM en primer lugar porque no estaba seguro de la respuesta en una situación compleja. Ahora, el LLM explica al usuario con paciencia y autoridad el (supuesto) motivo de su recomendación. Ahora es bastante fácil para el usuario ceñirse al aparentemente autoritario y deliberativo LLM. Y ahora volvemos a donde estábamos antes de sus esfuerzos por superar sus prejuicios, pereza y necesidad de velocidad. En segundo lugar, a veces importa que la persona delibere. Si bien hay algunos escenarios en los que el rendimiento es lo único que importa, hay otros en los que nos importa —o al menos a algunos de nosotros— que haya una persona del otro lado deliberando sobre cómo tratarnos adecuadamente. En el contexto de la justicia penal, por ejemplo, puede que le importe no solo que el juez reciba la respuesta correcta, sino también que participe en la deliberación. Que piense en usted y en su caso es parte de lo que significa que el juez lo respete. Dejar esa decisión en manos de un ordenador es, sin duda, éticamente censurable. Del mismo modo, queremos un buen asesoramiento financiero, pero también queremos saber que lo recibimos de alguien que está deliberando activamente sobre lo que es mejor para nosotros. Hay un elemento humano en las relaciones, especialmente en situaciones de mucho en juego, del que, podría decirse, no queremos deshacernos. Más concretamente, aunque usted, el lector, no piense así, es probable que algunos de los clientes de su organización piensen lo mismo. En ese caso, como cuestión de respeto a sus deseos de mantener ese elemento humano, no es necesario sustituir a las personas deliberantes por un software de falsa deliberación. Al igual que con el problema de las alucinaciones, las soluciones para el problema de la deliberación son los procesos de diligencia debida, la supervisión y la intervención humana. ### El sórdido problema del vendedor Quizás el mejor método para venderle algo a alguien sea hablar con él. En algunos casos, los vendedores venden al alza y al alza. En otros, está el vendedor sórdido o astuto que se destaca en presionar los botones emocionales de las personas para que compren cosas que realmente no quieren. De hecho, durante un trabajo de verano trabajando para una empresa de alquiler de coches, me enseñaron —y, en ese momento, la ejecutaron con orgullo— una táctica para que la gente comprara un seguro de automóvil (lo siento, «cobertura»; no se nos permitía decir «seguro»), lo que despertaba el miedo del inquilino a lo que pudiera salir mal en un coche. Del mismo modo, en el diseño de sitios web, hay métodos para manipular a los usuarios para que, entre otras cosas, se den por vencidos en su intento de cancelar su cuenta; se denominan»patrones oscuros.” Supongamos que algunas personas de su organización, motivadas por la conocida combinación de incentivos financieros y presión para alcanzar ciertos números, desarrollan un chatbot de ventas de LLM al que se le da muy bien manipular a las personas. Es «leer» todos los libros sobre cómo presionar los botones de la gente y todos los libros sobre negociación, y se le ha dado instrucciones de conversar con los consumidores de una manera acorde con lo que ha aprendido. Esta es una buena receta para socavar la confiabilidad de su organización. Cuando su chatbot LLM orientado al consumidor engañe sistemáticamente a los consumidores a gran escala, perderá la confianza suficiente como para justificar gastar más dinero del que ha ganado con los trucos para recuperar esa confianza. (Sin mencionar que es simplemente asqueroso desde el punto de vista ético engañar sistémicamente a la gente para que compre sus productos). ### El problema de la responsabilidad compartida En su mayor parte, los modelos de IA generativa, también llamados «modelos básicos», los crean un puñado de empresas. Si su organización obtiene su IA generativa de una de estas empresas, es probable que su organización «ajuste» ese modelo. Sus científicos e ingenieros de datos internos están ahí para hacer ese trabajo. Pero si algo va mal desde el punto de vista ético a la hora de desplegar su IA generativa ajustada, surge la pregunta: ¿quién es el responsable? La respuesta a esta pregunta es complicada. En primer lugar, los modelos de base suelen ser cajas negras. Esto significa que nosotros, incluidos los científicos de datos, no podemos explicar cómo la IA llega a sus resultados dados los insumos. En segundo lugar, muchas empresas que crean los modelos básicos no son particularmente transparentes en cuanto a las decisiones que se tomaron a lo largo de los ciclos de vida de diseño, creación y validación de la IA. Por ejemplo, puede que no compartan los datos que utilizaron para entrenar a la IA. Por lo tanto, su organización se enfrenta a la pregunta: ¿Tenemos suficiente información del proveedor que creó el modelo base como para poder hacer las debidas diligencias éticas, reputacionales, reglamentarias y legales a medida que afinamos e implementamos el modelo? Permítame decirlo de otra manera. Supongamos que su organización despliega un modelo de IA generativa y las cosas van mal desde el punto de vista ético. Si su organización tuviera suficiente información del proveedor de modelos fundamentales como para podría ha hecho pruebas que habrían detectado el problema, pero no las hizo, entonces (en igualdad de condiciones) la responsabilidad recae en las espaldas de su organización. Por otro lado, si su organización no tenía suficiente información como para no poder hacer las debidas diligencias de manera eficaz, la responsabilidad recae tanto en el proveedor como en su organización. Depende del proveedor, ya que deberían haberle proporcionado la información que su organización necesitaba para hacer las debidas diligencias. Depende de su organización porque o sus equipos no se dieron cuenta de que no tenían suficiente información o lo sabían y decidieron seguir adelante de todos modos. Esto nos demuestra lo importante que es un análisis de viabilidad a la hora de buscar y, luego, ajustar un modelo de IA generativa. Parte de ese análisis debe incluir si el equipo de su organización puede evaluar lo que necesita para hacer con la diligencia debida, si obtendrá esa información del proveedor y cuáles son los puntos de referencia para «ser lo suficientemente seguro para su despliegue». ## Gestionar este riesgo A la luz de estos problemas, algunas empresas han tomado medidas para prohibir el uso de la IA generativa en sus organizaciones. Esto no es prudente. De hecho, es un poco como decirle a los adolescentes que se abstengan y luego negarse a impartir educación sexual segura; van a pasar cosas malas. Esta es una de las razones por las que hay que priorizar la educación en toda la empresa sobre el uso seguro de la IA generativa, incluidos procesos sencillos y articulados con claridad mediante los que puedan plantear preguntas a los expertos y autoridades correspondientes de la organización en la materia, de una manera que no se hacía antes de la IA generativa. Dicho esto, los riesgos éticos de la IA generativa no son tan novedosos como para desafiar los enfoques existentes para diseñar e implementar un programa de riesgos éticos de la IA. Los cuatro problemas expuestos anteriormente destacan la necesidad de centrarse más en este tipo de riesgos, pero las estrategias más básicas para abordarlos son de la misma manera con las estrategias que se aplican a la IA no generativa, que incluyen, entre otras cosas, un proceso de diligencia debida sobre el riesgo ético que se lleva a cabo en cada etapa del ciclo de vida de la IA, un comité de riesgos éticos de la IA, el aprendizaje y el desarrollo del riesgo ético en toda la empresa, y métricas e KPI para medir el despliegue, el cumplimiento y el impacto desu programa de riesgos éticos de IA.