Cómo hacer que la IA generativa sea más ecológica

Cómo hacer que la IA generativa sea más ecológica

La IA generativa es impresionante, pero a menudo se pasan por alto los costes ambientales ocultos y el impacto de estos modelos. Las empresas pueden tomar ocho medidas para hacer que estos sistemas sean más ecológicos: utilizar los grandes modelos generativos existentes, no generar los suyos propios; ajustar los modelos existentes; utilizar métodos computacionales que ahorren energía; utilizar un modelo grande solo cuando ofrezca un valor significativo; ser exigentes a la hora de utilizar la IA generativa; evaluar las fuentes de energía de su proveedor de nube o centro de datos; reutilizar los modelos y los recursos; incluir la actividad de la IA en su monitoreo del carbono.

•••

Si bien los observadores se han maravillado de las capacidades de las nuevas herramientas de IA generativa, como ChatGPT, BERT, LaMDA, GPT-3, DALL-E-2, MidJourney y Stable Diffusion, a menudo se pasan por alto los costes ambientales ocultos y el impacto de estos modelos. El desarrollo y el uso de estos sistemas han consumido una enorme cantidad de energía y el mantenimiento de su infraestructura física implica un consumo de energía. En este momento, estas herramientas acaban de empezar a ganar terreno, pero es razonable pensar que estos costes están a punto de crecer —y de forma drástica— en un futuro próximo.

El sector de los centros de datos, que hace referencia a una instalación física diseñada para almacenar y gestionar los sistemas de tecnología de la información y las comunicaciones, es responsable del 2 al 3% de los gases de efecto invernadero (GEI) mundialesemisiones. El volumen de datos en todo el mundo duplica su tamaño cada dos años. Los servidores de los centros de datos que almacenan este mar de información en constante expansión requieren enormes cantidades de energía y agua (directamente para enfriar e indirectamente para generar electricidad no renovable) para hacer funcionar los servidores de los ordenadores, los equipos y los sistemas de refrigeración. Estos sistemas representan alrededor de El 7% de los de Dinamarca yEl 2,8% de los Estados Unidos consumo de electricidad.

Casi todos los modelos de IA generativa más conocidos los generan proveedores de nube «hiperescala» (muy grandes) con miles de servidores que producen una importante huella de carbono; en particular, estos modelos funcionan con chips de unidades de procesamiento gráfico (GPU). Necesitan entre 10 y 15 veces la energía que necesita una CPU tradicional, ya que la GPU utiliza más transistores en las unidades aritméticas y lógicas. Actualmente, los tres principales proveedores de nubes a hiperescala son Amazon AWS, Google Cloud y Microsoft Azure.

Si tratamos de entender el impacto ambiental de ChatGPT desde la perspectiva de la huella de carbono, primero debemos entender el ciclo de vida de la huella de carbono de los modelos de aprendizaje automático (ML). Esa es la clave para empezar a hacer que la IA generativa sea más ecológica mediante un menor consumo de energía.

¿Qué determina la huella de carbono de los modelos de IA generativa?

No todos los grandes modelos generativos son iguales en términos de consumo de energía y emisiones de carbono. Al determinar la huella de carbono de un modelo de aprendizaje automático, hay tres valores distintos que hay que tener en cuenta:

  • la huella de carbono del entrenamiento del modelo
  • la huella de carbono de hacer inferencias (inferir o predecir los resultados mediante nuevos datos de entrada, como un prompt) con el modelo de aprendizaje automático una vez desplegado, y
  • la huella de carbono necesaria para producir todo el hardware informático y las funciones de centro de datos en la nube necesarios.

Los modelos con más parámetros y datos de entrenamiento generalmente consumen más energía y generan más carbono. El GPT-3, el modelo «principal» de ChatGPT, es el tamaño más alto de los modelos generativos o cerca de él. Tiene 175 000 millones de parámetros de modelo y se entrenó con más de 500 000 millones de palabras de texto. Según unoartículo de investigación, la clase reciente de modelos de IA generativa requiere aumentar entre diez y cien veces la potencia de cálculo para entrenar los modelos con respecto a la generación anterior, según el modelo de que se trate. Por lo tanto, la demanda total se duplica aproximadamente cada seis meses.

Los modelos de entrenamiento son los componentes que más energía consumen de la IA generativa.Investigadores han argumentado que se estima que entrenar un «modelo único de aprendizaje profundo de idiomas grandes», como el GPT-4 de OpenAI o el PalM de Google, utiliza alrededor de 300 toneladas de CO2; en comparación, la persona promedio es responsable de crearalrededor de 5 toneladas de CO2 al año, aunque el norteamericano promedio generavarias veces esa cantidad. Otros investigadores calculó que entrenar un modelo de IA generativa de tamaño mediano mediante una técnica llamada «búsqueda de arquitectura neuronal» utilizaba un consumo de electricidad y energía equivalente a 626 000 toneladas de emisiones de CO2, o lo mismo que las emisiones de CO2 que conducir cinco coches estadounidenses promedio a lo largo de su vida útil. Entrenar un único modelo BERT (un gran modelo lingüístico desarrollado por Google) desde cero requeriría la misma huella de energía y carbono que un vuelo transatlántico comercial.

La inferencia, o el uso de los modelos para obtener respuestas a las solicitudes de los usuarios, consume menos energía en cada sesión, pero al final implica muchas más sesiones. A veces, estos modelos solo se entrenan una vez y, luego, se despliegan en la nube y millones de usuarios los utilizan como inferencias. En ese caso, implementar grandes modelos de aprendizaje profundo en la nube con fines de inferencia también consume mucha energía. Analistasinforme que NVIDIA estima que entre el 80 y el 90% del coste energético de las redes neuronales recae en el procesamiento continuo de inferencias una vez entrenado un modelo.

Además de la formación inicial y la inferencia del uso de energía por parte de los grandes modelos generativos, los usuarios y distribuidores de estos modelos emplean cada vez másformación ajustada o basada en indicaciones. Cuando se combina con el modelo generativo original, basado en grandes volúmenes de datos, los ajustes permiten obtener indicaciones y respuestas que se adaptan al contenido específico de la organización. Algunos investigación sugiere que ajustar el entrenamiento consume considerablemente menos energía y potencia de cálculo que el entrenamiento inicial. Sin embargo, si muchas organizaciones adoptan enfoques ajustados y lo hacen con frecuencia, el consumo total de energía podría ser bastante alto.

Aunque es difícil calcular el coste de fabricación de los ordenadores necesarios para ejecutar todo este software de IA, hay motivos para creer que es muy alto. UnoEstudio de 2011 estimó que el 70% de la energía que utiliza un ordenador portátil típico se gasta durante su fabricación, y que los ordenadores de escritorio cuestan aún más. Es probable que los complejos y potentes chips y servidores de la GPU que se utilizan para ejecutar los modelos de IA sean mucho más altos que los de los portátiles y de escritorio.

Cómo hacer que la IA sea más ecológica

Teniendo en cuenta todo eso, existe un movimiento para hacer que el modelado, el despliegue y el uso de la IA sean más sostenibles desde el punto de vista medioambiental. Su objetivo es reemplazar los enfoques que consumen mucha energía por sustitutos más adecuados y respetuosos con el medio ambiente. Tanto los vendedores como los usuarios necesitan cambios para que los algoritmos de IA sean ecológicos, de modo que su utilidad pueda desplegarse ampliamente sin dañar el medio ambiente. Los modelos generativos en particular, dado su alto consumo de energía, tienen que ser más ecológicos antes de generalizarse. Conocemos varias formas diferentes en las que la IA y la IA generativa pueden avanzar en esta dirección, que describimos a continuación.

Utilice los grandes modelos generativos existentes, no genere los suyos propios. Ya hay muchos proveedores de modelos de idiomas e imágenes de gran tamaño, y habrá más. Crearlos y entrenarlos requiere enormes cantidades de energía. Las empresas que no sean los grandes vendedores o los proveedores de nube no necesitan generar sus propios modelos grandes desde cero. Ya tienen acceso a los datos de entrenamiento necesarios y a los enormes volúmenes de capacidades informáticas en la nube, por lo que no necesitan adquirirlas.

Ajuste con precisión los modelos existentes. Si una empresa quiere un modelo generativo que se base en su propio contenido, no debería empezar de cero para entrenar un modelo, sino refinar un modelo existente. El ajuste fino y el entrenamiento rápido en dominios de contenido específicos consumen mucha menos energía que entrenar nuevos modelos grandes desde cero. También puede ofrecer más valor a muchas empresas que los modelos de formación genérica. Este debería ser el objetivo principal de las empresas que deseen adoptar modelos generativos para su propio contenido.

Utilice métodos computacionales que ahorren energía. Otro enfoque para reducir el consumo de energía generativo de la IA consiste en utilizar enfoques menos costosos desde el punto de vista computacional, comoPequeño ML para procesar los datos. El marco TinyML permite a los usuarios ejecutar modelos de aprendizaje automático en dispositivos periféricos pequeños y de bajo consumo, como microcontroladores, con pocos requisitos de ancho de banda (no es necesario enviar los datos al servidor para su procesamiento). Mientras que las CPU generales consumen una media de 70 vatios de energía y las GPU consumen 400 vatios de energía, un microcontrolador pequeño consume solo unos cientos de microvatios (mil veces menos energía) para procesar los datos localmente sin enviarlos a los servidores de datos.

Utilice un modelo grande solo cuando ofrezca un valor significativo. Es importante que los científicos de datos y los desarrolladores sepan dónde aporta valor el modelo. Si el uso de un sistema que consume 3 veces más energía aumenta la precisión del modelo solo entre un 1 y un 3%, no vale la pena el consumo de energía adicional. En términos más generales, el aprendizaje automático y la inteligencia artificial no siempre son necesarios para resolver un problema. Los desarrolladores primero tienen que investigar y analizar varias soluciones alternativas y seleccionar un enfoque según los hallazgos. ElInstituto de Ética de la IA de Montreal, por ejemplo, está trabajando activamente en este problema.

Sea exigente con respecto a cuando utilice la IA generativa. Las herramientas de aprendizaje automático y PNL son revolucionarias para los problemas de salud relacionados con la medicina y la predicción. Son excelentes para predecir peligros naturales, como tsunamis, terremotos, etc. Son aplicaciones útiles, pero las herramientas para generar entradas de blog o crear historias divertidas puede que no sean el mejor uso para estas herramientas que requieren muchos cálculos. Puede que estén agotando la salud de la Tierra más de lo que están ayudando a su gente. Si una empresa emplea la IA generativa para la creación de contenido, debería tratar de garantizar que los modelos se utilicen solo cuando sea necesario o de reducir otros costes de computación, lo que también debería reducir sus presupuestos informáticos generales.

Evalúe las fuentes de energía de su proveedor de nube o centro de datos. La intensidad de carbono de la IA (y el software en general) se puede minimizar mediante el despliegue de modelos en las regiones que sean capaces de utilizar recursos energéticos respetuosos con el medio ambiente y que sean respetuosos con el carbono.Esta práctica ha demostrado una reducción del 75% en las emisiones operativas. Por ejemplo, un modelo formado y que funcione en los EE. UU. puede utilizar energía procedente de combustibles fósiles, pero el mismo modelo se puede utilizar en Quebec, donde la principal fuente de energía es la hidroeléctrica.Google ha empezado recientemente a construir un centro de datos de energía limpia de 735 millones de dólares en Quebec y tiene previsto pasar a una energía libre de carbono las 24 horas del día, los 7 días de la semana También ofrece un»Suite Carbon Sense» para ayudar a las empresas a reducir el consumo de energía en sus cargas de trabajo en la nube. Los usuarios de los proveedores de servicios en la nube pueden ver los anuncios de las empresas sobre cuándo y cómo han desplegado fuentes de energía neutras o sin emisiones de carbono.

Reutilizar modelos y recursos**.** Al igual que otros materiales, la tecnología se puede reutilizar. Se pueden utilizar modelos de código abierto en lugar de entrenar otros nuevos. El reciclaje puede reducir el impacto de las prácticas de IA que producen carbono. Se pueden extraer materias primas para crear nuevas generaciones de los últimos portátiles, procesadores, discos duros y mucho más.

Incluya la actividad de la IA en su monitorización del carbono. Todos los laboratorios de investigación, los proveedores de IA y las empresas que utilizan la IA deben adoptar prácticas de control del carbono para saber cuál es su huella de carbono. También tienen que publicar sus números de presencia para que sus clientes puedan tomar decisiones inteligentes a la hora de hacer negocios relacionados con la IA con ellos. El cálculo de las emisiones de GEI depende de los conjuntos de datos de los proveedores y las empresas de procesamiento de datos, como los laboratorios de investigación, y los proveedores de servicios basados en la IA, como OpenAI. Desde el inicio de las ideas hasta la infraestructura que se utilizará para obtener resultados de investigación, todos tienen que seguir enfoques de IA ecológica. Hay varios paquetes y herramientas en línea disponibles, comoCódigo Carbon, Algoritmos ecológicos, y Impacto de CO2 en ML, que se puede incluir en su código durante el tiempo de ejecución para estimar sus emisiones y debemos animar a la comunidad de desarrolladores a tener en cuenta estas métricas de rendimiento para establecer puntos de referencia y evaluar los modelos de aprendizaje automático.

Por supuesto, el uso de modelos de IA generativa por parte de las organizaciones y las personas tiene muchas consideraciones: éticas, legales e incluso filosóficas y psicológicas. Sin embargo, vale la pena añadir las preocupaciones ecológicas a la mezcla. Podemos debatir las implicaciones futuras a largo plazo de estas tecnologías para la humanidad, pero esas consideraciones serán discutibles si no tenemos un planeta habitable sobre el que debatirlas.

Related Posts