Como tornar a IA generativa mais ecológica

Como tornar a IA generativa mais ecológica

A IA generativa é impressionante, mas os custos ambientais e o impacto ocultos desses modelos geralmente são ignorados. As empresas podem tomar oito medidas para tornar esses sistemas mais ecológicos: usar grandes modelos generativos existentes, não gerar seus próprios; aperfeiçoar os modelos existentes; usar métodos computacionais que economizam energia; usar um modelo grande somente quando ele oferecer valor significativo; ser criterioso ao usar a IA generativa; avaliar as fontes de energia do seu provedor de nuvem ou data center; reutilizar modelos e recursos; incluir a atividade de IA em seu monitoramento de carbono.


Embora os observadores tenham se maravilhado com as habilidades das novas ferramentas generativas de IA, como ChatGPT, BERT, LaMDA, GPT-3, DALL-E-2, MidJourney e Stable Diffusion, os custos ambientais ocultos e o impacto desses modelos são frequentemente ignorados. O desenvolvimento e o uso desses sistemas têm sido extremamente intensivos em energia e a manutenção de sua infraestrutura física envolve consumo de energia. No momento, essas ferramentas estão apenas começando a ganhar força, mas é razoável pensar que esses custos estão prestes a crescer — e dramaticamente — em um futuro próximo.

O setor de data center, que se refere a uma instalação física projetada para armazenar e gerenciar sistemas de tecnologia da informação e comunicação, é responsável por 2 a 3% dos gases de efeito estufa (GEE) globaisemissões. O volume de dados em todo o mundo dobra de tamanho a cada dois anos. Os servidores do data center que armazenam esse mar cada vez maior de informações requerem grandes quantidades de energia e água (diretamente para resfriamento e indiretamente para gerar eletricidade não renovável) para operar servidores, equipamentos e sistemas de resfriamento de computadores. Esses sistemas representam cerca de 7% da Dinamarca e2,8% dos Estados Unidos” uso de eletricidade.

Quase todos os modelos generativos de IA mais conhecidos são gerados por provedores de nuvem em “hiperescala” (muito grandes) com milhares de servidores que produzem grandes pegadas de carbono; em particular, esses modelos são executados em chips de unidades de processamento gráfico (GPU). Eles exigem de 10 a 15 vezes a energia que uma CPU tradicional precisa porque uma GPU usa mais transistores nas unidades lógicas aritméticas. Atualmente, os três principais provedores de nuvem em hiperescala são Amazon AWS, Google Cloud e Microsoft Azure.

Se tentarmos entender o impacto ambiental do ChatGPT através das lentes da pegada de carbono, devemos primeiro entender o ciclo de vida da pegada de carbono dos modelos de aprendizado de máquina (ML). Essa é a chave para começar a tornar a IA generativa mais ecológica por meio de um menor consumo de energia.

O que determina a pegada de carbono dos modelos generativos de IA?

Todos os grandes modelos geradores não são iguais em termos de uso de energia e emissões de carbono. Ao determinar a pegada de carbono de um modelo de ML, há três valores distintos a serem considerados:

  • a pegada de carbono do treinamento do modelo
  • a pegada de carbono da execução da inferência (inferindo ou prevendo resultados usando novos dados de entrada, como um prompt) com o modelo de ML depois de implantado, e
  • a pegada de carbono necessária para produzir todo o hardware de computação e os recursos de data center em nuvem necessários.

Modelos com mais parâmetros e dados de treinamento geralmente consomem mais energia e geram mais carbono. O GPT-3, o modelo “pai” do ChatGPT, está no topo ou próximo ao topo dos modelos generativos em tamanho. Ele tem 175 bilhões de parâmetros de modelo e foi treinado em mais de 500 bilhões de palavras de texto. De acordo com umartigo de pesquisa, a recente classe de modelos generativos de IA exige um aumento de dez a cem vezes no poder de computação para treinar modelos em relação à geração anterior, dependendo do modelo envolvido. Assim, a demanda geral está dobrando a cada seis meses.

Os modelos de treinamento são os componentes que consomem mais energia da IA generativa.Pesquisadores argumentaram que o treinamento de um “modelo único de aprendizado profundo de linguagem grande”, como o GPT-4 da OpenAI ou o PalM do Google, usa cerca de 300 toneladas de CO2 — para comparação, a pessoa média é responsável por criarcerca de 5 toneladas de CO2 por ano, embora a média norte-americana gerevárias vezes essa quantidade. Outros pesquisadores calculou que treinar um modelo generativo de IA de médio porte usando uma técnica chamada “busca de arquitetura neural” usou eletricidade e consumo de energia equivalentes a 626.000 toneladas de emissões de CO2 — ou o mesmo que as emissões de CO2 de dirigir cinco carros americanos comuns durante sua vida útil. Treinar um único modelo BERT (um grande modelo de linguagem desenvolvido pelo Google) do zero exigiria a mesma pegada de energia e carbono de um voo comercial transatlântico.

A inferência, ou o uso dos modelos para obter respostas às solicitações do usuário, consome menos energia a cada sessão, mas acaba envolvendo muito mais sessões. Às vezes, esses modelos são treinados apenas uma vez e depois implantados na nuvem e usados por milhões de usuários para inferência. Nesse caso, a implantação de grandes modelos de aprendizado profundo na nuvem para fins de inferência também consome muita energia. Analistasnotícia que a NVIDIA estima que 80— 90% do custo de energia das redes neurais está no processamento contínuo de inferência após o treinamento de um modelo.

Além do treinamento inicial e da inferência do uso de energia por grandes modelos generativos, os usuários e revendedores desses modelos estão empregando cada vez maistreinamento de ajuste fino ou baseado em solicitações. Quando combinado com o modelo generativo original treinado em grandes volumes de dados, o ajuste fino permite solicitações e respostas adaptadas ao conteúdo específico de uma organização. Alguns pesquisa sugere que o treinamento de ajuste fino consome consideravelmente menos energia e poder computacional do que o treinamento inicial. No entanto, se muitas organizações adotarem abordagens refinadas e o fizerem com frequência, o consumo geral de energia poderá ser bastante alto.

Embora seja difícil calcular o custo de fabricação dos computadores necessários para executar todo esse software de IA, há motivos para acreditar que ele seja muito alto. Umestudo de 2011 estimou que 70% da energia usada por um laptop típico é consumida durante sua fabricação e que os computadores desktop são ainda maiores. É provável que os chips e servidores de GPU complexos e poderosos usados para executar modelos de IA sejam muito superiores aos laptops e desktops.

Como tornar a IA mais ecológica

Diante de tudo isso, há um movimento para tornar a modelagem, a implantação e o uso da IA mais ambientalmente sustentáveis. Seu objetivo é substituir abordagens que consomem muita energia por substitutas mais adequadas e ambientalmente conscientes. É necessária uma mudança de fornecedores e usuários para tornar os algoritmos de IA verdes, de modo que sua utilidade possa ser amplamente implantada sem prejudicar o meio ambiente. Os modelos generativos, em particular, devido ao alto consumo de energia, precisam se tornar mais ecológicos antes de se tornarem mais difundidos. Conhecemos várias maneiras diferentes pelas quais a IA e a IA generativa podem se mover nessa direção, as quais descrevemos abaixo.

Use grandes modelos generativos existentes, não gere seus próprios. Já existem muitos fornecedores de grandes modelos de linguagem e imagem, e haverá mais. Criá-los e treiná-los requer enormes quantidades de energia. Há pouca necessidade de empresas que não sejam grandes fornecedores ou provedores de nuvem gerarem seus próprios modelos grandes do zero. Eles já têm acesso aos dados de treinamento necessários e a grandes volumes de capacidade de computação na nuvem, então não precisam adquiri-los.

Ajuste os modelos existentes do trem. Se uma empresa quer um modelo generativo treinado em seu próprio conteúdo, ela não deve começar do zero para treinar um modelo, mas sim refinar um modelo existente. O ajuste fino e o treinamento imediato em domínios de conteúdo específicos consomem muito menos energia do que treinar novos modelos grandes do zero. Também pode agregar mais valor a muitas empresas do que modelos treinados genericamente. Esse deve ser o foco principal das empresas que desejam adotar modelos generativos para seu próprio conteúdo.

Use métodos computacionais de conservação de energia. Outra abordagem para reduzir o consumo generativo de energia de IA é usar abordagens menos caras do ponto de vista computacional, comoTinyML para processar os dados. A estrutura TinyML permite que os usuários executem modelos de ML em dispositivos de ponta pequenos e de baixa potência, como microcontroladores com baixos requisitos de largura de banda (sem necessidade de enviar os dados ao servidor para processamento). Enquanto as CPUs em geral consomem uma média de 70 watts de energia e as GPUs consomem 400 watts de energia, um pequeno microcontrolador consome apenas algumas centenas de microwatts — mil vezes menos energia — para processar os dados localmente sem enviá-los aos servidores de dados.

Use um modelo grande somente quando ele oferecer um valor significativo. É importante que cientistas e desenvolvedores de dados saibam onde o modelo agrega valor. Se o uso de um sistema que consome 3 vezes mais energia aumentar a precisão de um modelo em apenas 1— 3%, não vale a pena o consumo extra de energia. De forma mais ampla, o aprendizado de máquina e a inteligência artificial nem sempre são necessários para resolver um problema. Os desenvolvedores precisam primeiro pesquisar e analisar várias soluções alternativas e selecionar uma abordagem de acordo com as descobertas. O Instituto de Ética em IA de Montreal, por exemplo, está trabalhando ativamente nesse problema.

Seja criterioso ao usar a IA generativa. As ferramentas de aprendizado de máquina e PNL são revolucionárias para predição e problemas de saúde relacionados à medicina. Eles são ótimos para prever riscos naturais, como tsunamis, terremotos etc. Esses são aplicativos úteis, mas ferramentas apenas para gerar postagens em blogs ou criar histórias divertidas podem não ser o melhor uso para essas ferramentas de computação pesada. Eles podem estar esgotando a saúde da Terra mais do que ajudando seu povo. Se uma empresa está empregando IA generativa para criação de conteúdo, ela deve tentar garantir que os modelos sejam usados somente quando necessário ou reduzir outros custos de computação, o que também deve reduzir seus orçamentos gerais de computação.

Avalie as fontes de energia do seu provedor de nuvem ou data center. A intensidade de carbono da IA (e do software em geral) pode ser minimizada com a implantação de modelos em regiões que sejam capazes de usar recursos de energia ecológicos e que sejam compatíveis com o carbono.Essa prática mostrou uma redução de 75% nas emissões operacionais. Por exemplo, um modelo treinado e operando nos EUA pode usar energia de combustíveis fósseis, mas o mesmo modelo pode ser executado em Quebec, onde a fonte de energia primária é hidrelétrica.Google começou recentemente a construir um data center de energia limpa de 735 milhões de dólares em Quebec e planeja migrar para energia livre de carbono 24 horas por dia, 7 dias por semana, até 2030. Ele também oferece um”Suíte Carbon Sense” para ajudar as empresas a reduzir o consumo de energia em suas cargas de trabalho na nuvem. Os usuários de provedores de nuvem podem monitorar os anúncios das empresas sobre quando e como elas implantaram fontes de energia neutras em carbono ou sem carbono.

Reutilize modelos e recursos**.** Assim como outros materiais, a tecnologia pode ser reutilizada. Modelos de código aberto podem ser usados em vez de treinar novos. A reciclagem pode reduzir o impacto das práticas de IA que produzem carbono. As matérias-primas podem ser extraídas para criar novas gerações dos mais recentes laptops, processadores, discos rígidos e muito mais.

Inclua a atividade de IA em seu monitoramento de carbono. As práticas de monitoramento de carbono precisam ser adotadas por todos os laboratórios de pesquisa, fornecedores de IA e empresas que usam IA para saber qual é sua pegada de carbono. Eles também precisam divulgar seus números de presença para que seus clientes tomem decisões inteligentes sobre como fazer negócios relacionados à IA com eles. O cálculo das emissões de GEE depende dos conjuntos de dados dos fornecedores de dados e das empresas de processamento, como laboratórios de pesquisa e provedores de serviços baseados em IA, como a OpenAI. Desde o início das ideias até a infraestrutura que será utilizada para obter resultados de pesquisa, todos precisam seguir abordagens verdes de IA. Existem vários pacotes e ferramentas online disponíveis, comoCódigo Carbon, Algoritmos verdes, e Impacto do ML CO2, que pode ser incluída em seu código em tempo de execução para estimar suas emissões, e devemos incentivar a comunidade de desenvolvedores a considerar essas métricas de desempenho para estabelecer benchmarks e avaliar modelos de ML.

Obviamente, há muitas considerações envolvidas no uso de modelos generativos de IA por organizações e indivíduos: éticas, legais e até filosóficas e psicológicas. As preocupações ecológicas, no entanto, merecem ser adicionadas à mistura. Podemos debater as implicações futuras de longo prazo dessas tecnologias para a humanidade, mas essas considerações serão discutíveis se não tivermos um planeta habitável sobre o qual debatê-las.

 

Related Posts