Ansiedade generativa por IA

A cacofonia de alarmes em torno da IA generativa deixou os líderes desorientados e preocupados, principalmente porque a IA generativa está disponível para todos em suas organizações, não apenas para cientistas de dados. Há pelo menos quatro riscos intersetoriais que as organizações precisam enfrentar: o problema da alucinação, o problema da deliberação, o problema do vendedor desprezível e o problema da responsabilidade compartilhada. Compreender esses riscos detalhadamente pode ajudar as empresas a planejar como desejam enfrentá-los.

Líderes de todos os setores estão enfrentando pressão de seus conselhos e CEOs para descobrir onde uma solução generativa de IA pode ser implementada. A lógica é familiar: por um lado, há entusiasmo em aproveitar novas oportunidades e, por outro, o medo de ficar atrás da concorrência. Mas em meio ao impulso para inovar, também existe uma ansiedade bem fundamentada.Samsung baniu o uso do ChatGPT depois que os funcionários carregaram dados confidenciais da empresa na plataforma que vazaram posteriormente. A tendência bem documentada da IA de gerar resultados discriminatórios também se aplica à IA generativa. Enquanto isso, empresas de IA generativa estão enfrentando ações judiciais: StableDiffusion, que gera imagens,enfrenta uma ação judicial da Getty Images, enquanto Microsoft, GitHub e OpenAI enfrentam uma ação coletiva.

As pessoas e empresas responsáveis por essa tecnologia também estão tocando alarmes, desde vários “padrinhos da IA”, como Geoffrey Hinton e Yoshua Bengio, até nomes como Sam Altman, CEO da OpenAI. Os humanos, eles afirmam, podem enfrentar a extinção — ou pelo menos o domínio de seus senhores robôs —em um futuro próximo. Outras vozes alertam sobre a facilidade de criar informações erradas de alta qualidade campanhas na véspera de uma eleição presidencial dos EUA enquanto aindaoutros alertam sobre a potencial catástrofe econômica causado pela substituição de trabalhadores humanos pela IA.

Nos últimos meses assessorando clientes corporativos, descobri que líderes corporativos, tanto do lado tecnológico quanto do lado não tecnológico, estavam confusos quanto ao que deveriam prestar atenção. A cacofonia de alarmes os deixou desorientados e preocupados, principalmente porque a IA generativa está disponível para todos em suas organizações, não apenas para cientistas de dados. Como comentou um cliente, explicando por que eles precisam de um programa de risco ético de IA: “Não é que algo esteja pegando fogo. É que todos em nossa organização estão segurando um lança-chamas.”

Com quais riscos você realmente precisa se preocupar?

Embora a IA generativa apresente muitos riscos éticos genuínos, esses riscos não se aplicam a todas as corporações.

Primeiro, mesmo que admitamos, para fins de argumentação, que o efeito cumulativo da IA na economia resulta em desemprego em massa, isso não significa que nenhuma empresa em particular tenha a obrigação de impedir isso. Afinal, em uma visão padrão das responsabilidades das empresas, elas não têm a obrigação de contratar ou reter funcionários. Pode ser eticamente bom manter as pessoas ativas quando elas poderiam ser substituídas por uma IA mais eficiente e/ou mais barata — e, em alguns casos, eu encorajaria as empresas a fazerem exatamente isso — mas isso geralmente não é considerado um requisito ético.

Em segundo lugar, a ameaça da disseminação de desinformação (eleitoral) é sem dúvida um dos maiores riscos que as democracias modernas enfrentam — certamente está entre os três primeiros — mas a maioria das corporações não está no negócio de ajudar indivíduos ou empresas a divulgar informações. É improvável que esse risco esteja relacionado à sua organização, a menos que seja uma empresa de mídia social.

Em terceiro lugar, mesmo que admitamos que a IA representa um risco existencial para a raça humana em um futuro próximo, provavelmente há muito pouco que sua organização possa fazer a respeito. Se você pode fazer algo sobre isso, então, por favor, faça.

Agora que colocamos esses riscos éticos de lado, vamos abordar aqueles que a maioria das empresas precisa enfrentar.

A primeira coisa que as empresas precisam fazer é perguntar:

1. Quais riscos éticos, de reputação, regulatórios e legais a IA generativa compartilha com a IA não generativa?
2. Quais riscos éticos, de reputação, regulatórios e legais são específicos ou exacerbados pela IA generativa em comparação com a IA não generativa?

Quanto à primeira pergunta, a IA não generativa podecrie facilmente resultados tendenciosos ou discriminatórios. Também pode produzir saídas de uma forma que não pode ser explicada , conhecido como o problema da caixa preta. E a IA não generativa pode ser treinada ou criar dados que violem a privacidade de outras pessoas. Finalmente, muitos riscos éticos da IA não generativa são específicos para cada caso de uso. Isso ocorre porque os tipos de riscos éticos que uma organização enfrenta dependem dos vários contextos nos quais a IA não generativa é implantada.

Ações generativas de IA tudo desses riscos éticos com IA não generativa. Tanto os geradores de imagem quanto de texto demonstraramvieses em suas saídas. Com relação ao problema da caixa preta, os próprios cientistas de dados não conseguem explicar como a produção ficou tão boa. E como esses modelos são treinados com dados extraídos da Internet, esses dados incluem dados sobre indivíduos e dados que são propriedade intelectual de pessoas ou organizações.

Finalmente, assim como acontece com a IA não generativa, os riscos éticos da IA generativa também são específicos para cada caso de uso. Mas há uma reviravolta. A IA generativa é uma IA de uso geral. Isso significa que ele pode ser usado em inúmeros casos de uso em todos os setores. Além disso, as organizações agora têm milhares (se não dezenas ou centenas de milhares) de funcionários que têm acesso a essas novas ferramentas. As organizações não precisam apenas entender os riscos éticos específicos do caso de uso da IA projetados por cientistas e engenheiros de dados, mas também os inúmeros contextos nos quais seus funcionários podem usar uma IA.

Isso nos leva à nossa segunda pergunta: quais riscos éticos, de reputação, regulatórios e legais são específicos ou exacerbados pela IA generativa em comparação com a IA não generativa?

Riscos éticos da IA generativa

Há pelo menos quatro riscos intersetoriais que as organizações precisam enfrentar: o problema da alucinação, o problema da deliberação, o problema do vendedor desprezível e o problema da responsabilidade compartilhada. Compreender esses riscos detalhadamente pode ajudar as empresas a planejar como desejam enfrentá-los.

O problema da alucinação

Um risco significativo relacionado a LLMs como o ChatGPT da OpenAI, o Bing da Microsoft e o Bard do Google é que elesgerar informações falsas. Exemplos de como isso é arriscado são abundantes. Pense em médicos usando um LLM para diagnosticar pacientes, consumidores usando um LLM para pedir conselhos financeiros ou de relacionamento ou consumidores solicitando informações sobre um produto, para citar alguns dos inúmeros contextos em que um LLM pode ser implantado.

Há alguns aspectos significativos do problema da alucinação que precisam ser enfatizados.

Primeiro, a verificação da veracidade das reivindicações de um LLM não pode ser automatizada. Não há software que possa executar um programa que compara as reivindicações com a realidade. A verificação da verdade/falsidade de uma afirmação deve ser feita manualmente.

Em segundo lugar, as pessoas tendem a confiar nos resultados dos programas de software. Na verdade, a tendência está tão bem estabelecida que há um nome para ela: “viés de automação”. Portanto, a verificação manual que precisa ser realizada é algo que deve ocorrer contra a força compensatória do viés de automação. O problema é exacerbado pelo tom de autoridade que os LLMs costumam manifestar. Os LLMs não estão apenas errados com muita frequência, mas também frequentemente errados com confiança.

Em terceiro lugar, as pessoas são preguiçosas e querem respostas rápidas — o que é um dos motivos para recorrer a um LLM em primeiro lugar — e a verificação manual da veracidade dos resultados pode exigir um pouco de esforço e ocorrer lentamente.

Quarto, como destaca a analogia do lança-chamas acima, essa é uma ferramenta à qual literalmente todos em sua organização têm acesso.

Em quinto e último lugar, muitas pessoas não sabem que os LLMs defendem alegações falsas com confiança, tornando-os particularmente vulneráveis à dependência excessiva da ferramenta.

É importante destacar, nesse contexto, que simplesmente dizer aos funcionários que os LLMs podem gerar informações falsas não é suficiente para impedir que eles confiem automaticamente nelas. Conhecimento é uma coisa; ação é outra. Racionalizar que “essa saída provavelmente está boa” provavelmente será comum devido ao viés de automação, à preguiça e à necessidade de velocidade. Processos de devida diligência, conformidade com esses processos e monitoramento de uso são necessários para combater esses inimigos, assim como envolver outras pessoas que possam corrigir as deficiências humanas demais de outra pessoa.

O problema da deliberação

Os LLMs parecem ter o poder de deliberar — de apresentar um raciocínio coerente que pareça pensar — mas, na realidade, eles estão gerando um fac-símile fino e que pode ser perigoso. Suponha que um consultor financeiro não tenha certeza sobre o que recomendar e, portanto, consulte um LLM para obter orientação. O LLM pode recomendar uma determinada estratégia de investimento, completa com o suposto raciocínio por trás do conselho. Mas não se deixe enganar: mesmo que pareça que um LLM está fornecendo uma explicação por trás de sua produção, na verdade está apenas gerando uma razão plausível, com base em um processo de previsão de quais palavras combinam.

Esse ponto é um pouco sutil, então vamos dedicar nosso tempo a ele.

O objetivo dos LLMs é encontrar o próximo conjunto de palavras que seja o mais coerente com as palavras que vieram antes dele. Suas saídas devem fazer sentido para o usuário. O que é tão surpreendente sobre LLMs recentes como o GPT-4 é que eles podem fazer sentido sem saber o que estão dizendo. Um LLM não entende seus resultados. Não compreende o significado das palavras. É um indicador de próximas palavras surpreendentemente bem-sucedido (embora longe de ser perfeito).

Isso significa que quando você pede a um LLM uma explicação sobre por que ele recomendou X, na verdade, não explica por que recomendou X. Ele prevê as próximas palavras que “acha” coerentes com a conversa que ocorreu até agora. Faz não articule o motivos recomendou o X porque ele não fornece saídas por motivos. Não delibera nem decide. Ele apenas prevê a probabilidade da próxima palavra. Então não posso forneça os motivos pelos quais recomendou X porque sua saída é baseada em probabilidade, não em motivos. Em vez disso, fabrica razões — que, para o usuário desavisado, parecem genuinamente as razões por trás das saídas.

Isso gera pelo menos dois problemas.

Primeiro, é fácil se deixar enganar por isso.

Suponha, por exemplo, que um usuário supere seu viés de automação, preguiça e necessidade de velocidade e comece a investigar o LLM em busca de uma justificativa para sua resposta. Presumivelmente, o usuário consultou o LLM em primeiro lugar porque não tinha certeza da resposta em uma situação complexa. Agora, o LLM explica pacientemente e com autoridade ao usuário sua (alegada) justificativa para sua recomendação. Agora é muito fácil para o usuário se submeter ao LLM aparentemente autoritário e deliberativo. E agora estamos de volta onde estávamos antes de seus esforços para superar seu preconceito, preguiça e necessidade de velocidade.

Em segundo lugar, às vezes importa que uma pessoa delibere.

Embora existam alguns cenários em que o desempenho é o que importa, há outros em que importa para nós — ou pelo menos para alguns de nós — que haja uma pessoa do outro lado deliberando sobre como nos tratar adequadamente. Em um contexto de justiça criminal, por exemplo, você pode se importar não apenas que a juíza obtenha a resposta certa, mas também que ela se envolva em deliberações. O pensamento dela sobre você e seu caso faz parte do que é ser respeitado pelo juiz. Transferir essa decisão para um computador é, sem dúvida, eticamente questionável.

Da mesma forma, queremos um bom aconselhamento financeiro, mas também queremos saber se estamos recebendo esse conselho de alguém que está deliberando ativamente sobre o que é melhor para nós. Há um elemento humano nos relacionamentos — especialmente em situações de alto risco — do qual, sem dúvida, não queremos nos livrar. Mais especificamente, mesmo que você, leitor, não se sinta assim, mas alguns dos clientes da sua organização provavelmente se sentem assim. Nesse caso, por uma questão de respeito por seus desejos de manter esse elemento humano, não é necessário substituir pessoas deliberativas por software falso-deliberativo.

Assim como no problema da alucinação, os remédios para o problema da deliberação são processos de devida diligência, monitoramento e intervenção humana.

O problema do vendedor desprezível

Talvez o melhor método para vender alguma coisa para alguém seja conversar com eles. Em alguns casos, os vendedores vendem enquanto estão em alta. Em outros, há o vendedor desprezível ou esperto que se destaca em pressionar os botões emocionais das pessoas para fazê-las comprar coisas que elas realmente não querem. Na verdade, durante um emprego de verão trabalhando para uma locadora de veículos, aprendi — e, na época, executei com orgulho — uma tática para fazer com que as pessoas comprassem um seguro de carro (desculpe — “cobertura”; não podíamos dizer “seguro”), provocando o medo do locatário do que poderia dar errado em um carro. Da mesma forma, no design de sites, existem métodos para manipular os usuários para que, entre outras coisas, desistam de tentar cancelar sua conta; esses são chamados de”padrões escuros.”

Agora, suponha que algumas pessoas em sua organização — motivadas pelo conhecido coquetel de incentivos financeiros e pressão para atingir determinados números — desenvolvam um chatbot de vendas de LLM que seja muito bom em manipular pessoas. Ela “leu” todos os livros sobre como apertar o botão das pessoas e todos os livros sobre negociação e foi instruída a conversar com os consumidores de uma forma compatível com o que aprendeu.

Essa é uma ótima receita para minar a confiabilidade da sua organização. Quando os consumidores são sistematicamente enganados em grande escala pelo seu chatbot LLM voltado para o consumidor, você perderá confiança suficiente para garantir gastar mais dinheiro do que ganhou com o truque para recuperar essa confiança. (Sem falar que é eticamente grosseiro enganar sistemicamente as pessoas para que comprem seus produtos.)

O problema da responsabilidade compartilhada

Na maioria das vezes, os modelos generativos de IA, também chamados de “modelos básicos”, são criados por algumas empresas. Se sua organização obtém sua IA generativa de uma dessas empresas, é provável que sua organização “ajuste” esse modelo. Seus cientistas e engenheiros de dados internos estão lá para fazer esse trabalho. Mas se algo der errado eticamente ao implantar sua IA generativa ajustada, surge a pergunta: Quem é responsável?

A resposta a essa pergunta é complicada. Primeiro, os modelos de fundação geralmente são caixas pretas. Isso significa que nós — incluindo cientistas de dados — não podemos explicar como a IA chega às suas saídas com base nas entradas. Em segundo lugar, muitas empresas que criam os modelos básicos não são particularmente transparentes sobre as decisões tomadas durante os ciclos de vida de design, construção e validação da IA. Por exemplo, eles podem não compartilhar quais dados usaram para treinar a IA. Portanto, sua organização enfrenta a questão: temos informações suficientes do fornecedor que construiu o modelo básico para que possamos fazer a devida diligência ética, reputacional, regulatória e legal à medida que ajustamos e implantamos o modelo?

Deixe-me dizer isso de forma diferente. Suponha que sua organização implemente um modelo generativo de IA e as coisas sigam eticamente de lado. Se sua organização tivesse informações suficientes do fornecedor do modelo básico, poderia Se você tiver feito testes que detectariam o problema, mas não os fiz, então (tudo o mais) a responsabilidade recai sobre os ombros de sua organização. Por outro lado, se sua organização não tiver informações suficientes para não poder realizar a devida diligência de forma eficaz, a responsabilidade recai tanto sobre o fornecedor quanto sobre sua organização. Depende do fornecedor porque ele deveria ter fornecido as informações de que sua organização precisava para fazer a devida diligência. A culpa é da sua organização porque ou suas equipes não perceberam que não tinham informações suficientes ou sabiam e decidiram seguir em frente de qualquer maneira.

Isso nos mostra a importância de uma análise de viabilidade ao adquirir e depois ajustar um modelo generativo de IA. Parte dessa análise deve incluir se a equipe da sua organização pode avaliar o que precisa fazer a devida diligência, se obterá essas informações do fornecedor e quais são os parâmetros de referência para “ser suficientemente seguro para implantação”.

Gerenciando esse risco

À luz desses problemas, algumas empresas decidiram proibir o uso de IA generativa em suas organizações. Isso não é sensato. Na verdade, é um pouco como dizer aos adolescentes que se abstenham e depois se recusarem a oferecer educação sexual segura; coisas ruins vão acontecer. Esse é um dos motivos pelos quais a educação em toda a empresa sobre o uso seguro da IA generativa — incluindo processos fáceis e claramente articulados pelos quais eles podem levantar questões aos especialistas e autoridades apropriados da sua organização — precisa ser priorizada de uma forma que não era antes da IA generativa.

Dito isso, os riscos éticos da IA generativa não são tão novos que desafiem as abordagens existentes para projetar e implementar um programa de risco ético de IA. Os quatro problemas articulados acima destacam a necessidade de um foco adicional nesses tipos de riscos, mas as estratégias básicas para abordá-los são uma peça que se aplica à IA não generativa, incluindo, entre outras coisas, um processo de devida diligência de risco ético que ocorre em cada estágio do ciclo de vida da IA, um comitê de risco ético de IA, aprendizado e desenvolvimento de riscos éticos de IA em toda a empresa e métricas e KPIs para medir a implantação, conformidade e impacto deseu programa de risco ético de IA.