Uma nova pesquisa analisou até que ponto os funcionários de um varejista de moda seguiram as recomendações de estoque de dois algoritmos: um cujo funcionamento era fácil de entender e outro indecifrável. Surpreendentemente, eles aceitaram a orientação do algoritmo ininterpretável com mais frequência.
Universidade de Georgetown Timothy DeStefano e colegas — Michael Menietti e Luca Vendraminelli, de Harvard, e Katherine Kellogg, do MIT — analisaram as decisões de estoque de 425 produtos de uma varejista de moda de luxo dos EUA em 186 lojas. Metade das decisões foi tomada depois que os funcionários receberam recomendações de um algoritmo de fácil compreensão, a outra metade após recomendações de um que não pôde ser decifrado. Uma comparação das decisões mostrou que os funcionários seguiram a orientação do algoritmo não interpretável com mais frequência. A conclusão: as pessoas podem confiar mais na IA quando não conseguem ver como ela funciona.
Professor DeStefano, defenda sua pesquisa.
De Stefano: Pesquisas anteriores demonstraram que os tomadores de decisão geralmente relutam em aceitar a orientação gerada pela IA, consciente ou inconscientemente, e a rejeitam rotineiramente. Isso é um problema para empresas que gastam muito tempo e dinheiro em sistemas de IA.
Fizemos uma parceria com a Tapestry, a empresa-mãe da Coach, Kate Spade e Stuart Weitzman, para explorar essa relutância e como combatê-la. A empresa tem quase 1.500 lojas e vendas anuais de 6,7 bilhões de dólares, e otimizar as alocações de produtos e administrar uma cadeia de suprimentos eficiente são cruciais para seu sucesso. Os funcionários determinam as alocações semanais de estoque para cada loja analisando as previsões de curto prazo, que precisam ser o mais precisas possível.
Historicamente, a Tapestry usava um algoritmo baseado em regras para ajudar os alocadores a estimar a demanda. Esse era um modelo que eles podiam entender a partir de sua experiência diária e cujas informações eles podiam ver. Com o objetivo de aumentar a precisão, a empresa desenvolveu um modelo de previsão mais sofisticado que era uma “caixa preta” para os usuários. Designamos aleatoriamente um dos dois sistemas para fornecer orientação para cada decisão de produto nas três semanas de nosso estudo. Depois de ver as recomendações, os alocadores podem enviar a quantidade sugerida ou se desviar da orientação e enviar um número diferente de produtos. Acontece que as remessas estavam até 50% mais próximas das recomendações geradas pelo sistema de caixa preta do que as do algoritmo mais simples baseado em regras, sugerindo que os funcionários confiavam muito mais no modelo da caixa preta.
HBR: Esse é um resultado surpreendente! Por que você acha que isso aconteceu?
De fato, nossa descoberta vai contra o pensamento convencional, que afirma que as pessoas têm maior probabilidade de aceitar a orientação de sistemas que elas possam entender.
Um dos motivos pelos quais os alocadores rejeitaram o sistema menos sofisticado tem a ver com o que chamamos de “solução de problemas com muita confiança”. Isso ocorre quando os tomadores de decisão acreditam que entendem o raciocínio de um modelo melhor do que realmente entendem. Eles usam sua experiência para se ajustar ao que consideram deficiências no modelo.
Os funcionários que estudamos frequentemente desenvolviam histórias sobre o funcionamento interno do algoritmo interpretável e por que precisavam ignorar sua orientação. Por exemplo, em uma entrevista realizada após o experimento, alguém nos contou sobre o ajuste das quantidades de produtos sugeridas pelo modelo após argumentar que um aumento único nas vendas deve estar relacionado ao draft da NFL e deveria ser descontado. Não sabemos se o rascunho de fato contribuiu para o aumento, mas o alocador confiou nessa explicação.
Eu posso ver por que as pessoas podem superestimar seu conhecimento de um modelo bastante simples. Mas por que eles aceitariam tanto uma que é impenetrável?
Embora os funcionários não soubessem quantos dados foram usados no modelo não interpretável ou o que o modelo havia feito com eles, eles sabiam que o modelo havia sido desenvolvido e testado com a contribuição de alguns de seus colegas, o que lhes dava confiança. É um exemplo do que é conhecido como “prova social”. Um alocador nos disse: “Com o algoritmo ininterpretável, muitas vezes não concordamos com recomendações específicas. Não é como se confiássemos em cada recomendação feita pelo modelo. É que confiamos no modelo em um nível mais macro, porque nossos colegas estiveram envolvidos em seu desenvolvimento.”
Quando os usuários consideraram sua própria experiência, eles obtiveram melhores resultados?
Pelo contrário, porque o modelo mais sofisticado era muito bom! Estudamos mais de 17.000 decisões de alocação, analisando o desempenho de cada produto nas duas semanas após a decisão de estoque. As decisões associadas ao modelo de caixa preta tiveram mais sucesso do que aquelas associadas ao modelo mais transparente, justamente porque as pessoas estavam muito mais inclinadas a seguir seus conselhos. Eles geraram maiores vendas e menos falta de estoque e geraram 20% a mais de receita.
Alguma outra coisa afetou se as pessoas aceitaram ou rejeitaram as recomendações dos modelos?
O grau de incerteza que um funcionário sentia ao tomar uma decisão específica era importante e variava de acordo com o volume de vendas da loja em questão. As decisões de estoque para lojas de alto volume provocaram a maior incerteza porque as consequências das alocações incorretas foram maiores: quantidades potencialmente maiores de vendas perdidas ou excesso de estoque. As pessoas estavam muito mais propensas a aceitar as recomendações do modelo ininterpretável do que as do modelo interpretável ao alocar produtos para essas lojas. Com o modelo interpretável, o elevado nível de incerteza levou as pessoas a investigar suas sugestões e rejeitá-las.
Como você faria com que os trabalhadores usassem a orientação de um algoritmo o tempo todo?
Você precisa medir constantemente o quanto os funcionários confiam em seu sistema. Se você achar que eles confiam nisso em alguns contextos mais do que em outros, você vai querer descobrir o porquê. Eles podem ser céticos em relação à IA porque ela tem bugs ou oferece recomendações muito diferentes do que sua experiência ou intuição lhes dizem. Você precisa determinar se eles estão sendo racionais em sua desconfiança. Depois de entender o que está por trás disso, você pode desenvolver um treinamento direcionado para melhorar a aceitação da capacidade de tomada de decisão da ferramenta.
Esse não é um fenômeno novo. Sempre que novas tecnologias são lançadas, as pessoas podem inicialmente não estar dispostas a aceitá-las.
Se você estivesse introduzindo uma ferramenta de recomendação baseada em IA para seus funcionários, você a tornaria ininterpretável?
Antes de lançar uma nova ferramenta, eu fazia com que a equipe de ciência de dados ou quem a estivesse criando se reunisse com as pessoas que a usariam e incluísse algumas delas no processo de desenvolvimento. Esse tipo de transparência e envolvimento dos funcionários gera confiança entre os trabalhadores. Mas depois que tudo isso aconteceu, o sistema foi testado e todos concordaram que ele estava funcionando, eu gostaria de limitar a capacidade dos meus funcionários de anular o algoritmo.
