IA generativa no trabalho

Novas ferramentas de IA podem transformar como trabalhadores executam e aprendem tarefas, mas seus efeitos no trabalho ainda são pouco conhecidos. Os autores estudam a introdução escalonada de um assistente conversacional baseado em IA generativa com dados de 5.179 agentes de suporte ao cliente. O acesso à ferramenta eleva em média em 14% a produtividade, medida por problemas resolvidos por hora. O ganho chega a 34% entre trabalhadores novatos e de menor habilidade, enquanto o efeito é mínimo entre os mais experientes e qualificados.

As evidências sugerem que o modelo dissemina boas práticas dos agentes mais capazes e ajuda trabalhadores novos a avançar mais rapidamente pela curva de experiência. A assistência da IA também melhora o sentimento dos clientes, aumenta a retenção de empregados e pode produzir aprendizado. Os resultados indicam que a IA generativa pode elevar produtividade, mas seus efeitos são muito heterogêneos entre trabalhadores.

O surgimento da inteligência artificial generativa atraiu atenção intensa, mas poucos estudos examinaram seu impacto econômico. Embora várias ferramentas se saiam bem em ambientes de laboratório, o entusiasmo por seu potencial é moderado pela preocupação de que sejam menos eficazes em ambientes reais: podem encontrar problemas desconhecidos, enfrentar resistência organizacional ou produzir informação enganosa em contextos importantes (Peng et al., 2023a; Roose, 2023).

O artigo estuda a adoção de ferramenta de IA generativa que oferece orientação conversacional a agentes de suporte ao cliente. Segundo os autores, é o primeiro estudo sobre o impacto de IA generativa implantada em escala no local de trabalho. O acesso à assistência eleva em 14% a produtividade, medida pelo número de problemas de clientes que cada agente resolve por hora. Diferentemente de estudos sobre ondas anteriores de informatização, os ganhos recaem desproporcionalmente sobre trabalhadores menos experientes e de menor habilidade. A explicação proposta é que sistemas generativos capturam e disseminam padrões de comportamento dos agentes mais produtivos, inclusive conhecimento que havia escapado à automação em ondas anteriores.

Computadores e softwares transformaram a economia por executar certas tarefas com precisão, velocidade e consistência muito maiores que as humanas. Para funcionar, esses sistemas normalmente exigem instruções explícitas e detalhadas sobre como converter entradas em saídas: programar é codificar uma tarefa. Muitas atividades de trabalho — escrever e-mails, analisar dados ou criar apresentações — dependem, porém, de conhecimento tácito e resistiram à automação (Polanyi, 1966; Autor, 2014). Conhecimento tácito são habilidades que as pessoas possuem, mas não conseguem exprimir plenamente; ele costuma ser intuitivo, não verbal, adquirido por experiências, observações e prática e difícil de transferir por treinamento ou manuais.

Algoritmos de aprendizado de máquina funcionam de outro modo: em vez de exigirem instruções explícitas, inferem instruções a partir de exemplos. Com conjunto de treinamento de imagens, por exemplo, podem aprender a reconhecer indivíduos específicos mesmo que ninguém consiga explicar completamente quais traços físicos definem sua identidade. Isso destaca a característica distintiva do aprendizado de máquina: ele pode aprender tarefas sem que existam instruções, inclusive tarefas de conhecimento tácito antes adquiridas apenas por experiência vivida (Polanyi, 1966; Autor, 2014; Brynjolfsson e Mitchell, 2017).

Modelos de aprendizado de máquina também costumam ser treinados com dados de trabalhadores humanos, que naturalmente diferem em capacidade. Ao observar muitas execuções boas e ruins de tarefas — fazer ofertas de venda, dirigir um caminhão ou diagnosticar paciente —, podem aprender implicitamente comportamentos e características que distinguem trabalhadores de alto desempenho dos menos eficazes. Assim, modelos generativos não apenas executam tarefas complexas: também podem capturar habilidades que distinguem trabalhadores de elite. Ferramentas de aprendizado de máquina podem expor trabalhadores menos qualificados a novas habilidades e, por isso, alterar produtividade de maneira desigual.

Os autores investigam produtividade e experiência de trabalho no atendimento ao cliente, setor com uma das maiores taxas de adoção de IA (Chui et al., 2021). Analisam a implantação escalonada de assistente de chat em cerca de cinco mil agentes de empresa Fortune 500 de software de processos empresariais e seus subcontratados. A ferramenta é construída sobre versão recente da família GPT de grandes modelos de linguagem da OpenAI (OpenAI, 2023), monitora chats com clientes e oferece em tempo real sugestões de resposta. Ela foi concebida para ampliar, não substituir, os agentes: eles continuam responsáveis pela conversa e podem ignorar as sugestões.

O primeiro conjunto de resultados mostra aumento de 14% em problemas resolvidos por hora. O efeito vem de três componentes: redução do tempo para lidar com cada chat, aumento do número de chats atendidos por hora — agentes podem conduzir vários simultaneamente — e pequena elevação da parcela de chats resolvidos. O impacto é muito desigual: trabalhadores menos experientes e de menor habilidade melhoram em todas as medidas, com aumento de 34% em problemas resolvidos por hora. Agentes tratados com apenas dois meses de casa passam a ter desempenho semelhante ao de agentes sem tratamento com mais de seis meses. Em contrapartida, agentes experientes ou de maior habilidade apresentam impacto mínimo; há evidência de que a assistência pode até reduzir a qualidade das conversas dos mais capazes. O padrão contrasta com a mudança técnica enviesada em favor da habilidade documentada para ondas anteriores de tecnologia.

O segundo conjunto investiga o mecanismo. Recomendações de IA parecem úteis: agentes que as seguem mais de perto obtêm ganhos maiores, e as taxas de adesão sobem no tempo para todos, sobretudo entre quem inicialmente era mais cético. A interação também pode produzir aprendizado durável. Em períodos de falha do software — quando a IA não fornece sugestões —, os trabalhadores ainda exibem ganhos relativos à linha de base anterior à IA. Esses ganhos são mais fortes para quem teve maior exposição prévia ou seguiu recomendações mais de perto. A análise do texto dos chats fornece evidência sugestiva de convergência: agentes de menor habilidade passam a se comunicar mais como agentes de alta habilidade.

O terceiro conjunto trata da experiência de trabalho. Em centrais de contato, o trabalho costuma ser difícil: agentes lidam regularmente com clientes hostis e anônimos e, por serem muitas vezes terceirizados, podem trabalhar de madrugada para atender horários comerciais dos Estados Unidos. A IA pode ajudar na comunicação, mas também fazer o agente parecer mecânico ou inautêntico. Os autores encontram melhora acentuada no tratamento dispensado pelos clientes, medida pelo sentimento de suas mensagens, e menor probabilidade de clientes questionarem a competência do agente pedindo um supervisor. As mudanças vêm acompanhadas de queda substancial da rotatividade, provocada sobretudo pela retenção de trabalhadores novos.

Os resultados mostram que acesso à IA generativa pode elevar produtividade e retenção individuais, mas o artigo não mede efeitos agregados sobre emprego ou salários. Empresas podem contratar mais trabalhadores novatos, simplificar cargos ou desenvolver sistemas mais capazes que substituam integralmente trabalhadores menos qualificados. Os dados não permitem observar salários, demanda total por trabalho nem composição de habilidades das novas contratações. O estudo também evidencia desafio de incentivo de longo prazo: trabalhadores de elite geralmente não são pagos por sua contribuição aos dados de treinamento que permitem ao sistema capturar e difundir suas habilidades. Sem esses dados, sistemas podem ser menos eficazes para resolver novos problemas; surge a questão de como remunerar trabalhadores pelos dados que fornecem.

O artigo se relaciona à ampla literatura sobre adoção tecnológica, produtividade e organização do trabalho. Muitos estudos de tecnologia da informação encontraram complementaridade com trabalhadores mais qualificados (Akerman et al., 2015; Taniguchi e Yamada, 2022); Bartel et al. (2007), por exemplo, mostra que empresas que adotam TI usam trabalho mais qualificado e elevam seus requisitos. Há bem menos estudos sobre tecnologias de IA. Evidências de produtividade agregada são mistas e difíceis de identificar porque empresas adotantes diferem muito das não adotantes. Ao estudar milhares de pessoas em uma mesma empresa e subcontratados, este trabalho se aproxima de experimentos de laboratório com Copilot, ChatGPT e apoio jurídico, mas é o primeiro a acompanhar efeitos de longo prazo em local de trabalho real, inclusive aprendizado, efeitos sobre clientes e experiência de trabalho.

Nos últimos anos, o ritmo rápido da IA e o lançamento público de ChatGPT, GitHub Copilot e DALL-E atraíram atenção, otimismo e alarme. Essas tecnologias são exemplos de IA generativa: classe de aprendizado de máquina que gera conteúdo novo — texto, imagem, música ou vídeo — ao analisar padrões nos dados existentes. Esta seção apresenta a tecnologia e suas implicações econômicas potenciais.

1.1 Introdução técnica

O artigo concentra-se em grandes modelos de linguagem (LLMs), modelos de redes neurais concebidos para processar dados sequenciais. Um LLM é treinado para prever a próxima palavra de uma sequência a partir do que veio antes, usando corpus enorme de texto, como Wikipédia, livros digitalizados ou partes da internet. Esse conhecimento da coocorrência estatística das palavras permite gerar texto gramaticalmente correto e semanticamente significativo. Apesar do nome, as mesmas técnicas podem produzir outras formas de dados sequenciais, como sequências de proteínas, áudio, código de computador ou movimentos de xadrez.

O progresso recente da IA generativa decorre de quatro fatores: escala computacional, inovações anteriores de arquitetura, capacidade de pré-treinar com grandes volumes de dados não rotulados e refinamentos nas técnicas de treinamento. Primeiro, a qualidade dos LLMs depende fortemente de escala: poder de computação de treinamento, número de parâmetros e tamanho da base. GPT-3 tinha 175 bilhões de parâmetros, foi treinado em 300 bilhões de tokens e gerou custo computacional aproximado de US 5 milhões; estima-se que GPT-4 tenha 1,8 trilhão de parâmetros, 13 trilhões de tokens e custo de computação de aproximadamente US 65 milhões (Li, 2020; Brown et al., 2020; Patel e Wong, 2023).

Quanto à arquitetura, LLMs modernos usam codificação posicional e autoatenção. Codificações posicionais acompanham a posição de cada palavra na entrada. A autoatenção atribui pesos de importância a cada palavra no contexto do texto inteiro. Em conjunto, permitem captar relações semânticas de longo alcance mesmo quando um texto é fragmentado e processado em paralelo (Vaswani et al., 2017; Bahdanau et al., 2015). LLMs também podem ser pré-treinados em grandes volumes de dados não rotulados, como Reddit ou Wikipédia. Como dados não rotulados são muito mais abundantes, aprendem linguagem em corpus mais amplo; ao observar, por exemplo, que “amarelo” coocorre mais com “banana”, “sol” ou “patinho de borracha”, aprendem relações semânticas e gramaticais sem orientação explícita. O modelo resultante serve a várias aplicações porque não foi treinado para conjunto específico de tarefas. Por fim, um LLM de propósito geral pode receber fine-tuning para gerar saídas alinhadas às prioridades de contexto específico.

1.2 Os efeitos econômicos da IA generativa

Historicamente, os computadores se destacaram em executar instruções pré-programadas; por isso, foram particularmente eficazes em tarefas que podem ser reduzidas a regras explícitas (Autor, 2014). A informatização reduziu desproporcionalmente a demanda por pessoas em tarefas “rotineiras”, como entrada de dados, escrituração e trabalho em linha de montagem, comprimindo os salários dessas ocupações (Acemoglu e Autor, 2011). Ao mesmo tempo, elevou a demanda por competências complementares, como programação, análise de dados e pesquisa. Em conjunto, essas mudanças contribuíram para o aumento da desigualdade salarial nos Estados Unidos e foram associadas a mudanças organizacionais (Katz e Murphy, 1992; Autor et al., 2003; Michaels et al., 2014; Bresnahan et al., 2002; Baker e Hubbard, 2003; OCDE, 2023).

Em contraste, ferramentas de IA generativa não precisam de instruções explícitas para realizar tarefas. Se recebem o pedido de escrever um e-mail que negue a um empregado um aumento, provavelmente produzem uma mensagem profissional e conciliatória. Isso acontece porque o modelo encontrou muitos exemplos de comunicação de trabalho em que solicitações são recusadas dessa forma. Nenhum programador precisou especificar qual tom é apropriado em cada contexto — nem definir plenamente o que significam tons como “profissional” ou “conciliatório”. A capacidade de agir de modo apropriado não pode ser inteiramente articulada sequer por quem a possui: as pessoas a aprendem pela experiência e aplicam regras inconscientes. Esse tipo de “conhecimento tácito” sustenta grande parte das tarefas humanas, dentro e fora do trabalho (Polanyi, 1966; Autor, 2014).

O fato de modelos generativos exibirem essas competências sugere que podem adquirir conhecimento tácito incorporado aos exemplos de treinamento. Isso amplia as tarefas que computadores podem realizar para incluir atividades não rotineiras que dependem de julgamento e experiência. O GitHub Copilot, por exemplo, produz sugestões de código e pode explicar, em linguagem natural, o funcionamento do código que gera; serviços de “assistente de IA”, como o Claude, podem elaborar análises convincentes de casos de negócio, ler demonstrações financeiras e oferecer avaliações estratégicas (Nguyen e Nadi, 2022; Zhao, 2023). Como muitas dessas tarefas — programação, análise financeira e outras — são hoje desempenhadas por trabalhadores que foram protegidos ou beneficiados por ondas anteriores de adoção tecnológica, a expansão da IA generativa pode alterar a relação entre tecnologia, produtividade do trabalho e desigualdade (The White House, 2022).

Essas ferramentas também podem revelar informações valiosas sobre as diferenças entre trabalhadores humanos mais produtivos e os demais. Os modelos de aprendizado de máquina que as sustentam costumam ser treinados em dados produzidos por trabalhadores e, portanto, veem muitos exemplos de execução boa e ruim de uma mesma tarefa. Ao aprender a prever bons resultados, podem identificar implicitamente características ou padrões de comportamento que distinguem alto e baixo desempenho, inclusive sutilezas enraizadas em conhecimento tácito. Em seguida, usam esse aprendizado para produzir novos comportamentos que incorporam o que pessoas de melhor desempenho fariam.

As empresas podem empregar essa capacidade de modos distintos: substituir trabalhadores menos qualificados por ferramentas baseadas em IA, demonstrar boas práticas para ajudá-los a melhorar ou acelerar a aprendizagem de pessoas menos experientes. Em qualquer dos casos, a IA generativa pode afetar de forma diferente trabalhadores de capacidades distintas, mesmo quando realizam as mesmas tarefas.

Apesar do potencial, há desafios importantes na aplicação real. Ferramentas populares baseadas em LLM, como o ChatGPT, podem gerar informações falsas ou enganosas de maneiras imprevisíveis, o que levanta dúvidas sobre sua confiabilidade em situações de alto risco. Além disso, embora LLMs tenham bom desempenho em tarefas específicas de laboratório (OpenAI, 2023; Peng et al., 2023b; Noy e Zhang, 2023), os problemas encontrados por trabalhadores no cotidiano tendem a ser mais amplos e menos previsíveis. Isso suscita dúvidas tanto sobre a precisão da assistência em todas as circunstâncias quanto, sobretudo, sobre a capacidade de os trabalhadores distinguirem os casos em que a ferramenta funciona daqueles em que não funciona. Por fim, a eficácia de novas tecnologias depende de sua interação com estruturas existentes no local de trabalho: investimentos organizacionais complementares, desenvolvimento de competências e redesenho de processos podem ser necessários. Como a IA generativa apenas começa a ser usada no trabalho, seus efeitos ainda são pouco conhecidos.

2.1 Suporte ao cliente e IA generativa

Os autores estudam o impacto da IA generativa no setor de atendimento ao cliente, uma das áreas com as maiores taxas declaradas de adoção de IA.¹¹ Interações de suporte são importantes para a reputação da empresa e para a construção de relações fortes com clientes, mas, como em muitos setores, a produtividade dos trabalhadores varia substancialmente (Berg et al., 2018; Syverson, 2011).

Trabalhadores novos geralmente são menos produtivos e exigem treinamento considerável. Ao mesmo tempo, a rotatividade é elevada: estimativas do setor indicam que 60% dos agentes de contact centers saem a cada ano, gerando custo de US 10 mil a US 20 mil por agente (Buesing et al., 2020; Gretz e Jacobson, 2018). Para lidar com esses desafios, o supervisor médio despende ao menos 20 horas semanais orientando agentes de menor desempenho (Berg et al., 2018). Diante de produtividade variável, alta rotatividade e custos de treinamento, as empresas recorrem cada vez mais a ferramentas de IA (Chui et al., 2021).

Do ponto de vista técnico, o suporte ao cliente se adapta bem às ferramentas generativas atuais. Uma conversa entre cliente e agente pode ser entendida como série de problemas de reconhecimento de padrões: é preciso buscar a sequência ótima de ações. Diante de “não consigo entrar”, uma IA ou agente deve identificar quais problemas subjacentes provavelmente impedem o acesso e quais soluções os resolvem — por exemplo, perguntar se a tecla Caps Lock está ativada. Ao mesmo tempo, precisa perceber a reação emocional do cliente e escolher linguagem que aumente a chance de resposta positiva. Como conversas de atendimento são amplamente registradas e digitalizadas, LLMs pré-treinados podem ser ajustados para esse uso com numerosos exemplos de conversas resolvidas e não resolvidas.

O atendimento também apresenta alta variação nas capacidades individuais. Agentes de melhor desempenho, por exemplo, tendem a diagnosticar melhor o problema técnico subjacente a partir da descrição do cliente. Frequentemente fazem mais perguntas antes de concluir o diagnóstico; isso pode levar mais tempo no início, mas reduz a probabilidade de desperdiçar tempo tentando resolver o problema errado. Diferenças de comportamento como essas podem ser inferidas a partir da grande quantidade de dados de treinamento disponível para modelos específicos de atendimento. Assim, é um ambiente no qual modelos generativos podem potencialmente codificar parte das “melhores práticas” usadas por agentes de maior desempenho.

2.2 Contexto da empresa de dados

Os autores trabalham com uma empresa que fornece software de suporte ao cliente baseado em IA — a “empresa de IA” — para estudar a implantação da ferramenta em uma de suas clientes, chamada de “empresa de dados”. A empresa de dados é uma companhia de software empresarial da Fortune 500, especializada em software de processos de negócio para pequenas e médias empresas dos Estados Unidos. Ela emprega agentes de suporte técnico via chat, diretamente e por empresas terceirizadas. A maior parte dos agentes da amostra trabalha em escritórios nas Filipinas; um grupo menor atua nos Estados Unidos e em outros países. Em todos os locais, a função é bastante uniforme: responder questões de suporte técnico de proprietários de pequenas empresas norte-americanas.

Os chats são distribuídos aleatoriamente. As sessões de suporte são relativamente longas — 40 minutos em média — e grande parte da conversa é dedicada a diagnosticar o problema técnico. O trabalho requer combinação de conhecimento detalhado do produto, resolução de problemas e habilidade para lidar com clientes frustrados.

A empresa mede produtividade por três métricas usuais no atendimento: tempo médio de tratamento (average handle time), isto é, o tempo médio para concluir um chat; taxa de resolução, a parcela de conversas resolvidas com sucesso; e net promoter score (satisfação do cliente), calculado por pesquisa aleatória após o chat, como a porcentagem que recomendaria um agente menos a porcentagem que não o recomendaria. Um agente produtivo consegue conduzir atendimentos rapidamente, mantendo taxa de resolução e net promoter score elevados.

Em todos os locais, os agentes são organizados em equipes com um gerente que oferece retorno e treinamento. Uma vez por semana, os gerentes realizam sessões individuais: podem compartilhar solução para um novo erro do software, explicar a implicação de uma mudança tributária ou sugerir como lidar melhor com a frustração do cliente diante de questões técnicas. Os agentes trabalham individualmente e a qualidade de sua produção não afeta diretamente os demais. Recebem salário-hora e bônus conforme o desempenho relativo a outros agentes.

2.3 Desenho do sistema de IA

O sistema estudado combina versão recente do GPT a algoritmos adicionais de aprendizado de máquina ajustados especificamente para interações de atendimento. Também é treinado com grande conjunto de conversas cliente–agente rotuladas por resultados e características: se o contato foi resolvido, quanto tempo levou e se o agente responsável é considerado de “alto” desempenho pela empresa de dados. A empresa de IA usa esses dados para buscar padrões de conversa que melhor preveem resolução e tempo de tratamento.

A empresa ainda treina o modelo em processo semelhante, em espírito, ao de Ouyang et al. (2022), para priorizar respostas de agentes que expressem empatia, ofereçam documentação técnica apropriada e limitem linguagem pouco profissional. Esse treinamento adicional reduz parte das preocupações ligadas ao uso de LLMs para gerar texto.

Depois de implantado, o sistema produz dois tipos principais de saída: sugestões em tempo real de como o agente deve responder ao cliente e links para a documentação interna da empresa de dados sobre questões técnicas relevantes. Em ambos os casos, as recomendações se baseiam no histórico da conversa.¹²

Figura 1 — Exemplo de assistência da IA. Na janela de chat (Painel A), Alex, o cliente, descreve seu problema ao agente. O assistente de IA gera duas respostas sugeridas (Painel B). No exemplo, aprendeu que expressões como “certamente posso ajudar com isso” e “será um prazer ajudar a corrigir isso o mais rápido possível” estão associadas a resultados positivos. O Painel A da Figura A.1 do Apêndice traz um exemplo de recomendação técnica: um link para a documentação interna da empresa de dados.

O sistema foi concebido para aumentar, e não substituir, os agentes humanos. A saída é mostrada apenas ao agente, que decide livremente se incorpora as sugestões, integral ou parcialmente. Isso reduz a probabilidade de que respostas fora de contexto ou incorretas cheguem à conversa com o cliente. Além disso, o sistema não sugere respostas quando não possui dados de treinamento suficientes para aquela situação; nesses casos, o agente deve responder por conta própria.

3.1 Implantação do modelo de IA

O assistente de IA foi implementado gradualmente no nível do agente, após piloto inicial aleatorizado de sete semanas com 50 agentes.¹³ A implantação foi amplamente uniforme entre os agentes próprios e terceirizados da empresa de dados. A Figura A.2 do Apêndice documenta a evolução da implantação entre agentes que acabariam recebendo o tratamento. A maior parte da adoção ocorreu entre novembro de 2020 e fevereiro de 2021.

3.2 Estatísticas descritivas

A Tabela 1 descreve a amostra em três grupos: agentes que nunca receberam acesso à ferramenta durante o período observado (“nunca tratados”), observações anteriores à IA de quem viria a recebê-la (“tratados, pré”) e observações posteriores ao acesso (“tratados, pós”). No total, os autores observam o texto e os resultados de 3 milhões de chats realizados por 5.179 agentes. Desse total, 1,2 milhão de chats de 1.636 agentes ocorre no período posterior à IA. A maior parte da amostra, 89%, está fora dos Estados Unidos, sobretudo nas Filipinas. Para cada agente, observam-se gerente designado, tempo de casa, localização geográfica e informações sobre a firma.

Para examinar os efeitos da implantação, os autores constroem variáveis-chave agregadas ao nível agente-mês, que é sua unidade principal de análise. A medida principal de produtividade é resoluções por hora (resolutions per hour, RPH): o número de chats que o trabalhador consegue resolver com sucesso por hora. Ela resume a produtividade, pois depende do tempo médio para concluir conversas, do número de conversas atendidas por hora — inclusive atendimentos simultâneos — e da parcela resolvida com sucesso. Esses componentes são medidos, respectivamente, como tempo médio de tratamento (AHT), chats por hora (CPH) e taxa de resolução (RR). Os autores também observam a satisfação do cliente pelo net promoter score (NPS), obtido em pesquisas pós-contato.

As medidas estão disponíveis para números diferentes de agentes. A partir dos dados ao nível de chat, é possível reconstruir AHT e CPH para todos os agentes. Já taxa de resolução e satisfação, que dependem de informação sobre qualidade do atendimento, são fornecidas pela empresa ao nível agente-mês. Como a maior parte do atendimento é terceirizada, a empresa de dados não controla diretamente essas informações, mantidas pelas subcontratadas. Por isso, RR e NPS são observados apenas para subconjunto da amostra; a medida abrangente de produtividade, RPH, também só é observada nesse subconjunto.

A Figura 2 mostra as distribuições brutas dos resultados nos subgrupos nunca tratado, pré-tratamento e pós-tratamento. Nos Painéis A a D, agentes pós-tratamento têm melhor desempenho em várias métricas, em comparação tanto com quem nunca recebeu a IA quanto com suas observações prévias. No Painel E, não há diferença discernível na satisfação do cliente pesquisada entre grupos tratados e não tratados. Na medida principal, agentes nunca tratados resolvem em média 1,7 chat por hora, enquanto agentes após o tratamento resolvem 2,5. Parte da diferença pode refletir seleção inicial: antes da IA, os futuros tratados já tinham 2,0 resoluções por hora, contra 1,7 dos nunca tratados. O mesmo padrão aparece em chats por hora e taxa de resolução. No tempo médio de tratamento, o contraste é mais nítido: pré-tratamento e nunca tratados se concentram em 40 minutos, enquanto o pós-tratamento chega a 35 minutos. São diferenças brutas, que não controlam experiência ou seleção para o tratamento; a seção seguinte atribui essas diferenças mais precisamente à implantação da IA.

3.3 Estratégia empírica

Para isolar o efeito causal do acesso às recomendações de IA, os autores usam uma regressão padrão de diferenças em diferenças:

y_{it} = \delta_t + \alpha_i + \beta AI_{it} + \gamma X_{it} + \epsilon_{it}. \tag{1}

As variáveis de resultado y_{it} captam medidas de produtividade do agente i no mês-ano t. Como trabalhadores podem atuar somente parte do ano, entram apenas observações agente-mês em que o agente está empregado ativamente — por exemplo, designado a chats. A variável principal, AI_{it}, vale um quando o agente i tem acesso a recomendações de IA no momento t. Todas as regressões incluem efeitos fixos de mês-ano, \delta_t, para controlar fatores comuns que variam no tempo, como a temporada tributária ou o final do trimestre. A especificação preferida inclui também efeitos fixos de agente, \alpha_i, invariantes no tempo, e tempo de casa do agente, que varia no tempo. Os erros-padrão são agrupados por agente.

Uma literatura crescente mostra que regressões com efeitos fixos de duas vias só produzem estimativas consistentes sob hipóteses fortes de homogeneidade dos efeitos do tratamento e podem ser viesadas quando os efeitos variam no tempo ou pela coorte de adoção (Cengiz et al., 2019; de Chaisemartin e D’Haultfœuille, 2020; Sun e Abraham, 2021; Goodman-Bacon, 2021; Callaway e Sant’Anna, 2021; Borusyak et al., 2022). Trabalhadores podem, por exemplo, precisar de tempo para se ajustar ao sistema; ou coortes posteriores podem ter integração mais simples e efeitos maiores.

Os autores estudam essa dinâmica com o estimador de ponderação por interação (interaction weighted, IW) proposto por Sun e Abraham (2021). Esse estimador é consistente sob tendências paralelas, ausência de comportamento antecipatório e efeitos específicos de coorte que sigam o mesmo perfil dinâmico.¹⁴ No Apêndice, os resultados principais de diferenças em diferenças e do estudo de eventos são semelhantes quando se usam estimadores robustos de de Chaisemartin e D’Haultfœuille (2020), Borusyak et al. (2022), Callaway e Sant’Anna (2021) e Sun e Abraham (2021), bem como mínimos quadrados ordinários tradicionais com efeitos fixos de duas vias.

4.1 Métricas de produtividade

A Tabela 2 examina o efeito da implantação do modelo de IA na medida principal de produtividade, resoluções por hora, com modelo de efeitos fixos de duas vias. Na coluna 1, controlando efeitos fixos de tempo e localização, o acesso às recomendações aumenta as resoluções por hora em 0,47 chat, ou 22,2% sobre a média de 2,12. A coluna 2 acrescenta efeitos fixos individuais para captar possíveis diferenças entre agentes tratados e não tratados. A coluna 3 acrescenta controles para tempo de casa, que varia no tempo. À medida que os controles são incluídos, o efeito cai ligeiramente: com efeitos fixos de agente e tempo de casa, a implantação aumenta RPH em 0,30 chat, ou 13,8%. As colunas 4 a 6 reproduzem padrões e magnitudes semelhantes para o logaritmo de RPH.

Tabela 2. Efeitos principais sobre produtividade — reprodução completa

Coeficientes de diferenças em diferenças; erros-padrão robustos entre parênteses. As colunas 1–3 usam resoluções por hora; 4–6 usam o logaritmo dessa medida. “Pós-IA × sempre tratado” identifica o efeito estimado da implantação.

Notas: p<0,01; p<0,05; p<0,10. Os erros-padrão são agrupados no local do agente; os dados vêm dos sistemas internos da empresa.

A Tabela A.1 do Apêndice encontra resultados semelhantes com estimadores alternativos de diferenças em diferenças de Callaway e Sant’Anna (2021), Borusyak et al. (2022), de Chaisemartin e D’Haultfœuille (2020) e Sun e Abraham (2021). Diferentemente do OLS tradicional, esses estimadores evitam comparar unidades recém-tratadas a unidades já tratadas. Na maior parte dos casos, os efeitos da assistência de IA são maiores com essas alternativas.

A Figura 3 apresenta as estimativas de estudo de evento IW de Sun e Abraham (2021) para o efeito da assistência sobre RPH, em nível e logaritmo. Em ambos os resultados, há aumento substancial e imediato de produtividade no primeiro mês de implantação; o efeito cresce um pouco no segundo e permanece estável e persistente até o fim da amostra. A Figura A.3 do Apêndice mostra o mesmo padrão com outros estimadores de estudo de evento.

Na Tabela 3, com a especificação preferida — efeitos fixos de mês-ano, agente e tempo de casa — o tempo médio dos chats cai 3,8 minutos, redução de 9% frente à média inicial; menor tempo de tratamento é, em geral, melhor. O número de chats que um agente atende por hora sobe 0,37, cerca de 14% ante a média inicial de 2,6. Como essa medida permite atendimentos simultâneos, o efeito mais forte sugere que a IA permite tanto acelerar conversas como realizar múltiplas tarefas de modo mais eficaz.

A taxa de resolução aumenta modestos 1,3 ponto percentual, significativa a 10%; dada a taxa inicial elevada, 82%, os autores interpretam que o ganho de velocidade não ocorre, em média, às custas de resolver o problema. Já o net promoter score não apresenta mudança economicamente significativa: o coeficiente é −0,13 ponto percentual, ante média de 79,6%. Daqui em diante, as estimativas são apresentadas em logaritmos, para facilitar a interpretação. A Figura 4 mostra efeitos imediatos no tempo médio de tratamento e nos chats por hora, mas padrões quase planos para taxa de resolução e satisfação. A interpretação é de que a assistência aumenta produtividade sem prejudicar taxa de resolução ou satisfação pesquisada.

Tabela 3. Efeitos principais em resultados adicionais

Especificação preferida com efeitos fixos de mês-ano, agente e tempo de casa. AHT é o tempo médio de tratamento; NPS é o net promoter score.

Notas: p<0,01; p<0,05; p<0,10. Erros-padrão agrupados por localização do agente.

4.2 Efeitos por competência e tempo de casa

Há debate relevante sobre as consequências distributivas de tecnologias baseadas em IA. Uma literatura extensa sugere que ondas anteriores de tecnologias de informação e comunicação — internet, computadores e comunicação em rede — complementaram trabalhadores mais qualificados, elevando produtividade e demanda por seu trabalho e ampliando diferenciais salariais. Ferramentas generativas, porém, se baseiam em aprendizado de máquina que busca padrões associados ao sucesso. Por isso, podem ter consequências de produtividade diferentes das tecnologias anteriores. Esta seção investiga os efeitos do acesso à assistência em duas dimensões: competência e experiência.

4.2.1 Competência anterior ao tratamento

O Painel A da Figura 5 examina como os efeitos estimados variam com a produtividade do agente antes da IA. Os agentes são divididos em quintis por um índice de competência baseado na eficiência média de chamadas, taxa de resolução e satisfação pesquisada no trimestre anterior à adoção. Os quintis são definidos dentro de cada firma-mês e o tempo de casa na implantação é controlado para isolar o efeito da competência.

O efeito é mais forte no quintil de menor competência: 0,29 ponto logarítmico, ou 34% de aumento em resoluções por hora. Para os agentes de maior competência, não há aumento de produtividade. A Figura 6 mostra que agentes menos qualificados têm os maiores ganhos também nos demais resultados. Entre os mais qualificados, os efeitos são mistos: zero no tempo médio de tratamento, positivo em chats por hora e reduções pequenas, mas estatisticamente significativas, na taxa de resolução e na satisfação.

Isso é consistente com a ideia de que a IA generativa expõe trabalhadores menos qualificados às melhores práticas de trabalhadores mais qualificados. Os primeiros recebem soluções novas; os melhores desempenhadores podem se beneficiar pouco de ver suas próprias melhores práticas. Os efeitos negativos nas medidas de qualidade para o topo da distribuição sugerem que as recomendações podem distraí-los ou levá-los a escolher a opção mais rápida, seguindo sugestões, em vez de dedicar tempo a formular sua própria resposta.

4.2.2 Experiência anterior ao tratamento

Em seguida, os autores repetem o exercício por tempo de casa na data em que o modelo é introduzido. Os agentes são divididos em cinco grupos: alguns têm menos de um mês de casa quando recebem acesso; outros, mais de um ano. Para isolar o efeito da experiência, controla-se a competência quando o acesso é concedido.

O Painel B da Figura 5 apresenta padrão claro e monotônico: os menos experientes têm os maiores ganhos em resoluções por hora. Agentes com menos de um mês de empresa aumentam RPH em 0,38 ponto logarítmico, ou 46%, comparados a agentes do mesmo tempo de casa sem assistência de IA. Para agentes com mais de um ano, não há efeito. A Figura 7 apresenta o mesmo padrão para outros resultados: trabalhadores mais novos obtêm grandes ganhos em eficiência de atendimento, tanto em tempo médio de tratamento quanto em chats por hora, e também ganhos de qualidade, em taxa de resolução e satisfação. Entre os mais experientes há efeitos positivos modestos em tempo médio, positivos mas não significativos em chats por hora e efeitos negativos pequenos, porém significativos, nas medidas de qualidade e satisfação.

4.2.3 Avanço na curva de experiência

Para explorar o efeito sobre novatos, a Figura 8 acompanha a evolução da produtividade no emprego.¹⁵ Ela compara três grupos: agentes que nunca recebem IA (“nunca tratados”), agentes que recebem acesso desde a entrada na firma (“sempre tratados”) e agentes que passam a receber acesso no quinto mês (“tratados no 5º mês”).

Todos começam em torno de 2,0 resoluções por hora. Quem nunca é tratado melhora lentamente com a experiência e chega a aproximadamente 2,5 resoluções por hora oito a dez meses depois. Quem sempre tem assistência chega a 2,5 em apenas dois meses e continua melhorando até resolver mais de três chats por hora após cinco meses de casa.¹⁶ A comparação desses dois grupos sugere que as recomendações aceleram o avanço na curva de experiência.

O terceiro grupo começa sem assistência e melhora lentamente como o grupo nunca tratado durante os cinco primeiros meses. Ao receber acesso no quinto mês, sua produtividade sobe rapidamente e segue trajetória semelhante à dos sempre tratados. A Figura A.4 apresenta as demais métricas: a curva de experiência dos sempre tratados é mais inclinada para tempo de tratamento, chats por hora e taxa de resolução; para satisfação, o padrão é semelhante, mas mais ruidoso. Em conjunto, os resultados indicam que a IA permite a novos agentes avançar mais rapidamente: em muitas métricas, agentes com dois meses de casa e acesso à IA desempenham tão bem quanto ou melhor que agentes com mais de seis meses sem acesso.

5. Aderência, aprendizagem e mudança conversacional

Esta seção investiga os mecanismos dos resultados principais. Primeiro, analisa como os trabalhadores usam recomendações: eles são seletivos e as seguem, em média, em 35% das vezes; os retornos são maiores para quem as segue. As taxas de aderência aumentam ao longo do tempo para todos os trabalhadores, especialmente para os mais antigos, e ao fim da amostra tornam-se semelhantes entre grupos de tempo de casa e competência.

Segundo, os autores perguntam se a assistência ajuda a aprender. Usando interrupções do software em que a assistência fica temporariamente indisponível, encontram evidência de mudanças duráveis nas competências: trabalhadores expostos às recomendações continuam a ter melhor desempenho nas interrupções; o efeito é maior após maior exposição e para agentes que seguem mais de perto as sugestões quando o software está em funcionamento. Por fim, uma análise textual dos chats indica que a assistência altera o conteúdo da comunicação, com mudanças maiores entre trabalhadores menos qualificados, aproximando seus padrões de comunicação aos dos mais qualificados. Em conjunto, os achados sugerem que examinar e seguir recomendações ajuda sobretudo os trabalhadores menos qualificados a adotar melhores práticas de agentes mais qualificados e experientes.

5.1 Aderência às recomendações de IA

A ferramenta sugere respostas, mas os agentes continuam responsáveis pelo que dizem ao cliente. Os resultados principais estimam o efeito de ter acesso à ferramenta, sem depender da frequência com que se seguem as recomendações. Nesta seção, os autores medem a proximidade da aderência e sua associação com os retornos da adoção.

“Aderência” é medida inicialmente no nível do chat, como a parcela das recomendações que cada agente segue. A empresa de IA codifica como aderência tanto clicar para copiar o texto sugerido quanto inserir por conta própria algo muito semelhante. A medida é então agregada ao nível agente-mês. O Painel A da Figura 9 mostra sua distribuição na amostra pós-IA, ponderada pelo logaritmo do número de recomendações recebidas no mês. A taxa média é 38%, com intervalo interquartil de 23% a 50%: agentes frequentemente ignoram as sugestões. Isso é comparável a resultados divulgados para outras ferramentas generativas; estudo sobre GitHub Copilot relata que desenvolvedores individuais usam 27% a 46% das sugestões de código (Zhao, 2023). A seletividade pode ser apropriada, já que modelos podem sugerir algo incorreto ou irrelevante.

O Painel B da Figura 9 mostra retornos maiores quando os agentes efetivamente seguem as recomendações. Os autores dividem os agentes em quintis pela porcentagem de sugestões seguidas no primeiro mês de acesso e estimam separadamente o efeito para cada grupo, controlando mês-ano e efeitos fixos de agente. Há aumento constante e monotônico dos retornos com aderência: no quintil inferior, ainda aparece ganho de produtividade de 10%; no quintil superior, o impacto estimado é mais que o dobro, próximo de 25%. A Figura A.5 mostra associação positiva semelhante nas quatro outras métricas, mais forte para tempo médio de tratamento e chats por hora e mais ruidosa para taxa de resolução e satisfação.

Os resultados são compatíveis com efeito causal de seguir recomendações sobre produtividade, mas a relação também pode refletir seleção: agentes que escolhem aderir podem ser mais produtivos por outras razões, ou justamente os que obtêm maiores retornos podem ser os que aderem. Para explorar isso, os autores usam a preferência revelada: se a associação decorresse apenas de seleção, agentes de baixa aderência continuariam com baixa aderência, pois isso lhes seria ótimo. A Figura 10 acompanha essa evolução. Quem inicialmente já tinha alta aderência permanece pouco acima de 50%; quem estava no terço inferior, inicialmente abaixo de 20%, aumenta mais de 50% e chega a pouco mais de metade no quinto mês. Agentes mais antigos começam com menor aderência — 30% para mais de um ano de casa, ante 37% para menos de três meses —, mas aumentam-na mais rapidamente e convergem após cinco meses. Por competência, as taxas iniciais são semelhantes e todos os grupos aumentam aderência.

Esses padrões são compatíveis com agentes — sobretudo os inicialmente mais céticos — passarem a valorizar recomendações ao longo do tempo. Uma hipótese alternativa é que quem não gosta da assistência saia mais da firma. A Figura A.6 repete o exercício com mudanças dentro do próprio agente, isto é, taxas de aderência residualizadas pelos efeitos fixos do agente. O padrão permanece: todos aumentam a aderência, e os aumentos parecem maiores nos inicialmente menos aderentes e nos mais antigos. Assim, o crescimento não parece resultar exclusivamente de seleção.

5.2 Aprendizagem dos trabalhadores

Uma questão central é se os ganhos de produtividade e as mudanças de comunicação refletem alterações duráveis no capital humano dos trabalhadores ou apenas dependência crescente da assistência. Para investigá-la, os autores observam o desempenho durante períodos em que problemas técnicos na empresa de IA impedem o acesso às recomendações. As interrupções ocorrem ocasionalmente, duram de minutos a horas e podem afetar alguns trabalhadores, mas não todos — por exemplo, quem entra no computador depois da queda do sistema, ou quem usa determinado servidor físico. A empresa registra as interrupções mais relevantes para revisão técnica; esses registros permitem identificar períodos em que uma fração significativa dos chats é afetada.

A Figura A.7 ilustra uma interrupção em 10 de setembro de 2020. No eixo vertical está a parcela de chats pós-tratamento para os quais o software não dá sugestão, agregada por hora; no horizontal, as horas nos dias antes e depois do evento. Horas com menos de 15 chats pós-tratamento são desenhadas como zero para dar clareza ao gráfico. Em períodos normais, 30% a 40% dos chats ficam sem recomendação, pois o sistema não intervém em toda mensagem e muitos atendimentos são breves. Na manhã de 10 de setembro, a parcela sobe a quase 100%. Os registros atribuem a falha a um engenheiro de software que executava teste de carga e derrubou o sistema.

A Figura 11 examina o efeito do acesso ao sistema para chats durante e fora dessas interrupções. Enquanto as regressões principais são no nível trabalhador-mês, estas são no nível de chat, para comparar com precisão conversas em e fora dos períodos de falha. No Painel A, usando somente períodos pós-adoção sem interrupções, a introdução da assistência reduz imediatamente a duração individual dos chats em aproximadamente 10% a 15%, de acordo com os resultados principais. No Painel B, usando as mesmas observações pré-tratamento, mas restringindo o pós-adoção a grandes interrupções, as estimativas são mais ruidosas e parecem maiores — quedas de 15% a 25%. Como falhas são raras e não necessariamente aleatórias, isso pode refletir diferenças nos tipos de chats. Ainda assim, há padrão relevante: nas interrupções, o benefício da exposição à IA cresce com o tempo. Uma falha um mês após a adoção não torna o atendimento muito mais rápido que a linha de base; depois de três meses de exposição, os trabalhadores atendem mais rápido mesmo sem receber assistência direta.

A Figura 12 divide esses estudos de evento por aderência inicial. Quem aderiu muito no início tem quedas grandes e rápidas no tempo de processamento, mesmo durante falhas. Quem costuma desviar das sugestões não melhora o tempo de chat nas interrupções, mesmo após muitos meses de acesso. Isso sugere que a aprendizagem é maior quando as sugestões são usadas ativamente.

Em conjunto, os resultados indicam que ferramentas generativas podem ajudar no desenvolvimento de competências duráveis. Antes da assistência, os agentes recebiam treinamento de gerentes apenas em sessões semanais curtas, nas quais se revisavam algumas conversas e se sugeriam formas melhores de conduzi-las. Por necessidade, esse retorno cobre somente pequena fração dos contatos. Além disso, gerentes pressionados por tempo ou sem treinamento podem apenas apontar uma métrica fraca — “você precisa reduzir seu tempo de tratamento” — em vez de identificar uma estratégia — “você precisa fazer mais perguntas no início para diagnosticar melhor”. Esse tipo de orientação pode ser ineficaz e contraproducente para o engajamento (Berg et al., 2018). A assistência, em contraste, entrega sugestões específicas e acionáveis em tempo real, podendo complementar programas existentes de aprendizagem no trabalho.

5.3 Mudança conversacional

Por fim, os autores analisam como o acesso à assistência afeta a comunicação dos trabalhadores. Para captar o conteúdo geral das conversas, criam incorporações textuais (text embeddings) de conversas entre agente e cliente. Uma incorporação transforma texto em vetor de alta dimensão que representa suas “coordenadas” no espaço linguístico; dois textos têm coordenadas mais semelhantes quando compartilham significado ou estilo. As incorporações são obtidas com o all-MiniLM-L6-v2, LLM destinado a capturar e agrupar informação semântica para aferir similaridade (Hugging Face, 2023). A comparação usa similaridade de cosseno: zero indica textos semanticamente ortogonais e um, o mesmo significado (Koroteev, 2021). Como referência, “Você pode me ajudar a entrar?” e “Por que meu acesso não funciona?” têm similaridade de 0,68 no modelo usado.

Essa abordagem verifica, primeiro, se a assistência muda o conteúdo do que agentes escrevem, em vez de apenas fazê-los digitar as mesmas coisas mais rapidamente. Em seguida, examina como esses padrões diferem entre trabalhadores de alta e baixa competência. Se os modelos disseminam os comportamentos de alto desempenho, espera-se que a assistência leve agentes de menor desempenho a escrever mais como os de maior desempenho.

5.3.1 Mudanças de comunicação dentro de cada trabalhador

Os autores acompanham como a comunicação de cada agente evolui antes e depois do acesso. Para trabalhadores tratados, comparam a similaridade dos chats em cada semana de tempo de evento com seus chats do mês anterior à implantação — semanas −4 a −1 —, excluindo as mensagens do cliente e mantendo somente a linguagem gerada pelo agente. O Painel A da Figura 13 mostra que a similaridade textual com a janela pré-IA é estável nas semanas que antecedem a implantação e cai imediatamente depois. Conversas de 12 a 5 semanas antes são bastante semelhantes às de 4 a 1 semana antes; as de 0 a 12 semanas após são todas menos semelhantes.

Essa queda é amplamente incompatível com a hipótese de que a assistência apenas faz os trabalhadores digitar as mesmas coisas mais rápido. Se fosse esse o caso, o tempo de atendimento cairia, mas a similaridade textual permaneceria constante.

O Painel B da Figura 13 compara a magnitude dessa mudança de conteúdo antes e depois por competência anterior à IA. Agentes de menor competência — quintil inferior da distribuição pré-IA — têm mudança textual maior após a adoção do que os melhores desempenhadores. As estimativas controlam efeitos fixos de firma-ano-mês, que absorvem mudanças sazonais, como ciclos tributários ou de folha, e lançamentos de produto, além de efeitos fixos de tempo de casa. Embora não se controle diretamente o tema do chat, os temas são atribuídos aleatoriamente aos agentes; portanto, não se espera que diferenças de tema variem sistematicamente por competência. A evidência sugere que a implantação altera mais os padrões de comunicação de trabalhadores menos qualificados.

5.3.2 Comparações entre trabalhadores

A Figura 14 verifica se as mudanças individuais fazem trabalhadores de baixa e alta competência soarem mais parecidos. Ela apresenta a similaridade de cosseno entre esses grupos em momentos específicos do calendário, separando trabalhadores com e sem acesso à IA. Sem acesso, alta e baixa competência correspondem aos quintis superior e inferior do índice naquele mês; com acesso, correspondem aos quintis na data de implantação.

Sem assistência, a similaridade textual média entre trabalhadores de alta e baixa produtividade é 0,55 e permanece estável no tempo. Após a adoção, os grupos passam a usar linguagem mais semelhante: a similaridade vai de 0,55 para 0,61. Embora a variação pareça pequena, a similaridade média dentro da própria pessoa entre trabalhadores de alta competência é cerca de 0,67; portanto, trata-se de redução substancial da lacuna de linguagem. Em conjunto, as Figuras 13 e 14 sugerem convergência dos trabalhadores menos qualificados em direção aos mais qualificados, e não o inverso. Isso é consistente com modelos de IA disseminando comportamentos de trabalhadores de alta competência: os de menor competência devem mudar mais, enquanto os melhores mudam menos porque o modelo tende a sugerir linguagem que já usam.

6. Efeitos sobre a experiência de trabalho

Estudos qualitativos sugerem que as condições de trabalho em centrais de atendimento podem ser desagradáveis. A natureza repetitiva da função, somada à exposição regular a conversas difíceis e carregadas emocionalmente, pode levar a esgotamento e alta rotatividade. Além disso, o atendimento de empresas norte-americanas é frequentemente terceirizado para países de renda mais baixa, como Índia e Filipinas; agentes podem trabalhar em horários difíceis e enfrentar barreiras culturais ou julgamentos ao falar com clientes.

Mais produtividade não implica necessariamente maior satisfação no trabalho, especialmente se os trabalhadores se sentirem pressionados a trabalhar cada vez mais rápido. Esta seção examina um aspecto da experiência: como os agentes são tratados pelos clientes, medido por sentimento do cliente e pedidos para falar com gerente. Também examina rotatividade como indicador geral de satisfação no trabalho.

6.1 Sentimento do cliente

Clientes muitas vezes descarregam suas frustrações em agentes anônimos. Nos dados, há palavrões, abuso verbal e “gritos” — digitação em letras maiúsculas. Espera-se que trabalhadores de serviço absorvam essas frustrações limitando sua própria reação emocional (Hochschild, 2019), e o estresse desse trabalho emocional é frequentemente apontado como causa de esgotamento e saída de trabalhadores (Lee, 2015).

O acesso à assistência pode mudar o tratamento dado pelos clientes em direções incertas. Pode melhorar o tom ao ajudar a ajustar expectativas e resolver problemas mais rápido; ou pode frustrar mais se a linguagem sugerida parecer corporativa ou insincera. Para medir isso, os autores usam análise de sentimento (Mejova, 2009) com o SiEBERT, LLM ajustado para essa tarefa em bases que incluem resenhas de produtos e tweets (Hartmann et al., 2023). O sentimento varia de −1, negativo, a 1, positivo. Calculam-se escores separados para texto de cliente e agente em cada conversa e depois se agregam as médias a agente-ano-mês.

O Painel A da Figura 15 mostra que o sentimento do cliente é em média levemente positivo, normalmente distribuído em torno de 0,14, com massa de escores muito positivos e muito negativos. No Painel B, os agentes são invariavelmente positivos: média de 0,89, reflexo de treinamento para extrema polidez e cordialidade, mesmo antes da IA. Após a implantação, o sentimento do cliente melhora de forma imediata e persistente. Pela coluna 1 da Tabela 4, o acesso eleva o sentimento médio do cliente em 0,18 ponto, equivalente a metade de um desvio-padrão. Não há efeito detectável no sentimento do agente, já muito alto: a coluna 2 aponta aumento de somente 0,02 ponto, cerca de 1% de um desvio-padrão.

Tabela 4. Sentimento de clientes e agentes

Regressões de diferenças em diferenças com efeitos fixos de agente, mês-ano, localização e tempo de casa; erros-padrão agrupados por localização do agente.

Notas: p<0,01; p<0,05; p<0,10.

A Figura A.8 indica melhora significativa na forma como clientes tratam agentes em todos os níveis de competência e experiência, com os maiores efeitos na faixa baixa a média-baixa dessas distribuições. Como nos resultados de produtividade, os agentes mais produtivos e experientes recebem os menores benefícios. Como as recomendações foram desenhadas explicitamente para priorizar respostas empáticas, elas podem melhorar as competências sociais demonstradas pelos agentes e ter efeito emocional positivo nos clientes.

6.2 Confiança do cliente e escalonamento gerencial

Mudanças na produtividade individual podem ter implicações mais amplas para o fluxo organizacional (Garicano, 2000; Athey et al., 1994; Athey e Stern, 1998). No atendimento, agentes de linha de frente tentam resolver os problemas, mas podem buscar supervisores quando não sabem como prosseguir. Clientes sabem disso e às vezes tentam escalar a conversa pedindo para falar com gerente, geralmente por acharem que o agente atual não tem competência ou autoridade para resolver o problema, ou por frustração.

A Figura 16 examina a frequência desses pedidos. O resultado é a parcela de chats do agente em que o cliente pede gerente ou supervisor, agregada por ano-mês. Os autores usam o pedido, e não o escalonamento efetivo, pois não têm dados do escalonamento e o pedido mede melhor a confiança do cliente na competência ou autoridade do agente. Após a assistência, há queda gradual dos pedidos. Frente a uma linha de base de aproximadamente 6 pontos percentuais, os coeficientes indicam redução de quase 25% nos pedidos de falar com gerente. A Figura A.9 mostra que a redução é desproporcionalmente maior entre agentes menos qualificados ou menos experientes na adoção.

6.3 Rotatividade

A adoção de IA generativa pode afetar produtividade, estresse e como os clientes percebem os trabalhadores, entre outros fatores. Embora nem todos sejam observáveis, padrões de rotatividade fornecem medida geral dos efeitos no trabalho. A análise compara a rotatividade de agentes tratados à de não tratados com o mesmo tempo de casa. Excluem-se observações pré-tratamento dos futuros tratados, pois, por construção, eles precisam permanecer na firma até serem tratados. Também se controlam localização e efeitos fixos de tempo.

A Figura 17 mostra o efeito do acesso sobre a rotatividade. Por experiência, a redução mais forte ocorre entre agentes novos, com menos de seis meses: coeficiente de cerca de 10 pontos percentuais, ou queda de 40% diante de taxa inicial de 25% nesse grupo. Por competência, há queda significativa em todos os grupos, mas sem gradiente sistemático. Os autores recomendam mais cautela do que nos resultados principais porque não podem incluir efeitos fixos de agente — a rotatividade só pode ocorrer uma vez por pessoa. Assim, os resultados podem superestimar o impacto se a ferramenta for entregue mais frequentemente a agentes que a empresa acredita terem maior probabilidade de permanecer.

7. Conclusão

Os avanços em IA abrem amplo conjunto de possibilidades econômicas. O artigo apresenta evidência empírica inicial dos efeitos de uma ferramenta de IA generativa em um local de trabalho real. Nesse contexto, o acesso a recomendações geradas por IA aumenta produtividade, melhora o sentimento do cliente e está associado a menor rotatividade.

Os autores levantam a hipótese de que parte do efeito decorre da capacidade do sistema de incorporar melhores práticas de trabalhadores de alta competência e torná-las acessíveis a outros. Essas práticas talvez fossem difíceis de disseminar por envolverem conhecimento tácito. Coerentemente, a assistência gera melhorias substanciais em resolução de problemas e satisfação para trabalhadores novos e menos qualificados, mas não ajuda os de maior competência ou experiência nessas medidas. Agentes que usaram o sistema também desempenham um pouco melhor quando ele é desativado inesperadamente. A análise do texto das conversas oferece evidência sugestiva de que recomendações levam trabalhadores menos qualificados a se comunicar mais como os mais qualificados.

Os achados e suas limitações apontam várias direções de pesquisa. Mais importante, eles não captam efeitos de longo prazo da IA generativa sobre demanda por competências, desenho do emprego, salários ou demanda dos clientes. Não é claro se maior produtividade no atendimento criará mais ou menos demanda por trabalhadores. Se a demanda for inelástica, ferramentas generativas podem reduzir demanda e salários no longo prazo. Alternativamente, suporte melhor pode levar clientes a buscar representantes para gama mais ampla de questões, aumentar demanda por trabalhadores ou criar responsabilidades novas, como coletar comentários de clientes para a equipe de desenvolvimento (Berg et al., 2018; Korinek, 2022).

Os resultados também levantam questões sobre a própria natureza da produtividade. Tradicionalmente, a produtividade de um agente é a capacidade de ajudar os clientes com quem interage. Quando conversas alimentam bases de treinamento, ela inclui também fornecer exemplos de comportamentos bem-sucedidos que podem ser compartilhados com outros. No contexto estudado, os melhores desempenhadores fornecem muitos exemplos para treinar o sistema, mas veem poucas melhorias em sua própria produtividade. Com as regras de pagamento vigentes, podem até ter redução de remuneração, porque bônus são calculados em relação ao desempenho de outros agentes. Isso suscita a questão de como trabalhadores, sobretudo os de melhor desempenho, devem ser compensados pelos dados que fornecem a sistemas de IA.

Por fim, como tecnologia de propósito geral potencial, a IA generativa pode e será implantada de muitas formas; os efeitos encontrados talvez não se generalizem a todas as firmas e processos produtivos (Eloundou et al., 2023). O contexto estudado possui produto relativamente estável e conjunto de questões técnicas de suporte. Em áreas de produto ou ambiente em mudança rápida, o valor relativo das recomendações pode ser diferente: elas podem sintetizar melhor práticas que mudam, ou dificultar a aprendizagem ao promover práticas desatualizadas observadas em dados históricos de treinamento. Dado o estágio inicial da IA generativa, essas e outras questões exigem investigação adicional.

No refinamento, um modelo de propósito geral pode ser exposto a dados rotulados que expressem a prioridade do contexto. Um modelo que gere conteúdo para redes sociais, por exemplo, se beneficia de observar não só o texto do post, mas também o engajamento que ele obteve. Um LLM pode produzir várias respostas para uma consulta, algumas factualmente erradas ou tóxicas; avaliadores humanos podem ordenar essas saídas, treinando uma função de recompensa que priorize as respostas desejáveis. Refinamentos desse tipo melhoram substancialmente a qualidade ao adequar um modelo geral à aplicação concreta (Ouyang et al., 2022; Liu et al., 2023). Em conjunto, essas inovações elevaram o desempenho dos modelos, e a família Generative Pre-trained Transformer (GPT) tornou-se especialmente conhecida pela expansão rápida de suas capacidades.⁸

Referências

As referências abaixo mantêm os trabalhos citados no artigo, com a grafia bibliográfica do original quando não há tradução consolidada.

• Acemoglu, D.; Autor, D. Skills, tasks and technologies: Implications for employment and earnings. Handbook of Labor Economics, v. 4, 2011, p. 1043–1171.
• Acemoglu, D.; Restrepo, P. Low-Skill and High-Skill Automation. Journal of Human Capital, 2018, 12(2), p. 204–232.
• Acemoglu, D.; Restrepo, P. Robots and Jobs: Evidence from US Labor Markets. Journal of Political Economy, 2020, 128(6), p. 2188–2244.
• Akerman, A.; Gaarder, I.; Mogstad, M. The Skill Complementarity of Broadband Internet. Quarterly Journal of Economics, 2015, 130(4), p. 1781–1824.
• Autor, D. Polanyi’s Paradox and the Shape of Employment Growth. NBER Working Paper 20485, 2014.
• Autor, D.; Levy, F.; Murnane, R. The Skill Content of Recent Technological Change. Quarterly Journal of Economics, 2003, 118(4), p. 1279–1333.
• Bahdanau, D.; Cho, K.; Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR, 2015.
• Bartel, A.; Ichniowski, C.; Shaw, K. How Does Information Technology Affect Productivity? Quarterly Journal of Economics, 2007, 122(4), p. 1721–1758.
• Berg, J.; Das, A.; Gupta, V.; Kline, P. Smarter call-center coaching for the digital world. McKinsey, 2018.
• Borusyak, K.; Jaravel, X.; Spiess, J. Revisiting Event Study Designs. 2022.
• Brown, T. et al. Language Models are Few-Shot Learners. 2020, arXiv:2005.14165.
• Brynjolfsson, E.; Mitchell, T. What Can Machine Learning Do? Workforce Implications. Science, 2017, 358, p. 1530–1534.
• Buesing, E.; Gupta, V.; Higgins, S.; Jacobson, R. Customer care: The future talent factory. McKinsey, 2020.
• Callaway, B.; Sant’Anna, P. Difference-in-Differences with multiple time periods. Journal of Econometrics, 2021, 225(2), p. 200–230.
• Chui, M.; Hall, B.; Singla, A.; Sukharevsky, A. Global survey: The state of AI in 2021. McKinsey, 2021.
• de Chaisemartin, C.; D’Haultfœuille, X. Two-Way Fixed Effects Estimators with Heterogeneous Treatment Effects. American Economic Review, 2020, 110(9), p. 2964–2996.
• Eloundou, T.; Manning, S.; Mishkin, P.; Rock, D. GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models. 2023, arXiv:2303.10130.
• Hochschild, A. The Managed Heart: Commercialization of Human Feeling. University of California Press, 2019.
• Ouyang, L. et al. Training language models to follow instructions with human feedback. 2022, arXiv:2203.02155.
• Polanyi, M. The Tacit Dimension. University of Chicago Press, 1966.
• Sun, L.; Abraham, S. Estimating dynamic treatment effects in event studies with heterogeneous treatment effects. Journal of Econometrics, 2021, 225(2), p. 175–199.
• Vaswani, A. et al. Attention Is All You Need. 2017, arXiv:1706.03762.

Apêndice: materiais suplementares preservados

O original publica material suplementar com o exemplo de recomendação técnica, cronograma de implantação, estudos de evento com especificações alternativas, curvas por coorte, medidas de aderência, interrupção do sistema, heterogeneidade do sentimento do cliente, escalonamento e a Tabela A.1. Os fac-símiles abaixo preservam as figuras, tabelas, eixos, notas e especificações que acompanham a análise no artigo.

Fonte oficial

• Brynjolfsson, Li & Raymond (2023), Generative AI at Work — NBER Working Paper 31161
• PDF oficial do NBER

ssistente conversacional em atendimento ao cliente

Erik Brynjolfsson, Danielle Li & Lindsey R. Raymond NBER Working Paper 31161, abril de 2023; revisado em novembro de 2023.

Tradução não oficial para fins de leitura. O artigo é um working paper do NBER e não passou pelo processo de revisão editorial do NBER Board of Directors. Para citações, dados e interpretações metodológicas, consulte a versão oficial ao final.

Resumo

Novas ferramentas de IA podem transformar como trabalhadores executam e aprendem tarefas, mas seus efeitos no trabalho ainda são pouco conhecidos. Os autores estudam a introdução escalonada de um assistente conversacional baseado em IA generativa com dados de 5.179 agentes de suporte ao cliente. O acesso à ferramenta eleva em média em 14% a produtividade, medida por problemas resolvidos por hora. O ganho chega a 34% entre trabalhadores novatos e de menor habilidade, enquanto o efeito é mínimo entre os mais experientes e qualificados.

As evidências sugerem que o modelo dissemina boas práticas dos agentes mais capazes e ajuda trabalhadores novos a avançar mais rapidamente pela curva de experiência. A assistência da IA também melhora o sentimento dos clientes, aumenta a retenção de empregados e pode produzir aprendizado. Os resultados indicam que a IA generativa pode elevar produtividade, mas seus efeitos são muito heterogêneos entre trabalhadores.

Introdução

O surgimento da inteligência artificial generativa atraiu atenção intensa, mas poucos estudos examinaram seu impacto econômico. Embora várias ferramentas se saiam bem em ambientes de laboratório, o entusiasmo por seu potencial é moderado pela preocupação de que sejam menos eficazes em ambientes reais: podem encontrar problemas desconhecidos, enfrentar resistência organizacional ou produzir informação enganosa em contextos importantes (Peng et al., 2023a; Roose, 2023).

O artigo estuda a adoção de ferramenta de IA generativa que oferece orientação conversacional a agentes de suporte ao cliente. Segundo os autores, é o primeiro estudo sobre o impacto de IA generativa implantada em escala no local de trabalho. O acesso à assistência eleva em 14% a produtividade, medida pelo número de problemas de clientes que cada agente resolve por hora. Diferentemente de estudos sobre ondas anteriores de informatização, os ganhos recaem desproporcionalmente sobre trabalhadores menos experientes e de menor habilidade. A explicação proposta é que sistemas generativos capturam e disseminam padrões de comportamento dos agentes mais produtivos, inclusive conhecimento que havia escapado à automação em ondas anteriores.

Computadores e softwares transformaram a economia por executar certas tarefas com precisão, velocidade e consistência muito maiores que as humanas. Para funcionar, esses sistemas normalmente exigem instruções explícitas e detalhadas sobre como converter entradas em saídas: programar é codificar uma tarefa. Muitas atividades de trabalho — escrever e-mails, analisar dados ou criar apresentações — dependem, porém, de conhecimento tácito e resistiram à automação (Polanyi, 1966; Autor, 2014). Conhecimento tácito são habilidades que as pessoas possuem, mas não conseguem exprimir plenamente; ele costuma ser intuitivo, não verbal, adquirido por experiências, observações e prática e difícil de transferir por treinamento ou manuais.

Algoritmos de aprendizado de máquina funcionam de outro modo: em vez de exigirem instruções explícitas, inferem instruções a partir de exemplos. Com conjunto de treinamento de imagens, por exemplo, podem aprender a reconhecer indivíduos específicos mesmo que ninguém consiga explicar completamente quais traços físicos definem sua identidade. Isso destaca a característica distintiva do aprendizado de máquina: ele pode aprender tarefas sem que existam instruções, inclusive tarefas de conhecimento tácito antes adquiridas apenas por experiência vivida (Polanyi, 1966; Autor, 2014; Brynjolfsson e Mitchell, 2017).

Modelos de aprendizado de máquina também costumam ser treinados com dados de trabalhadores humanos, que naturalmente diferem em capacidade. Ao observar muitas execuções boas e ruins de tarefas — fazer ofertas de venda, dirigir um caminhão ou diagnosticar paciente —, podem aprender implicitamente comportamentos e características que distinguem trabalhadores de alto desempenho dos menos eficazes. Assim, modelos generativos não apenas executam tarefas complexas: também podem capturar habilidades que distinguem trabalhadores de elite. Ferramentas de aprendizado de máquina podem expor trabalhadores menos qualificados a novas habilidades e, por isso, alterar produtividade de maneira desigual.

Os autores investigam produtividade e experiência de trabalho no atendimento ao cliente, setor com uma das maiores taxas de adoção de IA (Chui et al., 2021). Analisam a implantação escalonada de assistente de chat em cerca de cinco mil agentes de empresa Fortune 500 de software de processos empresariais e seus subcontratados. A ferramenta é construída sobre versão recente da família GPT de grandes modelos de linguagem da OpenAI (OpenAI, 2023), monitora chats com clientes e oferece em tempo real sugestões de resposta. Ela foi concebida para ampliar, não substituir, os agentes: eles continuam responsáveis pela conversa e podem ignorar as sugestões.

O primeiro conjunto de resultados mostra aumento de 14% em problemas resolvidos por hora. O efeito vem de três componentes: redução do tempo para lidar com cada chat, aumento do número de chats atendidos por hora — agentes podem conduzir vários simultaneamente — e pequena elevação da parcela de chats resolvidos. O impacto é muito desigual: trabalhadores menos experientes e de menor habilidade melhoram em todas as medidas, com aumento de 34% em problemas resolvidos por hora. Agentes tratados com apenas dois meses de casa passam a ter desempenho semelhante ao de agentes sem tratamento com mais de seis meses. Em contrapartida, agentes experientes ou de maior habilidade apresentam impacto mínimo; há evidência de que a assistência pode até reduzir a qualidade das conversas dos mais capazes. O padrão contrasta com a mudança técnica enviesada em favor da habilidade documentada para ondas anteriores de tecnologia.

O segundo conjunto investiga o mecanismo. Recomendações de IA parecem úteis: agentes que as seguem mais de perto obtêm ganhos maiores, e as taxas de adesão sobem no tempo para todos, sobretudo entre quem inicialmente era mais cético. A interação também pode produzir aprendizado durável. Em períodos de falha do software — quando a IA não fornece sugestões —, os trabalhadores ainda exibem ganhos relativos à linha de base anterior à IA. Esses ganhos são mais fortes para quem teve maior exposição prévia ou seguiu recomendações mais de perto. A análise do texto dos chats fornece evidência sugestiva de convergência: agentes de menor habilidade passam a se comunicar mais como agentes de alta habilidade.

O terceiro conjunto trata da experiência de trabalho. Em centrais de contato, o trabalho costuma ser difícil: agentes lidam regularmente com clientes hostis e anônimos e, por serem muitas vezes terceirizados, podem trabalhar de madrugada para atender horários comerciais dos Estados Unidos. A IA pode ajudar na comunicação, mas também fazer o agente parecer mecânico ou inautêntico. Os autores encontram melhora acentuada no tratamento dispensado pelos clientes, medida pelo sentimento de suas mensagens, e menor probabilidade de clientes questionarem a competência do agente pedindo um supervisor. As mudanças vêm acompanhadas de queda substancial da rotatividade, provocada sobretudo pela retenção de trabalhadores novos.

Os resultados mostram que acesso à IA generativa pode elevar produtividade e retenção individuais, mas o artigo não mede efeitos agregados sobre emprego ou salários. Empresas podem contratar mais trabalhadores novatos, simplificar cargos ou desenvolver sistemas mais capazes que substituam integralmente trabalhadores menos qualificados. Os dados não permitem observar salários, demanda total por trabalho nem composição de habilidades das novas contratações. O estudo também evidencia desafio de incentivo de longo prazo: trabalhadores de elite geralmente não são pagos por sua contribuição aos dados de treinamento que permitem ao sistema capturar e difundir suas habilidades. Sem esses dados, sistemas podem ser menos eficazes para resolver novos problemas; surge a questão de como remunerar trabalhadores pelos dados que fornecem.

O artigo se relaciona à ampla literatura sobre adoção tecnológica, produtividade e organização do trabalho. Muitos estudos de tecnologia da informação encontraram complementaridade com trabalhadores mais qualificados (Akerman et al., 2015; Taniguchi e Yamada, 2022); Bartel et al. (2007), por exemplo, mostra que empresas que adotam TI usam trabalho mais qualificado e elevam seus requisitos. Há bem menos estudos sobre tecnologias de IA. Evidências de produtividade agregada são mistas e difíceis de identificar porque empresas adotantes diferem muito das não adotantes. Ao estudar milhares de pessoas em uma mesma empresa e subcontratados, este trabalho se aproxima de experimentos de laboratório com Copilot, ChatGPT e apoio jurídico, mas é o primeiro a acompanhar efeitos de longo prazo em local de trabalho real, inclusive aprendizado, efeitos sobre clientes e experiência de trabalho.

1. IA generativa e grandes modelos de linguagem

Nos últimos anos, o ritmo rápido da IA e o lançamento público de ChatGPT, GitHub Copilot e DALL-E atraíram atenção, otimismo e alarme. Essas tecnologias são exemplos de IA generativa: classe de aprendizado de máquina que gera conteúdo novo — texto, imagem, música ou vídeo — ao analisar padrões nos dados existentes. Esta seção apresenta a tecnologia e suas implicações econômicas potenciais.

1.1 Introdução técnica

O artigo concentra-se em grandes modelos de linguagem (LLMs), modelos de redes neurais concebidos para processar dados sequenciais. Um LLM é treinado para prever a próxima palavra de uma sequência a partir do que veio antes, usando corpus enorme de texto, como Wikipédia, livros digitalizados ou partes da internet. Esse conhecimento da coocorrência estatística das palavras permite gerar texto gramaticalmente correto e semanticamente significativo. Apesar do nome, as mesmas técnicas podem produzir outras formas de dados sequenciais, como sequências de proteínas, áudio, código de computador ou movimentos de xadrez.

O progresso recente da IA generativa decorre de quatro fatores: escala computacional, inovações anteriores de arquitetura, capacidade de pré-treinar com grandes volumes de dados não rotulados e refinamentos nas técnicas de treinamento. Primeiro, a qualidade dos LLMs depende fortemente de escala: poder de computação de treinamento, número de parâmetros e tamanho da base. GPT-3 tinha 175 bilhões de parâmetros, foi treinado em 300 bilhões de tokens e gerou custo computacional aproximado de US 5 milhões; estima-se que GPT-4 tenha 1,8 trilhão de parâmetros, 13 trilhões de tokens e custo de computação de aproximadamente US 65 milhões (Li, 2020; Brown et al., 2020; Patel e Wong, 2023).

Quanto à arquitetura, LLMs modernos usam codificação posicional e autoatenção. Codificações posicionais acompanham a posição de cada palavra na entrada. A autoatenção atribui pesos de importância a cada palavra no contexto do texto inteiro. Em conjunto, permitem captar relações semânticas de longo alcance mesmo quando um texto é fragmentado e processado em paralelo (Vaswani et al., 2017; Bahdanau et al., 2015). LLMs também podem ser pré-treinados em grandes volumes de dados não rotulados, como Reddit ou Wikipédia. Como dados não rotulados são muito mais abundantes, aprendem linguagem em corpus mais amplo; ao observar, por exemplo, que “amarelo” coocorre mais com “banana”, “sol” ou “patinho de borracha”, aprendem relações semânticas e gramaticais sem orientação explícita. O modelo resultante serve a várias aplicações porque não foi treinado para conjunto específico de tarefas. Por fim, um LLM de propósito geral pode receber fine-tuning para gerar saídas alinhadas às prioridades de contexto específico.

1.2 Os efeitos econômicos da IA generativa

Historicamente, os computadores se destacaram em executar instruções pré-programadas; por isso, foram particularmente eficazes em tarefas que podem ser reduzidas a regras explícitas (Autor, 2014). A informatização reduziu desproporcionalmente a demanda por pessoas em tarefas “rotineiras”, como entrada de dados, escrituração e trabalho em linha de montagem, comprimindo os salários dessas ocupações (Acemoglu e Autor, 2011). Ao mesmo tempo, elevou a demanda por competências complementares, como programação, análise de dados e pesquisa. Em conjunto, essas mudanças contribuíram para o aumento da desigualdade salarial nos Estados Unidos e foram associadas a mudanças organizacionais (Katz e Murphy, 1992; Autor et al., 2003; Michaels et al., 2014; Bresnahan et al., 2002; Baker e Hubbard, 2003; OCDE, 2023).

Em contraste, ferramentas de IA generativa não precisam de instruções explícitas para realizar tarefas. Se recebem o pedido de escrever um e-mail que negue a um empregado um aumento, provavelmente produzem uma mensagem profissional e conciliatória. Isso acontece porque o modelo encontrou muitos exemplos de comunicação de trabalho em que solicitações são recusadas dessa forma. Nenhum programador precisou especificar qual tom é apropriado em cada contexto — nem definir plenamente o que significam tons como “profissional” ou “conciliatório”. A capacidade de agir de modo apropriado não pode ser inteiramente articulada sequer por quem a possui: as pessoas a aprendem pela experiência e aplicam regras inconscientes. Esse tipo de “conhecimento tácito” sustenta grande parte das tarefas humanas, dentro e fora do trabalho (Polanyi, 1966; Autor, 2014).

O fato de modelos generativos exibirem essas competências sugere que podem adquirir conhecimento tácito incorporado aos exemplos de treinamento. Isso amplia as tarefas que computadores podem realizar para incluir atividades não rotineiras que dependem de julgamento e experiência. O GitHub Copilot, por exemplo, produz sugestões de código e pode explicar, em linguagem natural, o funcionamento do código que gera; serviços de “assistente de IA”, como o Claude, podem elaborar análises convincentes de casos de negócio, ler demonstrações financeiras e oferecer avaliações estratégicas (Nguyen e Nadi, 2022; Zhao, 2023). Como muitas dessas tarefas — programação, análise financeira e outras — são hoje desempenhadas por trabalhadores que foram protegidos ou beneficiados por ondas anteriores de adoção tecnológica, a expansão da IA generativa pode alterar a relação entre tecnologia, produtividade do trabalho e desigualdade (The White House, 2022).

Essas ferramentas também podem revelar informações valiosas sobre as diferenças entre trabalhadores humanos mais produtivos e os demais. Os modelos de aprendizado de máquina que as sustentam costumam ser treinados em dados produzidos por trabalhadores e, portanto, veem muitos exemplos de execução boa e ruim de uma mesma tarefa. Ao aprender a prever bons resultados, podem identificar implicitamente características ou padrões de comportamento que distinguem alto e baixo desempenho, inclusive sutilezas enraizadas em conhecimento tácito. Em seguida, usam esse aprendizado para produzir novos comportamentos que incorporam o que pessoas de melhor desempenho fariam.

As empresas podem empregar essa capacidade de modos distintos: substituir trabalhadores menos qualificados por ferramentas baseadas em IA, demonstrar boas práticas para ajudá-los a melhorar ou acelerar a aprendizagem de pessoas menos experientes. Em qualquer dos casos, a IA generativa pode afetar de forma diferente trabalhadores de capacidades distintas, mesmo quando realizam as mesmas tarefas.

Apesar do potencial, há desafios importantes na aplicação real. Ferramentas populares baseadas em LLM, como o ChatGPT, podem gerar informações falsas ou enganosas de maneiras imprevisíveis, o que levanta dúvidas sobre sua confiabilidade em situações de alto risco. Além disso, embora LLMs tenham bom desempenho em tarefas específicas de laboratório (OpenAI, 2023; Peng et al., 2023b; Noy e Zhang, 2023), os problemas encontrados por trabalhadores no cotidiano tendem a ser mais amplos e menos previsíveis. Isso suscita dúvidas tanto sobre a precisão da assistência em todas as circunstâncias quanto, sobretudo, sobre a capacidade de os trabalhadores distinguirem os casos em que a ferramenta funciona daqueles em que não funciona. Por fim, a eficácia de novas tecnologias depende de sua interação com estruturas existentes no local de trabalho: investimentos organizacionais complementares, desenvolvimento de competências e redesenho de processos podem ser necessários. Como a IA generativa apenas começa a ser usada no trabalho, seus efeitos ainda são pouco conhecidos.

2. Contexto: LLMs para suporte ao cliente

2.1 Suporte ao cliente e IA generativa

Os autores estudam o impacto da IA generativa no setor de atendimento ao cliente, uma das áreas com as maiores taxas declaradas de adoção de IA.¹¹ Interações de suporte são importantes para a reputação da empresa e para a construção de relações fortes com clientes, mas, como em muitos setores, a produtividade dos trabalhadores varia substancialmente (Berg et al., 2018; Syverson, 2011).

Trabalhadores novos geralmente são menos produtivos e exigem treinamento considerável. Ao mesmo tempo, a rotatividade é elevada: estimativas do setor indicam que 60% dos agentes de contact centers saem a cada ano, gerando custo de US 10 mil a US 20 mil por agente (Buesing et al., 2020; Gretz e Jacobson, 2018). Para lidar com esses desafios, o supervisor médio despende ao menos 20 horas semanais orientando agentes de menor desempenho (Berg et al., 2018). Diante de produtividade variável, alta rotatividade e custos de treinamento, as empresas recorrem cada vez mais a ferramentas de IA (Chui et al., 2021).

Do ponto de vista técnico, o suporte ao cliente se adapta bem às ferramentas generativas atuais. Uma conversa entre cliente e agente pode ser entendida como série de problemas de reconhecimento de padrões: é preciso buscar a sequência ótima de ações. Diante de “não consigo entrar”, uma IA ou agente deve identificar quais problemas subjacentes provavelmente impedem o acesso e quais soluções os resolvem — por exemplo, perguntar se a tecla Caps Lock está ativada. Ao mesmo tempo, precisa perceber a reação emocional do cliente e escolher linguagem que aumente a chance de resposta positiva. Como conversas de atendimento são amplamente registradas e digitalizadas, LLMs pré-treinados podem ser ajustados para esse uso com numerosos exemplos de conversas resolvidas e não resolvidas.

O atendimento também apresenta alta variação nas capacidades individuais. Agentes de melhor desempenho, por exemplo, tendem a diagnosticar melhor o problema técnico subjacente a partir da descrição do cliente. Frequentemente fazem mais perguntas antes de concluir o diagnóstico; isso pode levar mais tempo no início, mas reduz a probabilidade de desperdiçar tempo tentando resolver o problema errado. Diferenças de comportamento como essas podem ser inferidas a partir da grande quantidade de dados de treinamento disponível para modelos específicos de atendimento. Assim, é um ambiente no qual modelos generativos podem potencialmente codificar parte das “melhores práticas” usadas por agentes de maior desempenho.

2.2 Contexto da empresa de dados

Os autores trabalham com uma empresa que fornece software de suporte ao cliente baseado em IA — a “empresa de IA” — para estudar a implantação da ferramenta em uma de suas clientes, chamada de “empresa de dados”. A empresa de dados é uma companhia de software empresarial da Fortune 500, especializada em software de processos de negócio para pequenas e médias empresas dos Estados Unidos. Ela emprega agentes de suporte técnico via chat, diretamente e por empresas terceirizadas. A maior parte dos agentes da amostra trabalha em escritórios nas Filipinas; um grupo menor atua nos Estados Unidos e em outros países. Em todos os locais, a função é bastante uniforme: responder questões de suporte técnico de proprietários de pequenas empresas norte-americanas.

Os chats são distribuídos aleatoriamente. As sessões de suporte são relativamente longas — 40 minutos em média — e grande parte da conversa é dedicada a diagnosticar o problema técnico. O trabalho requer combinação de conhecimento detalhado do produto, resolução de problemas e habilidade para lidar com clientes frustrados.

A empresa mede produtividade por três métricas usuais no atendimento: tempo médio de tratamento (average handle time), isto é, o tempo médio para concluir um chat; taxa de resolução, a parcela de conversas resolvidas com sucesso; e net promoter score (satisfação do cliente), calculado por pesquisa aleatória após o chat, como a porcentagem que recomendaria um agente menos a porcentagem que não o recomendaria. Um agente produtivo consegue conduzir atendimentos rapidamente, mantendo taxa de resolução e net promoter score elevados.

Em todos os locais, os agentes são organizados em equipes com um gerente que oferece retorno e treinamento. Uma vez por semana, os gerentes realizam sessões individuais: podem compartilhar solução para um novo erro do software, explicar a implicação de uma mudança tributária ou sugerir como lidar melhor com a frustração do cliente diante de questões técnicas. Os agentes trabalham individualmente e a qualidade de sua produção não afeta diretamente os demais. Recebem salário-hora e bônus conforme o desempenho relativo a outros agentes.

2.3 Desenho do sistema de IA

O sistema estudado combina versão recente do GPT a algoritmos adicionais de aprendizado de máquina ajustados especificamente para interações de atendimento. Também é treinado com grande conjunto de conversas cliente–agente rotuladas por resultados e características: se o contato foi resolvido, quanto tempo levou e se o agente responsável é considerado de “alto” desempenho pela empresa de dados. A empresa de IA usa esses dados para buscar padrões de conversa que melhor preveem resolução e tempo de tratamento.

A empresa ainda treina o modelo em processo semelhante, em espírito, ao de Ouyang et al. (2022), para priorizar respostas de agentes que expressem empatia, ofereçam documentação técnica apropriada e limitem linguagem pouco profissional. Esse treinamento adicional reduz parte das preocupações ligadas ao uso de LLMs para gerar texto.

Depois de implantado, o sistema produz dois tipos principais de saída: sugestões em tempo real de como o agente deve responder ao cliente e links para a documentação interna da empresa de dados sobre questões técnicas relevantes. Em ambos os casos, as recomendações se baseiam no histórico da conversa.¹²

Figura 1 — Exemplo de assistência da IA. Na janela de chat (Painel A), Alex, o cliente, descreve seu problema ao agente. O assistente de IA gera duas respostas sugeridas (Painel B). No exemplo, aprendeu que expressões como “certamente posso ajudar com isso” e “será um prazer ajudar a corrigir isso o mais rápido possível” estão associadas a resultados positivos. O Painel A da Figura A.1 do Apêndice traz um exemplo de recomendação técnica: um link para a documentação interna da empresa de dados.

O sistema foi concebido para aumentar, e não substituir, os agentes humanos. A saída é mostrada apenas ao agente, que decide livremente se incorpora as sugestões, integral ou parcialmente. Isso reduz a probabilidade de que respostas fora de contexto ou incorretas cheguem à conversa com o cliente. Além disso, o sistema não sugere respostas quando não possui dados de treinamento suficientes para aquela situação; nesses casos, o agente deve responder por conta própria.

3. Implantação, dados e estratégia empírica

3.1 Implantação do modelo de IA

O assistente de IA foi implementado gradualmente no nível do agente, após piloto inicial aleatorizado de sete semanas com 50 agentes.¹³ A implantação foi amplamente uniforme entre os agentes próprios e terceirizados da empresa de dados. A Figura A.2 do Apêndice documenta a evolução da implantação entre agentes que acabariam recebendo o tratamento. A maior parte da adoção ocorreu entre novembro de 2020 e fevereiro de 2021.

3.2 Estatísticas descritivas

A Tabela 1 descreve a amostra em três grupos: agentes que nunca receberam acesso à ferramenta durante o período observado (“nunca tratados”), observações anteriores à IA de quem viria a recebê-la (“tratados, pré”) e observações posteriores ao acesso (“tratados, pós”). No total, os autores observam o texto e os resultados de 3 milhões de chats realizados por 5.179 agentes. Desse total, 1,2 milhão de chats de 1.636 agentes ocorre no período posterior à IA. A maior parte da amostra, 89%, está fora dos Estados Unidos, sobretudo nas Filipinas. Para cada agente, observam-se gerente designado, tempo de casa, localização geográfica e informações sobre a firma.

Para examinar os efeitos da implantação, os autores constroem variáveis-chave agregadas ao nível agente-mês, que é sua unidade principal de análise. A medida principal de produtividade é resoluções por hora (resolutions per hour, RPH): o número de chats que o trabalhador consegue resolver com sucesso por hora. Ela resume a produtividade, pois depende do tempo médio para concluir conversas, do número de conversas atendidas por hora — inclusive atendimentos simultâneos — e da parcela resolvida com sucesso. Esses componentes são medidos, respectivamente, como tempo médio de tratamento (AHT), chats por hora (CPH) e taxa de resolução (RR). Os autores também observam a satisfação do cliente pelo net promoter score (NPS), obtido em pesquisas pós-contato.

As medidas estão disponíveis para números diferentes de agentes. A partir dos dados ao nível de chat, é possível reconstruir AHT e CPH para todos os agentes. Já taxa de resolução e satisfação, que dependem de informação sobre qualidade do atendimento, são fornecidas pela empresa ao nível agente-mês. Como a maior parte do atendimento é terceirizada, a empresa de dados não controla diretamente essas informações, mantidas pelas subcontratadas. Por isso, RR e NPS são observados apenas para subconjunto da amostra; a medida abrangente de produtividade, RPH, também só é observada nesse subconjunto.

A Figura 2 mostra as distribuições brutas dos resultados nos subgrupos nunca tratado, pré-tratamento e pós-tratamento. Nos Painéis A a D, agentes pós-tratamento têm melhor desempenho em várias métricas, em comparação tanto com quem nunca recebeu a IA quanto com suas observações prévias. No Painel E, não há diferença discernível na satisfação do cliente pesquisada entre grupos tratados e não tratados. Na medida principal, agentes nunca tratados resolvem em média 1,7 chat por hora, enquanto agentes após o tratamento resolvem 2,5. Parte da diferença pode refletir seleção inicial: antes da IA, os futuros tratados já tinham 2,0 resoluções por hora, contra 1,7 dos nunca tratados. O mesmo padrão aparece em chats por hora e taxa de resolução. No tempo médio de tratamento, o contraste é mais nítido: pré-tratamento e nunca tratados se concentram em 40 minutos, enquanto o pós-tratamento chega a 35 minutos. São diferenças brutas, que não controlam experiência ou seleção para o tratamento; a seção seguinte atribui essas diferenças mais precisamente à implantação da IA.

3.3 Estratégia empírica

Para isolar o efeito causal do acesso às recomendações de IA, os autores usam uma regressão padrão de diferenças em diferenças:

y_{it} = \delta_t + \alpha_i + \beta AI_{it} + \gamma X_{it} + \epsilon_{it}. \tag{1}

As variáveis de resultado y_{it} captam medidas de produtividade do agente i no mês-ano t. Como trabalhadores podem atuar somente parte do ano, entram apenas observações agente-mês em que o agente está empregado ativamente — por exemplo, designado a chats. A variável principal, AI_{it}, vale um quando o agente i tem acesso a recomendações de IA no momento t. Todas as regressões incluem efeitos fixos de mês-ano, \delta_t, para controlar fatores comuns que variam no tempo, como a temporada tributária ou o final do trimestre. A especificação preferida inclui também efeitos fixos de agente, \alpha_i, invariantes no tempo, e tempo de casa do agente, que varia no tempo. Os erros-padrão são agrupados por agente.

Uma literatura crescente mostra que regressões com efeitos fixos de duas vias só produzem estimativas consistentes sob hipóteses fortes de homogeneidade dos efeitos do tratamento e podem ser viesadas quando os efeitos variam no tempo ou pela coorte de adoção (Cengiz et al., 2019; de Chaisemartin e D’Haultfœuille, 2020; Sun e Abraham, 2021; Goodman-Bacon, 2021; Callaway e Sant’Anna, 2021; Borusyak et al., 2022). Trabalhadores podem, por exemplo, precisar de tempo para se ajustar ao sistema; ou coortes posteriores podem ter integração mais simples e efeitos maiores.

Os autores estudam essa dinâmica com o estimador de ponderação por interação (interaction weighted, IW) proposto por Sun e Abraham (2021). Esse estimador é consistente sob tendências paralelas, ausência de comportamento antecipatório e efeitos específicos de coorte que sigam o mesmo perfil dinâmico.¹⁴ No Apêndice, os resultados principais de diferenças em diferenças e do estudo de eventos são semelhantes quando se usam estimadores robustos de de Chaisemartin e D’Haultfœuille (2020), Borusyak et al. (2022), Callaway e Sant’Anna (2021) e Sun e Abraham (2021), bem como mínimos quadrados ordinários tradicionais com efeitos fixos de duas vias.

4. Resultados principais

4.1 Métricas de produtividade

A Tabela 2 examina o efeito da implantação do modelo de IA na medida principal de produtividade, resoluções por hora, com modelo de efeitos fixos de duas vias. Na coluna 1, controlando efeitos fixos de tempo e localização, o acesso às recomendações aumenta as resoluções por hora em 0,47 chat, ou 22,2% sobre a média de 2,12. A coluna 2 acrescenta efeitos fixos individuais para captar possíveis diferenças entre agentes tratados e não tratados. A coluna 3 acrescenta controles para tempo de casa, que varia no tempo. À medida que os controles são incluídos, o efeito cai ligeiramente: com efeitos fixos de agente e tempo de casa, a implantação aumenta RPH em 0,30 chat, ou 13,8%. As colunas 4 a 6 reproduzem padrões e magnitudes semelhantes para o logaritmo de RPH.

Tabela 2. Efeitos principais sobre produtividade — reprodução completa

Coeficientes de diferenças em diferenças; erros-padrão robustos entre parênteses. As colunas 1–3 usam resoluções por hora; 4–6 usam o logaritmo dessa medida. “Pós-IA × sempre tratado” identifica o efeito estimado da implantação.

Notas: p<0,01; p<0,05; p<0,10. Os erros-padrão são agrupados no local do agente; os dados vêm dos sistemas internos da empresa.

A Tabela A.1 do Apêndice encontra resultados semelhantes com estimadores alternativos de diferenças em diferenças de Callaway e Sant’Anna (2021), Borusyak et al. (2022), de Chaisemartin e D’Haultfœuille (2020) e Sun e Abraham (2021). Diferentemente do OLS tradicional, esses estimadores evitam comparar unidades recém-tratadas a unidades já tratadas. Na maior parte dos casos, os efeitos da assistência de IA são maiores com essas alternativas.

A Figura 3 apresenta as estimativas de estudo de evento IW de Sun e Abraham (2021) para o efeito da assistência sobre RPH, em nível e logaritmo. Em ambos os resultados, há aumento substancial e imediato de produtividade no primeiro mês de implantação; o efeito cresce um pouco no segundo e permanece estável e persistente até o fim da amostra. A Figura A.3 do Apêndice mostra o mesmo padrão com outros estimadores de estudo de evento.

Na Tabela 3, com a especificação preferida — efeitos fixos de mês-ano, agente e tempo de casa — o tempo médio dos chats cai 3,8 minutos, redução de 9% frente à média inicial; menor tempo de tratamento é, em geral, melhor. O número de chats que um agente atende por hora sobe 0,37, cerca de 14% ante a média inicial de 2,6. Como essa medida permite atendimentos simultâneos, o efeito mais forte sugere que a IA permite tanto acelerar conversas como realizar múltiplas tarefas de modo mais eficaz.

A taxa de resolução aumenta modestos 1,3 ponto percentual, significativa a 10%; dada a taxa inicial elevada, 82%, os autores interpretam que o ganho de velocidade não ocorre, em média, às custas de resolver o problema. Já o net promoter score não apresenta mudança economicamente significativa: o coeficiente é −0,13 ponto percentual, ante média de 79,6%. Daqui em diante, as estimativas são apresentadas em logaritmos, para facilitar a interpretação. A Figura 4 mostra efeitos imediatos no tempo médio de tratamento e nos chats por hora, mas padrões quase planos para taxa de resolução e satisfação. A interpretação é de que a assistência aumenta produtividade sem prejudicar taxa de resolução ou satisfação pesquisada.

Tabela 3. Efeitos principais em resultados adicionais

Especificação preferida com efeitos fixos de mês-ano, agente e tempo de casa. AHT é o tempo médio de tratamento; NPS é o net promoter score.

Notas: p<0,01; p<0,05; p<0,10. Erros-padrão agrupados por localização do agente.

4.2 Efeitos por competência e tempo de casa

Há debate relevante sobre as consequências distributivas de tecnologias baseadas em IA. Uma literatura extensa sugere que ondas anteriores de tecnologias de informação e comunicação — internet, computadores e comunicação em rede — complementaram trabalhadores mais qualificados, elevando produtividade e demanda por seu trabalho e ampliando diferenciais salariais. Ferramentas generativas, porém, se baseiam em aprendizado de máquina que busca padrões associados ao sucesso. Por isso, podem ter consequências de produtividade diferentes das tecnologias anteriores. Esta seção investiga os efeitos do acesso à assistência em duas dimensões: competência e experiência.

4.2.1 Competência anterior ao tratamento

O Painel A da Figura 5 examina como os efeitos estimados variam com a produtividade do agente antes da IA. Os agentes são divididos em quintis por um índice de competência baseado na eficiência média de chamadas, taxa de resolução e satisfação pesquisada no trimestre anterior à adoção. Os quintis são definidos dentro de cada firma-mês e o tempo de casa na implantação é controlado para isolar o efeito da competência.

O efeito é mais forte no quintil de menor competência: 0,29 ponto logarítmico, ou 34% de aumento em resoluções por hora. Para os agentes de maior competência, não há aumento de produtividade. A Figura 6 mostra que agentes menos qualificados têm os maiores ganhos também nos demais resultados. Entre os mais qualificados, os efeitos são mistos: zero no tempo médio de tratamento, positivo em chats por hora e reduções pequenas, mas estatisticamente significativas, na taxa de resolução e na satisfação.

Isso é consistente com a ideia de que a IA generativa expõe trabalhadores menos qualificados às melhores práticas de trabalhadores mais qualificados. Os primeiros recebem soluções novas; os melhores desempenhadores podem se beneficiar pouco de ver suas próprias melhores práticas. Os efeitos negativos nas medidas de qualidade para o topo da distribuição sugerem que as recomendações podem distraí-los ou levá-los a escolher a opção mais rápida, seguindo sugestões, em vez de dedicar tempo a formular sua própria resposta.

4.2.2 Experiência anterior ao tratamento

Em seguida, os autores repetem o exercício por tempo de casa na data em que o modelo é introduzido. Os agentes são divididos em cinco grupos: alguns têm menos de um mês de casa quando recebem acesso; outros, mais de um ano. Para isolar o efeito da experiência, controla-se a competência quando o acesso é concedido.

O Painel B da Figura 5 apresenta padrão claro e monotônico: os menos experientes têm os maiores ganhos em resoluções por hora. Agentes com menos de um mês de empresa aumentam RPH em 0,38 ponto logarítmico, ou 46%, comparados a agentes do mesmo tempo de casa sem assistência de IA. Para agentes com mais de um ano, não há efeito. A Figura 7 apresenta o mesmo padrão para outros resultados: trabalhadores mais novos obtêm grandes ganhos em eficiência de atendimento, tanto em tempo médio de tratamento quanto em chats por hora, e também ganhos de qualidade, em taxa de resolução e satisfação. Entre os mais experientes há efeitos positivos modestos em tempo médio, positivos mas não significativos em chats por hora e efeitos negativos pequenos, porém significativos, nas medidas de qualidade e satisfação.

4.2.3 Avanço na curva de experiência

Para explorar o efeito sobre novatos, a Figura 8 acompanha a evolução da produtividade no emprego.¹⁵ Ela compara três grupos: agentes que nunca recebem IA (“nunca tratados”), agentes que recebem acesso desde a entrada na firma (“sempre tratados”) e agentes que passam a receber acesso no quinto mês (“tratados no 5º mês”).

Todos começam em torno de 2,0 resoluções por hora. Quem nunca é tratado melhora lentamente com a experiência e chega a aproximadamente 2,5 resoluções por hora oito a dez meses depois. Quem sempre tem assistência chega a 2,5 em apenas dois meses e continua melhorando até resolver mais de três chats por hora após cinco meses de casa.¹⁶ A comparação desses dois grupos sugere que as recomendações aceleram o avanço na curva de experiência.

O terceiro grupo começa sem assistência e melhora lentamente como o grupo nunca tratado durante os cinco primeiros meses. Ao receber acesso no quinto mês, sua produtividade sobe rapidamente e segue trajetória semelhante à dos sempre tratados. A Figura A.4 apresenta as demais métricas: a curva de experiência dos sempre tratados é mais inclinada para tempo de tratamento, chats por hora e taxa de resolução; para satisfação, o padrão é semelhante, mas mais ruidoso. Em conjunto, os resultados indicam que a IA permite a novos agentes avançar mais rapidamente: em muitas métricas, agentes com dois meses de casa e acesso à IA desempenham tão bem quanto ou melhor que agentes com mais de seis meses sem acesso.

5. Aderência, aprendizagem e mudança conversacional

Esta seção investiga os mecanismos dos resultados principais. Primeiro, analisa como os trabalhadores usam recomendações: eles são seletivos e as seguem, em média, em 35% das vezes; os retornos são maiores para quem as segue. As taxas de aderência aumentam ao longo do tempo para todos os trabalhadores, especialmente para os mais antigos, e ao fim da amostra tornam-se semelhantes entre grupos de tempo de casa e competência.

Segundo, os autores perguntam se a assistência ajuda a aprender. Usando interrupções do software em que a assistência fica temporariamente indisponível, encontram evidência de mudanças duráveis nas competências: trabalhadores expostos às recomendações continuam a ter melhor desempenho nas interrupções; o efeito é maior após maior exposição e para agentes que seguem mais de perto as sugestões quando o software está em funcionamento. Por fim, uma análise textual dos chats indica que a assistência altera o conteúdo da comunicação, com mudanças maiores entre trabalhadores menos qualificados, aproximando seus padrões de comunicação aos dos mais qualificados. Em conjunto, os achados sugerem que examinar e seguir recomendações ajuda sobretudo os trabalhadores menos qualificados a adotar melhores práticas de agentes mais qualificados e experientes.

5.1 Aderência às recomendações de IA

A ferramenta sugere respostas, mas os agentes continuam responsáveis pelo que dizem ao cliente. Os resultados principais estimam o efeito de ter acesso à ferramenta, sem depender da frequência com que se seguem as recomendações. Nesta seção, os autores medem a proximidade da aderência e sua associação com os retornos da adoção.

“Aderência” é medida inicialmente no nível do chat, como a parcela das recomendações que cada agente segue. A empresa de IA codifica como aderência tanto clicar para copiar o texto sugerido quanto inserir por conta própria algo muito semelhante. A medida é então agregada ao nível agente-mês. O Painel A da Figura 9 mostra sua distribuição na amostra pós-IA, ponderada pelo logaritmo do número de recomendações recebidas no mês. A taxa média é 38%, com intervalo interquartil de 23% a 50%: agentes frequentemente ignoram as sugestões. Isso é comparável a resultados divulgados para outras ferramentas generativas; estudo sobre GitHub Copilot relata que desenvolvedores individuais usam 27% a 46% das sugestões de código (Zhao, 2023). A seletividade pode ser apropriada, já que modelos podem sugerir algo incorreto ou irrelevante.

O Painel B da Figura 9 mostra retornos maiores quando os agentes efetivamente seguem as recomendações. Os autores dividem os agentes em quintis pela porcentagem de sugestões seguidas no primeiro mês de acesso e estimam separadamente o efeito para cada grupo, controlando mês-ano e efeitos fixos de agente. Há aumento constante e monotônico dos retornos com aderência: no quintil inferior, ainda aparece ganho de produtividade de 10%; no quintil superior, o impacto estimado é mais que o dobro, próximo de 25%. A Figura A.5 mostra associação positiva semelhante nas quatro outras métricas, mais forte para tempo médio de tratamento e chats por hora e mais ruidosa para taxa de resolução e satisfação.

Os resultados são compatíveis com efeito causal de seguir recomendações sobre produtividade, mas a relação também pode refletir seleção: agentes que escolhem aderir podem ser mais produtivos por outras razões, ou justamente os que obtêm maiores retornos podem ser os que aderem. Para explorar isso, os autores usam a preferência revelada: se a associação decorresse apenas de seleção, agentes de baixa aderência continuariam com baixa aderência, pois isso lhes seria ótimo. A Figura 10 acompanha essa evolução. Quem inicialmente já tinha alta aderência permanece pouco acima de 50%; quem estava no terço inferior, inicialmente abaixo de 20%, aumenta mais de 50% e chega a pouco mais de metade no quinto mês. Agentes mais antigos começam com menor aderência — 30% para mais de um ano de casa, ante 37% para menos de três meses —, mas aumentam-na mais rapidamente e convergem após cinco meses. Por competência, as taxas iniciais são semelhantes e todos os grupos aumentam aderência.

Esses padrões são compatíveis com agentes — sobretudo os inicialmente mais céticos — passarem a valorizar recomendações ao longo do tempo. Uma hipótese alternativa é que quem não gosta da assistência saia mais da firma. A Figura A.6 repete o exercício com mudanças dentro do próprio agente, isto é, taxas de aderência residualizadas pelos efeitos fixos do agente. O padrão permanece: todos aumentam a aderência, e os aumentos parecem maiores nos inicialmente menos aderentes e nos mais antigos. Assim, o crescimento não parece resultar exclusivamente de seleção.

5.2 Aprendizagem dos trabalhadores

Uma questão central é se os ganhos de produtividade e as mudanças de comunicação refletem alterações duráveis no capital humano dos trabalhadores ou apenas dependência crescente da assistência. Para investigá-la, os autores observam o desempenho durante períodos em que problemas técnicos na empresa de IA impedem o acesso às recomendações. As interrupções ocorrem ocasionalmente, duram de minutos a horas e podem afetar alguns trabalhadores, mas não todos — por exemplo, quem entra no computador depois da queda do sistema, ou quem usa determinado servidor físico. A empresa registra as interrupções mais relevantes para revisão técnica; esses registros permitem identificar períodos em que uma fração significativa dos chats é afetada.

A Figura A.7 ilustra uma interrupção em 10 de setembro de 2020. No eixo vertical está a parcela de chats pós-tratamento para os quais o software não dá sugestão, agregada por hora; no horizontal, as horas nos dias antes e depois do evento. Horas com menos de 15 chats pós-tratamento são desenhadas como zero para dar clareza ao gráfico. Em períodos normais, 30% a 40% dos chats ficam sem recomendação, pois o sistema não intervém em toda mensagem e muitos atendimentos são breves. Na manhã de 10 de setembro, a parcela sobe a quase 100%. Os registros atribuem a falha a um engenheiro de software que executava teste de carga e derrubou o sistema.

A Figura 11 examina o efeito do acesso ao sistema para chats durante e fora dessas interrupções. Enquanto as regressões principais são no nível trabalhador-mês, estas são no nível de chat, para comparar com precisão conversas em e fora dos períodos de falha. No Painel A, usando somente períodos pós-adoção sem interrupções, a introdução da assistência reduz imediatamente a duração individual dos chats em aproximadamente 10% a 15%, de acordo com os resultados principais. No Painel B, usando as mesmas observações pré-tratamento, mas restringindo o pós-adoção a grandes interrupções, as estimativas são mais ruidosas e parecem maiores — quedas de 15% a 25%. Como falhas são raras e não necessariamente aleatórias, isso pode refletir diferenças nos tipos de chats. Ainda assim, há padrão relevante: nas interrupções, o benefício da exposição à IA cresce com o tempo. Uma falha um mês após a adoção não torna o atendimento muito mais rápido que a linha de base; depois de três meses de exposição, os trabalhadores atendem mais rápido mesmo sem receber assistência direta.

A Figura 12 divide esses estudos de evento por aderência inicial. Quem aderiu muito no início tem quedas grandes e rápidas no tempo de processamento, mesmo durante falhas. Quem costuma desviar das sugestões não melhora o tempo de chat nas interrupções, mesmo após muitos meses de acesso. Isso sugere que a aprendizagem é maior quando as sugestões são usadas ativamente.

Em conjunto, os resultados indicam que ferramentas generativas podem ajudar no desenvolvimento de competências duráveis. Antes da assistência, os agentes recebiam treinamento de gerentes apenas em sessões semanais curtas, nas quais se revisavam algumas conversas e se sugeriam formas melhores de conduzi-las. Por necessidade, esse retorno cobre somente pequena fração dos contatos. Além disso, gerentes pressionados por tempo ou sem treinamento podem apenas apontar uma métrica fraca — “você precisa reduzir seu tempo de tratamento” — em vez de identificar uma estratégia — “você precisa fazer mais perguntas no início para diagnosticar melhor”. Esse tipo de orientação pode ser ineficaz e contraproducente para o engajamento (Berg et al., 2018). A assistência, em contraste, entrega sugestões específicas e acionáveis em tempo real, podendo complementar programas existentes de aprendizagem no trabalho.

5.3 Mudança conversacional

Por fim, os autores analisam como o acesso à assistência afeta a comunicação dos trabalhadores. Para captar o conteúdo geral das conversas, criam incorporações textuais (text embeddings) de conversas entre agente e cliente. Uma incorporação transforma texto em vetor de alta dimensão que representa suas “coordenadas” no espaço linguístico; dois textos têm coordenadas mais semelhantes quando compartilham significado ou estilo. As incorporações são obtidas com o all-MiniLM-L6-v2, LLM destinado a capturar e agrupar informação semântica para aferir similaridade (Hugging Face, 2023). A comparação usa similaridade de cosseno: zero indica textos semanticamente ortogonais e um, o mesmo significado (Koroteev, 2021). Como referência, “Você pode me ajudar a entrar?” e “Por que meu acesso não funciona?” têm similaridade de 0,68 no modelo usado.

Essa abordagem verifica, primeiro, se a assistência muda o conteúdo do que agentes escrevem, em vez de apenas fazê-los digitar as mesmas coisas mais rapidamente. Em seguida, examina como esses padrões diferem entre trabalhadores de alta e baixa competência. Se os modelos disseminam os comportamentos de alto desempenho, espera-se que a assistência leve agentes de menor desempenho a escrever mais como os de maior desempenho.

5.3.1 Mudanças de comunicação dentro de cada trabalhador

Os autores acompanham como a comunicação de cada agente evolui antes e depois do acesso. Para trabalhadores tratados, comparam a similaridade dos chats em cada semana de tempo de evento com seus chats do mês anterior à implantação — semanas −4 a −1 —, excluindo as mensagens do cliente e mantendo somente a linguagem gerada pelo agente. O Painel A da Figura 13 mostra que a similaridade textual com a janela pré-IA é estável nas semanas que antecedem a implantação e cai imediatamente depois. Conversas de 12 a 5 semanas antes são bastante semelhantes às de 4 a 1 semana antes; as de 0 a 12 semanas após são todas menos semelhantes.

Essa queda é amplamente incompatível com a hipótese de que a assistência apenas faz os trabalhadores digitar as mesmas coisas mais rápido. Se fosse esse o caso, o tempo de atendimento cairia, mas a similaridade textual permaneceria constante.

O Painel B da Figura 13 compara a magnitude dessa mudança de conteúdo antes e depois por competência anterior à IA. Agentes de menor competência — quintil inferior da distribuição pré-IA — têm mudança textual maior após a adoção do que os melhores desempenhadores. As estimativas controlam efeitos fixos de firma-ano-mês, que absorvem mudanças sazonais, como ciclos tributários ou de folha, e lançamentos de produto, além de efeitos fixos de tempo de casa. Embora não se controle diretamente o tema do chat, os temas são atribuídos aleatoriamente aos agentes; portanto, não se espera que diferenças de tema variem sistematicamente por competência. A evidência sugere que a implantação altera mais os padrões de comunicação de trabalhadores menos qualificados.

5.3.2 Comparações entre trabalhadores

A Figura 14 verifica se as mudanças individuais fazem trabalhadores de baixa e alta competência soarem mais parecidos. Ela apresenta a similaridade de cosseno entre esses grupos em momentos específicos do calendário, separando trabalhadores com e sem acesso à IA. Sem acesso, alta e baixa competência correspondem aos quintis superior e inferior do índice naquele mês; com acesso, correspondem aos quintis na data de implantação.

Sem assistência, a similaridade textual média entre trabalhadores de alta e baixa produtividade é 0,55 e permanece estável no tempo. Após a adoção, os grupos passam a usar linguagem mais semelhante: a similaridade vai de 0,55 para 0,61. Embora a variação pareça pequena, a similaridade média dentro da própria pessoa entre trabalhadores de alta competência é cerca de 0,67; portanto, trata-se de redução substancial da lacuna de linguagem. Em conjunto, as Figuras 13 e 14 sugerem convergência dos trabalhadores menos qualificados em direção aos mais qualificados, e não o inverso. Isso é consistente com modelos de IA disseminando comportamentos de trabalhadores de alta competência: os de menor competência devem mudar mais, enquanto os melhores mudam menos porque o modelo tende a sugerir linguagem que já usam.

Estudos qualitativos sugerem que as condições de trabalho em centrais de atendimento podem ser desagradáveis. A natureza repetitiva da função, somada à exposição regular a conversas difíceis e carregadas emocionalmente, pode levar a esgotamento e alta rotatividade. Além disso, o atendimento de empresas norte-americanas é frequentemente terceirizado para países de renda mais baixa, como Índia e Filipinas; agentes podem trabalhar em horários difíceis e enfrentar barreiras culturais ou julgamentos ao falar com clientes.

Mais produtividade não implica necessariamente maior satisfação no trabalho, especialmente se os trabalhadores se sentirem pressionados a trabalhar cada vez mais rápido. Esta seção examina um aspecto da experiência: como os agentes são tratados pelos clientes, medido por sentimento do cliente e pedidos para falar com gerente. Também examina rotatividade como indicador geral de satisfação no trabalho.

6.1 Sentimento do cliente

Clientes muitas vezes descarregam suas frustrações em agentes anônimos. Nos dados, há palavrões, abuso verbal e “gritos” — digitação em letras maiúsculas. Espera-se que trabalhadores de serviço absorvam essas frustrações limitando sua própria reação emocional (Hochschild, 2019), e o estresse desse trabalho emocional é frequentemente apontado como causa de esgotamento e saída de trabalhadores (Lee, 2015).

O acesso à assistência pode mudar o tratamento dado pelos clientes em direções incertas. Pode melhorar o tom ao ajudar a ajustar expectativas e resolver problemas mais rápido; ou pode frustrar mais se a linguagem sugerida parecer corporativa ou insincera. Para medir isso, os autores usam análise de sentimento (Mejova, 2009) com o SiEBERT, LLM ajustado para essa tarefa em bases que incluem resenhas de produtos e tweets (Hartmann et al., 2023). O sentimento varia de −1, negativo, a 1, positivo. Calculam-se escores separados para texto de cliente e agente em cada conversa e depois se agregam as médias a agente-ano-mês.

O Painel A da Figura 15 mostra que o sentimento do cliente é em média levemente positivo, normalmente distribuído em torno de 0,14, com massa de escores muito positivos e muito negativos. No Painel B, os agentes são invariavelmente positivos: média de 0,89, reflexo de treinamento para extrema polidez e cordialidade, mesmo antes da IA. Após a implantação, o sentimento do cliente melhora de forma imediata e persistente. Pela coluna 1 da Tabela 4, o acesso eleva o sentimento médio do cliente em 0,18 ponto, equivalente a metade de um desvio-padrão. Não há efeito detectável no sentimento do agente, já muito alto: a coluna 2 aponta aumento de somente 0,02 ponto, cerca de 1% de um desvio-padrão.

Tabela 4. Sentimento de clientes e agentes

Regressões de diferenças em diferenças com efeitos fixos de agente, mês-ano, localização e tempo de casa; erros-padrão agrupados por localização do agente.

Notas: p<0,01; p<0,05; p<0,10.

A Figura A.8 indica melhora significativa na forma como clientes tratam agentes em todos os níveis de competência e experiência, com os maiores efeitos na faixa baixa a média-baixa dessas distribuições. Como nos resultados de produtividade, os agentes mais produtivos e experientes recebem os menores benefícios. Como as recomendações foram desenhadas explicitamente para priorizar respostas empáticas, elas podem melhorar as competências sociais demonstradas pelos agentes e ter efeito emocional positivo nos clientes.

6.2 Confiança do cliente e escalonamento gerencial

Mudanças na produtividade individual podem ter implicações mais amplas para o fluxo organizacional (Garicano, 2000; Athey et al., 1994; Athey e Stern, 1998). No atendimento, agentes de linha de frente tentam resolver os problemas, mas podem buscar supervisores quando não sabem como prosseguir. Clientes sabem disso e às vezes tentam escalar a conversa pedindo para falar com gerente, geralmente por acharem que o agente atual não tem competência ou autoridade para resolver o problema, ou por frustração.

A Figura 16 examina a frequência desses pedidos. O resultado é a parcela de chats do agente em que o cliente pede gerente ou supervisor, agregada por ano-mês. Os autores usam o pedido, e não o escalonamento efetivo, pois não têm dados do escalonamento e o pedido mede melhor a confiança do cliente na competência ou autoridade do agente. Após a assistência, há queda gradual dos pedidos. Frente a uma linha de base de aproximadamente 6 pontos percentuais, os coeficientes indicam redução de quase 25% nos pedidos de falar com gerente. A Figura A.9 mostra que a redução é desproporcionalmente maior entre agentes menos qualificados ou menos experientes na adoção.

6.3 Rotatividade

A adoção de IA generativa pode afetar produtividade, estresse e como os clientes percebem os trabalhadores, entre outros fatores. Embora nem todos sejam observáveis, padrões de rotatividade fornecem medida geral dos efeitos no trabalho. A análise compara a rotatividade de agentes tratados à de não tratados com o mesmo tempo de casa. Excluem-se observações pré-tratamento dos futuros tratados, pois, por construção, eles precisam permanecer na firma até serem tratados. Também se controlam localização e efeitos fixos de tempo.

A Figura 17 mostra o efeito do acesso sobre a rotatividade. Por experiência, a redução mais forte ocorre entre agentes novos, com menos de seis meses: coeficiente de cerca de 10 pontos percentuais, ou queda de 40% diante de taxa inicial de 25% nesse grupo. Por competência, há queda significativa em todos os grupos, mas sem gradiente sistemático. Os autores recomendam mais cautela do que nos resultados principais porque não podem incluir efeitos fixos de agente — a rotatividade só pode ocorrer uma vez por pessoa. Assim, os resultados podem superestimar o impacto se a ferramenta for entregue mais frequentemente a agentes que a empresa acredita terem maior probabilidade de permanecer.

Os avanços em IA abrem amplo conjunto de possibilidades econômicas. O artigo apresenta evidência empírica inicial dos efeitos de uma ferramenta de IA generativa em um local de trabalho real. Nesse contexto, o acesso a recomendações geradas por IA aumenta produtividade, melhora o sentimento do cliente e está associado a menor rotatividade.

Os autores levantam a hipótese de que parte do efeito decorre da capacidade do sistema de incorporar melhores práticas de trabalhadores de alta competência e torná-las acessíveis a outros. Essas práticas talvez fossem difíceis de disseminar por envolverem conhecimento tácito. Coerentemente, a assistência gera melhorias substanciais em resolução de problemas e satisfação para trabalhadores novos e menos qualificados, mas não ajuda os de maior competência ou experiência nessas medidas. Agentes que usaram o sistema também desempenham um pouco melhor quando ele é desativado inesperadamente. A análise do texto das conversas oferece evidência sugestiva de que recomendações levam trabalhadores menos qualificados a se comunicar mais como os mais qualificados.

Os achados e suas limitações apontam várias direções de pesquisa. Mais importante, eles não captam efeitos de longo prazo da IA generativa sobre demanda por competências, desenho do emprego, salários ou demanda dos clientes. Não é claro se maior produtividade no atendimento criará mais ou menos demanda por trabalhadores. Se a demanda for inelástica, ferramentas generativas podem reduzir demanda e salários no longo prazo. Alternativamente, suporte melhor pode levar clientes a buscar representantes para gama mais ampla de questões, aumentar demanda por trabalhadores ou criar responsabilidades novas, como coletar comentários de clientes para a equipe de desenvolvimento (Berg et al., 2018; Korinek, 2022).

Os resultados também levantam questões sobre a própria natureza da produtividade. Tradicionalmente, a produtividade de um agente é a capacidade de ajudar os clientes com quem interage. Quando conversas alimentam bases de treinamento, ela inclui também fornecer exemplos de comportamentos bem-sucedidos que podem ser compartilhados com outros. No contexto estudado, os melhores desempenhadores fornecem muitos exemplos para treinar o sistema, mas veem poucas melhorias em sua própria produtividade. Com as regras de pagamento vigentes, podem até ter redução de remuneração, porque bônus são calculados em relação ao desempenho de outros agentes. Isso suscita a questão de como trabalhadores, sobretudo os de melhor desempenho, devem ser compensados pelos dados que fornecem a sistemas de IA.

Por fim, como tecnologia de propósito geral potencial, a IA generativa pode e será implantada de muitas formas; os efeitos encontrados talvez não se generalizem a todas as firmas e processos produtivos (Eloundou et al., 2023). O contexto estudado possui produto relativamente estável e conjunto de questões técnicas de suporte. Em áreas de produto ou ambiente em mudança rápida, o valor relativo das recomendações pode ser diferente: elas podem sintetizar melhor práticas que mudam, ou dificultar a aprendizagem ao promover práticas desatualizadas observadas em dados históricos de treinamento. Dado o estágio inicial da IA generativa, essas e outras questões exigem investigação adicional.

No refinamento, um modelo de propósito geral pode ser exposto a dados rotulados que expressem a prioridade do contexto. Um modelo que gere conteúdo para redes sociais, por exemplo, se beneficia de observar não só o texto do post, mas também o engajamento que ele obteve. Um LLM pode produzir várias respostas para uma consulta, algumas factualmente erradas ou tóxicas; avaliadores humanos podem ordenar essas saídas, treinando uma função de recompensa que priorize as respostas desejáveis. Refinamentos desse tipo melhoram substancialmente a qualidade ao adequar um modelo geral à aplicação concreta (Ouyang et al., 2022; Liu et al., 2023). Em conjunto, essas inovações elevaram o desempenho dos modelos, e a família Generative Pre-trained Transformer (GPT) tornou-se especialmente conhecida pela expansão rápida de suas capacidades.⁸

Referências

As referências abaixo mantêm os trabalhos citados no artigo, com a grafia bibliográfica do original quando não há tradução consolidada.

• Acemoglu, D.; Autor, D. Skills, tasks and technologies: Implications for employment and earnings. Handbook of Labor Economics, v. 4, 2011, p. 1043–1171.
• Acemoglu, D.; Restrepo, P. Low-Skill and High-Skill Automation. Journal of Human Capital, 2018, 12(2), p. 204–232.
• Acemoglu, D.; Restrepo, P. Robots and Jobs: Evidence from US Labor Markets. Journal of Political Economy, 2020, 128(6), p. 2188–2244.
• Akerman, A.; Gaarder, I.; Mogstad, M. The Skill Complementarity of Broadband Internet. Quarterly Journal of Economics, 2015, 130(4), p. 1781–1824.
• Autor, D. Polanyi’s Paradox and the Shape of Employment Growth. NBER Working Paper 20485, 2014.
• Autor, D.; Levy, F.; Murnane, R. The Skill Content of Recent Technological Change. Quarterly Journal of Economics, 2003, 118(4), p. 1279–1333.
• Bahdanau, D.; Cho, K.; Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR, 2015.
• Bartel, A.; Ichniowski, C.; Shaw, K. How Does Information Technology Affect Productivity? Quarterly Journal of Economics, 2007, 122(4), p. 1721–1758.
• Berg, J.; Das, A.; Gupta, V.; Kline, P. Smarter call-center coaching for the digital world. McKinsey, 2018.
• Borusyak, K.; Jaravel, X.; Spiess, J. Revisiting Event Study Designs. 2022.
• Brown, T. et al. Language Models are Few-Shot Learners. 2020, arXiv:2005.14165.
• Brynjolfsson, E.; Mitchell, T. What Can Machine Learning Do? Workforce Implications. Science, 2017, 358, p. 1530–1534.
• Buesing, E.; Gupta, V.; Higgins, S.; Jacobson, R. Customer care: The future talent factory. McKinsey, 2020.
• Callaway, B.; Sant’Anna, P. Difference-in-Differences with multiple time periods. Journal of Econometrics, 2021, 225(2), p. 200–230.
• Chui, M.; Hall, B.; Singla, A.; Sukharevsky, A. Global survey: The state of AI in 2021. McKinsey, 2021.
• de Chaisemartin, C.; D’Haultfœuille, X. Two-Way Fixed Effects Estimators with Heterogeneous Treatment Effects. American Economic Review, 2020, 110(9), p. 2964–2996.
• Eloundou, T.; Manning, S.; Mishkin, P.; Rock, D. GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models. 2023, arXiv:2303.10130.
• Hochschild, A. The Managed Heart: Commercialization of Human Feeling. University of California Press, 2019.
• Ouyang, L. et al. Training language models to follow instructions with human feedback. 2022, arXiv:2203.02155.
• Polanyi, M. The Tacit Dimension. University of Chicago Press, 1966.
• Sun, L.; Abraham, S. Estimating dynamic treatment effects in event studies with heterogeneous treatment effects. Journal of Econometrics, 2021, 225(2), p. 175–199.
• Vaswani, A. et al. Attention Is All You Need. 2017, arXiv:1706.03762.

Apêndice: materiais suplementares preservados

O original publica material suplementar com o exemplo de recomendação técnica, cronograma de implantação, estudos de evento com especificações alternativas, curvas por coorte, medidas de aderência, interrupção do sistema, heterogeneidade do sentimento do cliente, escalonamento e a Tabela A.1. Os fac-símiles abaixo preservam as figuras, tabelas, eixos, notas e especificações que acompanham a análise no artigo.

Fonte oficial

• Brynjolfsson, Li & Raymond (2023), Generative AI at Work — NBER Working Paper 31161
• PDF oficial do NBER

Evidências de um assistente conversacional em atendimento ao cliente

Erik Brynjolfsson, Danielle Li & Lindsey R. Raymond NBER Working Paper 31161, abril de 2023; revisado em novembro de 2023.

Tradução não oficial para fins de leitura. O artigo é um working paper do NBER e não passou pelo processo de revisão editorial do NBER Board of Directors. Para citações, dados e interpretações metodológicas, consulte a versão oficial ao final.

Resumo

Novas ferramentas de IA podem transformar como trabalhadores executam e aprendem tarefas, mas seus efeitos no trabalho ainda são pouco conhecidos. Os autores estudam a introdução escalonada de um assistente conversacional baseado em IA generativa com dados de 5.179 agentes de suporte ao cliente. O acesso à ferramenta eleva em média em 14% a produtividade, medida por problemas resolvidos por hora. O ganho chega a 34% entre trabalhadores novatos e de menor habilidade, enquanto o efeito é mínimo entre os mais experientes e qualificados.

As evidências sugerem que o modelo dissemina boas práticas dos agentes mais capazes e ajuda trabalhadores novos a avançar mais rapidamente pela curva de experiência. A assistência da IA também melhora o sentimento dos clientes, aumenta a retenção de empregados e pode produzir aprendizado. Os resultados indicam que a IA generativa pode elevar produtividade, mas seus efeitos são muito heterogêneos entre trabalhadores.

Introdução

O surgimento da inteligência artificial generativa atraiu atenção intensa, mas poucos estudos examinaram seu impacto econômico. Embora várias ferramentas se saiam bem em ambientes de laboratório, o entusiasmo por seu potencial é moderado pela preocupação de que sejam menos eficazes em ambientes reais: podem encontrar problemas desconhecidos, enfrentar resistência organizacional ou produzir informação enganosa em contextos importantes (Peng et al., 2023a; Roose, 2023).

O artigo estuda a adoção de ferramenta de IA generativa que oferece orientação conversacional a agentes de suporte ao cliente. Segundo os autores, é o primeiro estudo sobre o impacto de IA generativa implantada em escala no local de trabalho. O acesso à assistência eleva em 14% a produtividade, medida pelo número de problemas de clientes que cada agente resolve por hora. Diferentemente de estudos sobre ondas anteriores de informatização, os ganhos recaem desproporcionalmente sobre trabalhadores menos experientes e de menor habilidade. A explicação proposta é que sistemas generativos capturam e disseminam padrões de comportamento dos agentes mais produtivos, inclusive conhecimento que havia escapado à automação em ondas anteriores.

Computadores e softwares transformaram a economia por executar certas tarefas com precisão, velocidade e consistência muito maiores que as humanas. Para funcionar, esses sistemas normalmente exigem instruções explícitas e detalhadas sobre como converter entradas em saídas: programar é codificar uma tarefa. Muitas atividades de trabalho — escrever e-mails, analisar dados ou criar apresentações — dependem, porém, de conhecimento tácito e resistiram à automação (Polanyi, 1966; Autor, 2014). Conhecimento tácito são habilidades que as pessoas possuem, mas não conseguem exprimir plenamente; ele costuma ser intuitivo, não verbal, adquirido por experiências, observações e prática e difícil de transferir por treinamento ou manuais.

Algoritmos de aprendizado de máquina funcionam de outro modo: em vez de exigirem instruções explícitas, inferem instruções a partir de exemplos. Com conjunto de treinamento de imagens, por exemplo, podem aprender a reconhecer indivíduos específicos mesmo que ninguém consiga explicar completamente quais traços físicos definem sua identidade. Isso destaca a característica distintiva do aprendizado de máquina: ele pode aprender tarefas sem que existam instruções, inclusive tarefas de conhecimento tácito antes adquiridas apenas por experiência vivida (Polanyi, 1966; Autor, 2014; Brynjolfsson e Mitchell, 2017).

Modelos de aprendizado de máquina também costumam ser treinados com dados de trabalhadores humanos, que naturalmente diferem em capacidade. Ao observar muitas execuções boas e ruins de tarefas — fazer ofertas de venda, dirigir um caminhão ou diagnosticar paciente —, podem aprender implicitamente comportamentos e características que distinguem trabalhadores de alto desempenho dos menos eficazes. Assim, modelos generativos não apenas executam tarefas complexas: também podem capturar habilidades que distinguem trabalhadores de elite. Ferramentas de aprendizado de máquina podem expor trabalhadores menos qualificados a novas habilidades e, por isso, alterar produtividade de maneira desigual.

Os autores investigam produtividade e experiência de trabalho no atendimento ao cliente, setor com uma das maiores taxas de adoção de IA (Chui et al., 2021). Analisam a implantação escalonada de assistente de chat em cerca de cinco mil agentes de empresa Fortune 500 de software de processos empresariais e seus subcontratados. A ferramenta é construída sobre versão recente da família GPT de grandes modelos de linguagem da OpenAI (OpenAI, 2023), monitora chats com clientes e oferece em tempo real sugestões de resposta. Ela foi concebida para ampliar, não substituir, os agentes: eles continuam responsáveis pela conversa e podem ignorar as sugestões.

O primeiro conjunto de resultados mostra aumento de 14% em problemas resolvidos por hora. O efeito vem de três componentes: redução do tempo para lidar com cada chat, aumento do número de chats atendidos por hora — agentes podem conduzir vários simultaneamente — e pequena elevação da parcela de chats resolvidos. O impacto é muito desigual: trabalhadores menos experientes e de menor habilidade melhoram em todas as medidas, com aumento de 34% em problemas resolvidos por hora. Agentes tratados com apenas dois meses de casa passam a ter desempenho semelhante ao de agentes sem tratamento com mais de seis meses. Em contrapartida, agentes experientes ou de maior habilidade apresentam impacto mínimo; há evidência de que a assistência pode até reduzir a qualidade das conversas dos mais capazes. O padrão contrasta com a mudança técnica enviesada em favor da habilidade documentada para ondas anteriores de tecnologia.

O segundo conjunto investiga o mecanismo. Recomendações de IA parecem úteis: agentes que as seguem mais de perto obtêm ganhos maiores, e as taxas de adesão sobem no tempo para todos, sobretudo entre quem inicialmente era mais cético. A interação também pode produzir aprendizado durável. Em períodos de falha do software — quando a IA não fornece sugestões —, os trabalhadores ainda exibem ganhos relativos à linha de base anterior à IA. Esses ganhos são mais fortes para quem teve maior exposição prévia ou seguiu recomendações mais de perto. A análise do texto dos chats fornece evidência sugestiva de convergência: agentes de menor habilidade passam a se comunicar mais como agentes de alta habilidade.

O terceiro conjunto trata da experiência de trabalho. Em centrais de contato, o trabalho costuma ser difícil: agentes lidam regularmente com clientes hostis e anônimos e, por serem muitas vezes terceirizados, podem trabalhar de madrugada para atender horários comerciais dos Estados Unidos. A IA pode ajudar na comunicação, mas também fazer o agente parecer mecânico ou inautêntico. Os autores encontram melhora acentuada no tratamento dispensado pelos clientes, medida pelo sentimento de suas mensagens, e menor probabilidade de clientes questionarem a competência do agente pedindo um supervisor. As mudanças vêm acompanhadas de queda substancial da rotatividade, provocada sobretudo pela retenção de trabalhadores novos.

Os resultados mostram que acesso à IA generativa pode elevar produtividade e retenção individuais, mas o artigo não mede efeitos agregados sobre emprego ou salários. Empresas podem contratar mais trabalhadores novatos, simplificar cargos ou desenvolver sistemas mais capazes que substituam integralmente trabalhadores menos qualificados. Os dados não permitem observar salários, demanda total por trabalho nem composição de habilidades das novas contratações. O estudo também evidencia desafio de incentivo de longo prazo: trabalhadores de elite geralmente não são pagos por sua contribuição aos dados de treinamento que permitem ao sistema capturar e difundir suas habilidades. Sem esses dados, sistemas podem ser menos eficazes para resolver novos problemas; surge a questão de como remunerar trabalhadores pelos dados que fornecem.

O artigo se relaciona à ampla literatura sobre adoção tecnológica, produtividade e organização do trabalho. Muitos estudos de tecnologia da informação encontraram complementaridade com trabalhadores mais qualificados (Akerman et al., 2015; Taniguchi e Yamada, 2022); Bartel et al. (2007), por exemplo, mostra que empresas que adotam TI usam trabalho mais qualificado e elevam seus requisitos. Há bem menos estudos sobre tecnologias de IA. Evidências de produtividade agregada são mistas e difíceis de identificar porque empresas adotantes diferem muito das não adotantes. Ao estudar milhares de pessoas em uma mesma empresa e subcontratados, este trabalho se aproxima de experimentos de laboratório com Copilot, ChatGPT e apoio jurídico, mas é o primeiro a acompanhar efeitos de longo prazo em local de trabalho real, inclusive aprendizado, efeitos sobre clientes e experiência de trabalho.

1. IA generativa e grandes modelos de linguagem

Nos últimos anos, o ritmo rápido da IA e o lançamento público de ChatGPT, GitHub Copilot e DALL-E atraíram atenção, otimismo e alarme. Essas tecnologias são exemplos de IA generativa: classe de aprendizado de máquina que gera conteúdo novo — texto, imagem, música ou vídeo — ao analisar padrões nos dados existentes. Esta seção apresenta a tecnologia e suas implicações econômicas potenciais.

1.1 Introdução técnica

O artigo concentra-se em grandes modelos de linguagem (LLMs), modelos de redes neurais concebidos para processar dados sequenciais. Um LLM é treinado para prever a próxima palavra de uma sequência a partir do que veio antes, usando corpus enorme de texto, como Wikipédia, livros digitalizados ou partes da internet. Esse conhecimento da coocorrência estatística das palavras permite gerar texto gramaticalmente correto e semanticamente significativo. Apesar do nome, as mesmas técnicas podem produzir outras formas de dados sequenciais, como sequências de proteínas, áudio, código de computador ou movimentos de xadrez.

O progresso recente da IA generativa decorre de quatro fatores: escala computacional, inovações anteriores de arquitetura, capacidade de pré-treinar com grandes volumes de dados não rotulados e refinamentos nas técnicas de treinamento. Primeiro, a qualidade dos LLMs depende fortemente de escala: poder de computação de treinamento, número de parâmetros e tamanho da base. GPT-3 tinha 175 bilhões de parâmetros, foi treinado em 300 bilhões de tokens e gerou custo computacional aproximado de US 5 milhões; estima-se que GPT-4 tenha 1,8 trilhão de parâmetros, 13 trilhões de tokens e custo de computação de aproximadamente US 65 milhões (Li, 2020; Brown et al., 2020; Patel e Wong, 2023).

Quanto à arquitetura, LLMs modernos usam codificação posicional e autoatenção. Codificações posicionais acompanham a posição de cada palavra na entrada. A autoatenção atribui pesos de importância a cada palavra no contexto do texto inteiro. Em conjunto, permitem captar relações semânticas de longo alcance mesmo quando um texto é fragmentado e processado em paralelo (Vaswani et al., 2017; Bahdanau et al., 2015). LLMs também podem ser pré-treinados em grandes volumes de dados não rotulados, como Reddit ou Wikipédia. Como dados não rotulados são muito mais abundantes, aprendem linguagem em corpus mais amplo; ao observar, por exemplo, que “amarelo” coocorre mais com “banana”, “sol” ou “patinho de borracha”, aprendem relações semânticas e gramaticais sem orientação explícita. O modelo resultante serve a várias aplicações porque não foi treinado para conjunto específico de tarefas. Por fim, um LLM de propósito geral pode receber fine-tuning para gerar saídas alinhadas às prioridades de contexto específico.

1.2 Os efeitos econômicos da IA generativa

Historicamente, os computadores se destacaram em executar instruções pré-programadas; por isso, foram particularmente eficazes em tarefas que podem ser reduzidas a regras explícitas (Autor, 2014). A informatização reduziu desproporcionalmente a demanda por pessoas em tarefas “rotineiras”, como entrada de dados, escrituração e trabalho em linha de montagem, comprimindo os salários dessas ocupações (Acemoglu e Autor, 2011). Ao mesmo tempo, elevou a demanda por competências complementares, como programação, análise de dados e pesquisa. Em conjunto, essas mudanças contribuíram para o aumento da desigualdade salarial nos Estados Unidos e foram associadas a mudanças organizacionais (Katz e Murphy, 1992; Autor et al., 2003; Michaels et al., 2014; Bresnahan et al., 2002; Baker e Hubbard, 2003; OCDE, 2023).

Em contraste, ferramentas de IA generativa não precisam de instruções explícitas para realizar tarefas. Se recebem o pedido de escrever um e-mail que negue a um empregado um aumento, provavelmente produzem uma mensagem profissional e conciliatória. Isso acontece porque o modelo encontrou muitos exemplos de comunicação de trabalho em que solicitações são recusadas dessa forma. Nenhum programador precisou especificar qual tom é apropriado em cada contexto — nem definir plenamente o que significam tons como “profissional” ou “conciliatório”. A capacidade de agir de modo apropriado não pode ser inteiramente articulada sequer por quem a possui: as pessoas a aprendem pela experiência e aplicam regras inconscientes. Esse tipo de “conhecimento tácito” sustenta grande parte das tarefas humanas, dentro e fora do trabalho (Polanyi, 1966; Autor, 2014).

O fato de modelos generativos exibirem essas competências sugere que podem adquirir conhecimento tácito incorporado aos exemplos de treinamento. Isso amplia as tarefas que computadores podem realizar para incluir atividades não rotineiras que dependem de julgamento e experiência. O GitHub Copilot, por exemplo, produz sugestões de código e pode explicar, em linguagem natural, o funcionamento do código que gera; serviços de “assistente de IA”, como o Claude, podem elaborar análises convincentes de casos de negócio, ler demonstrações financeiras e oferecer avaliações estratégicas (Nguyen e Nadi, 2022; Zhao, 2023). Como muitas dessas tarefas — programação, análise financeira e outras — são hoje desempenhadas por trabalhadores que foram protegidos ou beneficiados por ondas anteriores de adoção tecnológica, a expansão da IA generativa pode alterar a relação entre tecnologia, produtividade do trabalho e desigualdade (The White House, 2022).

Essas ferramentas também podem revelar informações valiosas sobre as diferenças entre trabalhadores humanos mais produtivos e os demais. Os modelos de aprendizado de máquina que as sustentam costumam ser treinados em dados produzidos por trabalhadores e, portanto, veem muitos exemplos de execução boa e ruim de uma mesma tarefa. Ao aprender a prever bons resultados, podem identificar implicitamente características ou padrões de comportamento que distinguem alto e baixo desempenho, inclusive sutilezas enraizadas em conhecimento tácito. Em seguida, usam esse aprendizado para produzir novos comportamentos que incorporam o que pessoas de melhor desempenho fariam.

As empresas podem empregar essa capacidade de modos distintos: substituir trabalhadores menos qualificados por ferramentas baseadas em IA, demonstrar boas práticas para ajudá-los a melhorar ou acelerar a aprendizagem de pessoas menos experientes. Em qualquer dos casos, a IA generativa pode afetar de forma diferente trabalhadores de capacidades distintas, mesmo quando realizam as mesmas tarefas.

Apesar do potencial, há desafios importantes na aplicação real. Ferramentas populares baseadas em LLM, como o ChatGPT, podem gerar informações falsas ou enganosas de maneiras imprevisíveis, o que levanta dúvidas sobre sua confiabilidade em situações de alto risco. Além disso, embora LLMs tenham bom desempenho em tarefas específicas de laboratório (OpenAI, 2023; Peng et al., 2023b; Noy e Zhang, 2023), os problemas encontrados por trabalhadores no cotidiano tendem a ser mais amplos e menos previsíveis. Isso suscita dúvidas tanto sobre a precisão da assistência em todas as circunstâncias quanto, sobretudo, sobre a capacidade de os trabalhadores distinguirem os casos em que a ferramenta funciona daqueles em que não funciona. Por fim, a eficácia de novas tecnologias depende de sua interação com estruturas existentes no local de trabalho: investimentos organizacionais complementares, desenvolvimento de competências e redesenho de processos podem ser necessários. Como a IA generativa apenas começa a ser usada no trabalho, seus efeitos ainda são pouco conhecidos.

2. Contexto: LLMs para suporte ao cliente

2.1 Suporte ao cliente e IA generativa

Os autores estudam o impacto da IA generativa no setor de atendimento ao cliente, uma das áreas com as maiores taxas declaradas de adoção de IA.¹¹ Interações de suporte são importantes para a reputação da empresa e para a construção de relações fortes com clientes, mas, como em muitos setores, a produtividade dos trabalhadores varia substancialmente (Berg et al., 2018; Syverson, 2011).

Trabalhadores novos geralmente são menos produtivos e exigem treinamento considerável. Ao mesmo tempo, a rotatividade é elevada: estimativas do setor indicam que 60% dos agentes de contact centers saem a cada ano, gerando custo de US 10 mil a US 20 mil por agente (Buesing et al., 2020; Gretz e Jacobson, 2018). Para lidar com esses desafios, o supervisor médio despende ao menos 20 horas semanais orientando agentes de menor desempenho (Berg et al., 2018). Diante de produtividade variável, alta rotatividade e custos de treinamento, as empresas recorrem cada vez mais a ferramentas de IA (Chui et al., 2021).

Do ponto de vista técnico, o suporte ao cliente se adapta bem às ferramentas generativas atuais. Uma conversa entre cliente e agente pode ser entendida como série de problemas de reconhecimento de padrões: é preciso buscar a sequência ótima de ações. Diante de “não consigo entrar”, uma IA ou agente deve identificar quais problemas subjacentes provavelmente impedem o acesso e quais soluções os resolvem — por exemplo, perguntar se a tecla Caps Lock está ativada. Ao mesmo tempo, precisa perceber a reação emocional do cliente e escolher linguagem que aumente a chance de resposta positiva. Como conversas de atendimento são amplamente registradas e digitalizadas, LLMs pré-treinados podem ser ajustados para esse uso com numerosos exemplos de conversas resolvidas e não resolvidas.

O atendimento também apresenta alta variação nas capacidades individuais. Agentes de melhor desempenho, por exemplo, tendem a diagnosticar melhor o problema técnico subjacente a partir da descrição do cliente. Frequentemente fazem mais perguntas antes de concluir o diagnóstico; isso pode levar mais tempo no início, mas reduz a probabilidade de desperdiçar tempo tentando resolver o problema errado. Diferenças de comportamento como essas podem ser inferidas a partir da grande quantidade de dados de treinamento disponível para modelos específicos de atendimento. Assim, é um ambiente no qual modelos generativos podem potencialmente codificar parte das “melhores práticas” usadas por agentes de maior desempenho.

2.2 Contexto da empresa de dados

Os autores trabalham com uma empresa que fornece software de suporte ao cliente baseado em IA — a “empresa de IA” — para estudar a implantação da ferramenta em uma de suas clientes, chamada de “empresa de dados”. A empresa de dados é uma companhia de software empresarial da Fortune 500, especializada em software de processos de negócio para pequenas e médias empresas dos Estados Unidos. Ela emprega agentes de suporte técnico via chat, diretamente e por empresas terceirizadas. A maior parte dos agentes da amostra trabalha em escritórios nas Filipinas; um grupo menor atua nos Estados Unidos e em outros países. Em todos os locais, a função é bastante uniforme: responder questões de suporte técnico de proprietários de pequenas empresas norte-americanas.

Os chats são distribuídos aleatoriamente. As sessões de suporte são relativamente longas — 40 minutos em média — e grande parte da conversa é dedicada a diagnosticar o problema técnico. O trabalho requer combinação de conhecimento detalhado do produto, resolução de problemas e habilidade para lidar com clientes frustrados.

A empresa mede produtividade por três métricas usuais no atendimento: tempo médio de tratamento (average handle time), isto é, o tempo médio para concluir um chat; taxa de resolução, a parcela de conversas resolvidas com sucesso; e net promoter score (satisfação do cliente), calculado por pesquisa aleatória após o chat, como a porcentagem que recomendaria um agente menos a porcentagem que não o recomendaria. Um agente produtivo consegue conduzir atendimentos rapidamente, mantendo taxa de resolução e net promoter score elevados.

Em todos os locais, os agentes são organizados em equipes com um gerente que oferece retorno e treinamento. Uma vez por semana, os gerentes realizam sessões individuais: podem compartilhar solução para um novo erro do software, explicar a implicação de uma mudança tributária ou sugerir como lidar melhor com a frustração do cliente diante de questões técnicas. Os agentes trabalham individualmente e a qualidade de sua produção não afeta diretamente os demais. Recebem salário-hora e bônus conforme o desempenho relativo a outros agentes.

2.3 Desenho do sistema de IA

O sistema estudado combina versão recente do GPT a algoritmos adicionais de aprendizado de máquina ajustados especificamente para interações de atendimento. Também é treinado com grande conjunto de conversas cliente–agente rotuladas por resultados e características: se o contato foi resolvido, quanto tempo levou e se o agente responsável é considerado de “alto” desempenho pela empresa de dados. A empresa de IA usa esses dados para buscar padrões de conversa que melhor preveem resolução e tempo de tratamento.

A empresa ainda treina o modelo em processo semelhante, em espírito, ao de Ouyang et al. (2022), para priorizar respostas de agentes que expressem empatia, ofereçam documentação técnica apropriada e limitem linguagem pouco profissional. Esse treinamento adicional reduz parte das preocupações ligadas ao uso de LLMs para gerar texto.

Depois de implantado, o sistema produz dois tipos principais de saída: sugestões em tempo real de como o agente deve responder ao cliente e links para a documentação interna da empresa de dados sobre questões técnicas relevantes. Em ambos os casos, as recomendações se baseiam no histórico da conversa.¹²

Figura 1 — Exemplo de assistência da IA. Na janela de chat (Painel A), Alex, o cliente, descreve seu problema ao agente. O assistente de IA gera duas respostas sugeridas (Painel B). No exemplo, aprendeu que expressões como “certamente posso ajudar com isso” e “será um prazer ajudar a corrigir isso o mais rápido possível” estão associadas a resultados positivos. O Painel A da Figura A.1 do Apêndice traz um exemplo de recomendação técnica: um link para a documentação interna da empresa de dados.

O sistema foi concebido para aumentar, e não substituir, os agentes humanos. A saída é mostrada apenas ao agente, que decide livremente se incorpora as sugestões, integral ou parcialmente. Isso reduz a probabilidade de que respostas fora de contexto ou incorretas cheguem à conversa com o cliente. Além disso, o sistema não sugere respostas quando não possui dados de treinamento suficientes para aquela situação; nesses casos, o agente deve responder por conta própria.

3. Implantação, dados e estratégia empírica

3.1 Implantação do modelo de IA

O assistente de IA foi implementado gradualmente no nível do agente, após piloto inicial aleatorizado de sete semanas com 50 agentes.¹³ A implantação foi amplamente uniforme entre os agentes próprios e terceirizados da empresa de dados. A Figura A.2 do Apêndice documenta a evolução da implantação entre agentes que acabariam recebendo o tratamento. A maior parte da adoção ocorreu entre novembro de 2020 e fevereiro de 2021.

3.2 Estatísticas descritivas

A Tabela 1 descreve a amostra em três grupos: agentes que nunca receberam acesso à ferramenta durante o período observado (“nunca tratados”), observações anteriores à IA de quem viria a recebê-la (“tratados, pré”) e observações posteriores ao acesso (“tratados, pós”). No total, os autores observam o texto e os resultados de 3 milhões de chats realizados por 5.179 agentes. Desse total, 1,2 milhão de chats de 1.636 agentes ocorre no período posterior à IA. A maior parte da amostra, 89%, está fora dos Estados Unidos, sobretudo nas Filipinas. Para cada agente, observam-se gerente designado, tempo de casa, localização geográfica e informações sobre a firma.

Para examinar os efeitos da implantação, os autores constroem variáveis-chave agregadas ao nível agente-mês, que é sua unidade principal de análise. A medida principal de produtividade é resoluções por hora (resolutions per hour, RPH): o número de chats que o trabalhador consegue resolver com sucesso por hora. Ela resume a produtividade, pois depende do tempo médio para concluir conversas, do número de conversas atendidas por hora — inclusive atendimentos simultâneos — e da parcela resolvida com sucesso. Esses componentes são medidos, respectivamente, como tempo médio de tratamento (AHT), chats por hora (CPH) e taxa de resolução (RR). Os autores também observam a satisfação do cliente pelo net promoter score (NPS), obtido em pesquisas pós-contato.

As medidas estão disponíveis para números diferentes de agentes. A partir dos dados ao nível de chat, é possível reconstruir AHT e CPH para todos os agentes. Já taxa de resolução e satisfação, que dependem de informação sobre qualidade do atendimento, são fornecidas pela empresa ao nível agente-mês. Como a maior parte do atendimento é terceirizada, a empresa de dados não controla diretamente essas informações, mantidas pelas subcontratadas. Por isso, RR e NPS são observados apenas para subconjunto da amostra; a medida abrangente de produtividade, RPH, também só é observada nesse subconjunto.

A Figura 2 mostra as distribuições brutas dos resultados nos subgrupos nunca tratado, pré-tratamento e pós-tratamento. Nos Painéis A a D, agentes pós-tratamento têm melhor desempenho em várias métricas, em comparação tanto com quem nunca recebeu a IA quanto com suas observações prévias. No Painel E, não há diferença discernível na satisfação do cliente pesquisada entre grupos tratados e não tratados. Na medida principal, agentes nunca tratados resolvem em média 1,7 chat por hora, enquanto agentes após o tratamento resolvem 2,5. Parte da diferença pode refletir seleção inicial: antes da IA, os futuros tratados já tinham 2,0 resoluções por hora, contra 1,7 dos nunca tratados. O mesmo padrão aparece em chats por hora e taxa de resolução. No tempo médio de tratamento, o contraste é mais nítido: pré-tratamento e nunca tratados se concentram em 40 minutos, enquanto o pós-tratamento chega a 35 minutos. São diferenças brutas, que não controlam experiência ou seleção para o tratamento; a seção seguinte atribui essas diferenças mais precisamente à implantação da IA.

3.3 Estratégia empírica

Para isolar o efeito causal do acesso às recomendações de IA, os autores usam uma regressão padrão de diferenças em diferenças:

y_{it} = \delta_t + \alpha_i + \beta AI_{it} + \gamma X_{it} + \epsilon_{it}. \tag{1}

As variáveis de resultado y_{it} captam medidas de produtividade do agente i no mês-ano t. Como trabalhadores podem atuar somente parte do ano, entram apenas observações agente-mês em que o agente está empregado ativamente — por exemplo, designado a chats. A variável principal, AI_{it}, vale um quando o agente i tem acesso a recomendações de IA no momento t. Todas as regressões incluem efeitos fixos de mês-ano, \delta_t, para controlar fatores comuns que variam no tempo, como a temporada tributária ou o final do trimestre. A especificação preferida inclui também efeitos fixos de agente, \alpha_i, invariantes no tempo, e tempo de casa do agente, que varia no tempo. Os erros-padrão são agrupados por agente.

Uma literatura crescente mostra que regressões com efeitos fixos de duas vias só produzem estimativas consistentes sob hipóteses fortes de homogeneidade dos efeitos do tratamento e podem ser viesadas quando os efeitos variam no tempo ou pela coorte de adoção (Cengiz et al., 2019; de Chaisemartin e D’Haultfœuille, 2020; Sun e Abraham, 2021; Goodman-Bacon, 2021; Callaway e Sant’Anna, 2021; Borusyak et al., 2022). Trabalhadores podem, por exemplo, precisar de tempo para se ajustar ao sistema; ou coortes posteriores podem ter integração mais simples e efeitos maiores.

Os autores estudam essa dinâmica com o estimador de ponderação por interação (interaction weighted, IW) proposto por Sun e Abraham (2021). Esse estimador é consistente sob tendências paralelas, ausência de comportamento antecipatório e efeitos específicos de coorte que sigam o mesmo perfil dinâmico.¹⁴ No Apêndice, os resultados principais de diferenças em diferenças e do estudo de eventos são semelhantes quando se usam estimadores robustos de de Chaisemartin e D’Haultfœuille (2020), Borusyak et al. (2022), Callaway e Sant’Anna (2021) e Sun e Abraham (2021), bem como mínimos quadrados ordinários tradicionais com efeitos fixos de duas vias.

4. Resultados principais

4.1 Métricas de produtividade

A Tabela 2 examina o efeito da implantação do modelo de IA na medida principal de produtividade, resoluções por hora, com modelo de efeitos fixos de duas vias. Na coluna 1, controlando efeitos fixos de tempo e localização, o acesso às recomendações aumenta as resoluções por hora em 0,47 chat, ou 22,2% sobre a média de 2,12. A coluna 2 acrescenta efeitos fixos individuais para captar possíveis diferenças entre agentes tratados e não tratados. A coluna 3 acrescenta controles para tempo de casa, que varia no tempo. À medida que os controles são incluídos, o efeito cai ligeiramente: com efeitos fixos de agente e tempo de casa, a implantação aumenta RPH em 0,30 chat, ou 13,8%. As colunas 4 a 6 reproduzem padrões e magnitudes semelhantes para o logaritmo de RPH.

Tabela 2. Efeitos principais sobre produtividade — reprodução completa

Coeficientes de diferenças em diferenças; erros-padrão robustos entre parênteses. As colunas 1–3 usam resoluções por hora; 4–6 usam o logaritmo dessa medida. “Pós-IA × sempre tratado” identifica o efeito estimado da implantação.

Notas: p<0,01; p<0,05; p<0,10. Os erros-padrão são agrupados no local do agente; os dados vêm dos sistemas internos da empresa.

A Tabela A.1 do Apêndice encontra resultados semelhantes com estimadores alternativos de diferenças em diferenças de Callaway e Sant’Anna (2021), Borusyak et al. (2022), de Chaisemartin e D’Haultfœuille (2020) e Sun e Abraham (2021). Diferentemente do OLS tradicional, esses estimadores evitam comparar unidades recém-tratadas a unidades já tratadas. Na maior parte dos casos, os efeitos da assistência de IA são maiores com essas alternativas.

A Figura 3 apresenta as estimativas de estudo de evento IW de Sun e Abraham (2021) para o efeito da assistência sobre RPH, em nível e logaritmo. Em ambos os resultados, há aumento substancial e imediato de produtividade no primeiro mês de implantação; o efeito cresce um pouco no segundo e permanece estável e persistente até o fim da amostra. A Figura A.3 do Apêndice mostra o mesmo padrão com outros estimadores de estudo de evento.

Na Tabela 3, com a especificação preferida — efeitos fixos de mês-ano, agente e tempo de casa — o tempo médio dos chats cai 3,8 minutos, redução de 9% frente à média inicial; menor tempo de tratamento é, em geral, melhor. O número de chats que um agente atende por hora sobe 0,37, cerca de 14% ante a média inicial de 2,6. Como essa medida permite atendimentos simultâneos, o efeito mais forte sugere que a IA permite tanto acelerar conversas como realizar múltiplas tarefas de modo mais eficaz.

A taxa de resolução aumenta modestos 1,3 ponto percentual, significativa a 10%; dada a taxa inicial elevada, 82%, os autores interpretam que o ganho de velocidade não ocorre, em média, às custas de resolver o problema. Já o net promoter score não apresenta mudança economicamente significativa: o coeficiente é −0,13 ponto percentual, ante média de 79,6%. Daqui em diante, as estimativas são apresentadas em logaritmos, para facilitar a interpretação. A Figura 4 mostra efeitos imediatos no tempo médio de tratamento e nos chats por hora, mas padrões quase planos para taxa de resolução e satisfação. A interpretação é de que a assistência aumenta produtividade sem prejudicar taxa de resolução ou satisfação pesquisada.

Tabela 3. Efeitos principais em resultados adicionais

Especificação preferida com efeitos fixos de mês-ano, agente e tempo de casa. AHT é o tempo médio de tratamento; NPS é o net promoter score.

Notas: p<0,01; p<0,05; p<0,10. Erros-padrão agrupados por localização do agente.

4.2 Efeitos por competência e tempo de casa

Há debate relevante sobre as consequências distributivas de tecnologias baseadas em IA. Uma literatura extensa sugere que ondas anteriores de tecnologias de informação e comunicação — internet, computadores e comunicação em rede — complementaram trabalhadores mais qualificados, elevando produtividade e demanda por seu trabalho e ampliando diferenciais salariais. Ferramentas generativas, porém, se baseiam em aprendizado de máquina que busca padrões associados ao sucesso. Por isso, podem ter consequências de produtividade diferentes das tecnologias anteriores. Esta seção investiga os efeitos do acesso à assistência em duas dimensões: competência e experiência.

4.2.1 Competência anterior ao tratamento

O Painel A da Figura 5 examina como os efeitos estimados variam com a produtividade do agente antes da IA. Os agentes são divididos em quintis por um índice de competência baseado na eficiência média de chamadas, taxa de resolução e satisfação pesquisada no trimestre anterior à adoção. Os quintis são definidos dentro de cada firma-mês e o tempo de casa na implantação é controlado para isolar o efeito da competência.

O efeito é mais forte no quintil de menor competência: 0,29 ponto logarítmico, ou 34% de aumento em resoluções por hora. Para os agentes de maior competência, não há aumento de produtividade. A Figura 6 mostra que agentes menos qualificados têm os maiores ganhos também nos demais resultados. Entre os mais qualificados, os efeitos são mistos: zero no tempo médio de tratamento, positivo em chats por hora e reduções pequenas, mas estatisticamente significativas, na taxa de resolução e na satisfação.

Isso é consistente com a ideia de que a IA generativa expõe trabalhadores menos qualificados às melhores práticas de trabalhadores mais qualificados. Os primeiros recebem soluções novas; os melhores desempenhadores podem se beneficiar pouco de ver suas próprias melhores práticas. Os efeitos negativos nas medidas de qualidade para o topo da distribuição sugerem que as recomendações podem distraí-los ou levá-los a escolher a opção mais rápida, seguindo sugestões, em vez de dedicar tempo a formular sua própria resposta.

4.2.2 Experiência anterior ao tratamento

Em seguida, os autores repetem o exercício por tempo de casa na data em que o modelo é introduzido. Os agentes são divididos em cinco grupos: alguns têm menos de um mês de casa quando recebem acesso; outros, mais de um ano. Para isolar o efeito da experiência, controla-se a competência quando o acesso é concedido.

O Painel B da Figura 5 apresenta padrão claro e monotônico: os menos experientes têm os maiores ganhos em resoluções por hora. Agentes com menos de um mês de empresa aumentam RPH em 0,38 ponto logarítmico, ou 46%, comparados a agentes do mesmo tempo de casa sem assistência de IA. Para agentes com mais de um ano, não há efeito. A Figura 7 apresenta o mesmo padrão para outros resultados: trabalhadores mais novos obtêm grandes ganhos em eficiência de atendimento, tanto em tempo médio de tratamento quanto em chats por hora, e também ganhos de qualidade, em taxa de resolução e satisfação. Entre os mais experientes há efeitos positivos modestos em tempo médio, positivos mas não significativos em chats por hora e efeitos negativos pequenos, porém significativos, nas medidas de qualidade e satisfação.

4.2.3 Avanço na curva de experiência

Para explorar o efeito sobre novatos, a Figura 8 acompanha a evolução da produtividade no emprego.¹⁵ Ela compara três grupos: agentes que nunca recebem IA (“nunca tratados”), agentes que recebem acesso desde a entrada na firma (“sempre tratados”) e agentes que passam a receber acesso no quinto mês (“tratados no 5º mês”).

Todos começam em torno de 2,0 resoluções por hora. Quem nunca é tratado melhora lentamente com a experiência e chega a aproximadamente 2,5 resoluções por hora oito a dez meses depois. Quem sempre tem assistência chega a 2,5 em apenas dois meses e continua melhorando até resolver mais de três chats por hora após cinco meses de casa.¹⁶ A comparação desses dois grupos sugere que as recomendações aceleram o avanço na curva de experiência.

O terceiro grupo começa sem assistência e melhora lentamente como o grupo nunca tratado durante os cinco primeiros meses. Ao receber acesso no quinto mês, sua produtividade sobe rapidamente e segue trajetória semelhante à dos sempre tratados. A Figura A.4 apresenta as demais métricas: a curva de experiência dos sempre tratados é mais inclinada para tempo de tratamento, chats por hora e taxa de resolução; para satisfação, o padrão é semelhante, mas mais ruidoso. Em conjunto, os resultados indicam que a IA permite a novos agentes avançar mais rapidamente: em muitas métricas, agentes com dois meses de casa e acesso à IA desempenham tão bem quanto ou melhor que agentes com mais de seis meses sem acesso.

5. Aderência, aprendizagem e mudança conversacional

Esta seção investiga os mecanismos dos resultados principais. Primeiro, analisa como os trabalhadores usam recomendações: eles são seletivos e as seguem, em média, em 35% das vezes; os retornos são maiores para quem as segue. As taxas de aderência aumentam ao longo do tempo para todos os trabalhadores, especialmente para os mais antigos, e ao fim da amostra tornam-se semelhantes entre grupos de tempo de casa e competência.

Segundo, os autores perguntam se a assistência ajuda a aprender. Usando interrupções do software em que a assistência fica temporariamente indisponível, encontram evidência de mudanças duráveis nas competências: trabalhadores expostos às recomendações continuam a ter melhor desempenho nas interrupções; o efeito é maior após maior exposição e para agentes que seguem mais de perto as sugestões quando o software está em funcionamento. Por fim, uma análise textual dos chats indica que a assistência altera o conteúdo da comunicação, com mudanças maiores entre trabalhadores menos qualificados, aproximando seus padrões de comunicação aos dos mais qualificados. Em conjunto, os achados sugerem que examinar e seguir recomendações ajuda sobretudo os trabalhadores menos qualificados a adotar melhores práticas de agentes mais qualificados e experientes.

5.1 Aderência às recomendações de IA

A ferramenta sugere respostas, mas os agentes continuam responsáveis pelo que dizem ao cliente. Os resultados principais estimam o efeito de ter acesso à ferramenta, sem depender da frequência com que se seguem as recomendações. Nesta seção, os autores medem a proximidade da aderência e sua associação com os retornos da adoção.

“Aderência” é medida inicialmente no nível do chat, como a parcela das recomendações que cada agente segue. A empresa de IA codifica como aderência tanto clicar para copiar o texto sugerido quanto inserir por conta própria algo muito semelhante. A medida é então agregada ao nível agente-mês. O Painel A da Figura 9 mostra sua distribuição na amostra pós-IA, ponderada pelo logaritmo do número de recomendações recebidas no mês. A taxa média é 38%, com intervalo interquartil de 23% a 50%: agentes frequentemente ignoram as sugestões. Isso é comparável a resultados divulgados para outras ferramentas generativas; estudo sobre GitHub Copilot relata que desenvolvedores individuais usam 27% a 46% das sugestões de código (Zhao, 2023). A seletividade pode ser apropriada, já que modelos podem sugerir algo incorreto ou irrelevante.

O Painel B da Figura 9 mostra retornos maiores quando os agentes efetivamente seguem as recomendações. Os autores dividem os agentes em quintis pela porcentagem de sugestões seguidas no primeiro mês de acesso e estimam separadamente o efeito para cada grupo, controlando mês-ano e efeitos fixos de agente. Há aumento constante e monotônico dos retornos com aderência: no quintil inferior, ainda aparece ganho de produtividade de 10%; no quintil superior, o impacto estimado é mais que o dobro, próximo de 25%. A Figura A.5 mostra associação positiva semelhante nas quatro outras métricas, mais forte para tempo médio de tratamento e chats por hora e mais ruidosa para taxa de resolução e satisfação.

Os resultados são compatíveis com efeito causal de seguir recomendações sobre produtividade, mas a relação também pode refletir seleção: agentes que escolhem aderir podem ser mais produtivos por outras razões, ou justamente os que obtêm maiores retornos podem ser os que aderem. Para explorar isso, os autores usam a preferência revelada: se a associação decorresse apenas de seleção, agentes de baixa aderência continuariam com baixa aderência, pois isso lhes seria ótimo. A Figura 10 acompanha essa evolução. Quem inicialmente já tinha alta aderência permanece pouco acima de 50%; quem estava no terço inferior, inicialmente abaixo de 20%, aumenta mais de 50% e chega a pouco mais de metade no quinto mês. Agentes mais antigos começam com menor aderência — 30% para mais de um ano de casa, ante 37% para menos de três meses —, mas aumentam-na mais rapidamente e convergem após cinco meses. Por competência, as taxas iniciais são semelhantes e todos os grupos aumentam aderência.

Esses padrões são compatíveis com agentes — sobretudo os inicialmente mais céticos — passarem a valorizar recomendações ao longo do tempo. Uma hipótese alternativa é que quem não gosta da assistência saia mais da firma. A Figura A.6 repete o exercício com mudanças dentro do próprio agente, isto é, taxas de aderência residualizadas pelos efeitos fixos do agente. O padrão permanece: todos aumentam a aderência, e os aumentos parecem maiores nos inicialmente menos aderentes e nos mais antigos. Assim, o crescimento não parece resultar exclusivamente de seleção.

5.2 Aprendizagem dos trabalhadores

Uma questão central é se os ganhos de produtividade e as mudanças de comunicação refletem alterações duráveis no capital humano dos trabalhadores ou apenas dependência crescente da assistência. Para investigá-la, os autores observam o desempenho durante períodos em que problemas técnicos na empresa de IA impedem o acesso às recomendações. As interrupções ocorrem ocasionalmente, duram de minutos a horas e podem afetar alguns trabalhadores, mas não todos — por exemplo, quem entra no computador depois da queda do sistema, ou quem usa determinado servidor físico. A empresa registra as interrupções mais relevantes para revisão técnica; esses registros permitem identificar períodos em que uma fração significativa dos chats é afetada.

A Figura A.7 ilustra uma interrupção em 10 de setembro de 2020. No eixo vertical está a parcela de chats pós-tratamento para os quais o software não dá sugestão, agregada por hora; no horizontal, as horas nos dias antes e depois do evento. Horas com menos de 15 chats pós-tratamento são desenhadas como zero para dar clareza ao gráfico. Em períodos normais, 30% a 40% dos chats ficam sem recomendação, pois o sistema não intervém em toda mensagem e muitos atendimentos são breves. Na manhã de 10 de setembro, a parcela sobe a quase 100%. Os registros atribuem a falha a um engenheiro de software que executava teste de carga e derrubou o sistema.

A Figura 11 examina o efeito do acesso ao sistema para chats durante e fora dessas interrupções. Enquanto as regressões principais são no nível trabalhador-mês, estas são no nível de chat, para comparar com precisão conversas em e fora dos períodos de falha. No Painel A, usando somente períodos pós-adoção sem interrupções, a introdução da assistência reduz imediatamente a duração individual dos chats em aproximadamente 10% a 15%, de acordo com os resultados principais. No Painel B, usando as mesmas observações pré-tratamento, mas restringindo o pós-adoção a grandes interrupções, as estimativas são mais ruidosas e parecem maiores — quedas de 15% a 25%. Como falhas são raras e não necessariamente aleatórias, isso pode refletir diferenças nos tipos de chats. Ainda assim, há padrão relevante: nas interrupções, o benefício da exposição à IA cresce com o tempo. Uma falha um mês após a adoção não torna o atendimento muito mais rápido que a linha de base; depois de três meses de exposição, os trabalhadores atendem mais rápido mesmo sem receber assistência direta.

A Figura 12 divide esses estudos de evento por aderência inicial. Quem aderiu muito no início tem quedas grandes e rápidas no tempo de processamento, mesmo durante falhas. Quem costuma desviar das sugestões não melhora o tempo de chat nas interrupções, mesmo após muitos meses de acesso. Isso sugere que a aprendizagem é maior quando as sugestões são usadas ativamente.

Em conjunto, os resultados indicam que ferramentas generativas podem ajudar no desenvolvimento de competências duráveis. Antes da assistência, os agentes recebiam treinamento de gerentes apenas em sessões semanais curtas, nas quais se revisavam algumas conversas e se sugeriam formas melhores de conduzi-las. Por necessidade, esse retorno cobre somente pequena fração dos contatos. Além disso, gerentes pressionados por tempo ou sem treinamento podem apenas apontar uma métrica fraca — “você precisa reduzir seu tempo de tratamento” — em vez de identificar uma estratégia — “você precisa fazer mais perguntas no início para diagnosticar melhor”. Esse tipo de orientação pode ser ineficaz e contraproducente para o engajamento (Berg et al., 2018). A assistência, em contraste, entrega sugestões específicas e acionáveis em tempo real, podendo complementar programas existentes de aprendizagem no trabalho.

5.3 Mudança conversacional

Por fim, os autores analisam como o acesso à assistência afeta a comunicação dos trabalhadores. Para captar o conteúdo geral das conversas, criam incorporações textuais (text embeddings) de conversas entre agente e cliente. Uma incorporação transforma texto em vetor de alta dimensão que representa suas “coordenadas” no espaço linguístico; dois textos têm coordenadas mais semelhantes quando compartilham significado ou estilo. As incorporações são obtidas com o all-MiniLM-L6-v2, LLM destinado a capturar e agrupar informação semântica para aferir similaridade (Hugging Face, 2023). A comparação usa similaridade de cosseno: zero indica textos semanticamente ortogonais e um, o mesmo significado (Koroteev, 2021). Como referência, “Você pode me ajudar a entrar?” e “Por que meu acesso não funciona?” têm similaridade de 0,68 no modelo usado.

Essa abordagem verifica, primeiro, se a assistência muda o conteúdo do que agentes escrevem, em vez de apenas fazê-los digitar as mesmas coisas mais rapidamente. Em seguida, examina como esses padrões diferem entre trabalhadores de alta e baixa competência. Se os modelos disseminam os comportamentos de alto desempenho, espera-se que a assistência leve agentes de menor desempenho a escrever mais como os de maior desempenho.

5.3.1 Mudanças de comunicação dentro de cada trabalhador

Os autores acompanham como a comunicação de cada agente evolui antes e depois do acesso. Para trabalhadores tratados, comparam a similaridade dos chats em cada semana de tempo de evento com seus chats do mês anterior à implantação — semanas −4 a −1 —, excluindo as mensagens do cliente e mantendo somente a linguagem gerada pelo agente. O Painel A da Figura 13 mostra que a similaridade textual com a janela pré-IA é estável nas semanas que antecedem a implantação e cai imediatamente depois. Conversas de 12 a 5 semanas antes são bastante semelhantes às de 4 a 1 semana antes; as de 0 a 12 semanas após são todas menos semelhantes.

Essa queda é amplamente incompatível com a hipótese de que a assistência apenas faz os trabalhadores digitar as mesmas coisas mais rápido. Se fosse esse o caso, o tempo de atendimento cairia, mas a similaridade textual permaneceria constante.

O Painel B da Figura 13 compara a magnitude dessa mudança de conteúdo antes e depois por competência anterior à IA. Agentes de menor competência — quintil inferior da distribuição pré-IA — têm mudança textual maior após a adoção do que os melhores desempenhadores. As estimativas controlam efeitos fixos de firma-ano-mês, que absorvem mudanças sazonais, como ciclos tributários ou de folha, e lançamentos de produto, além de efeitos fixos de tempo de casa. Embora não se controle diretamente o tema do chat, os temas são atribuídos aleatoriamente aos agentes; portanto, não se espera que diferenças de tema variem sistematicamente por competência. A evidência sugere que a implantação altera mais os padrões de comunicação de trabalhadores menos qualificados.

5.3.2 Comparações entre trabalhadores

A Figura 14 verifica se as mudanças individuais fazem trabalhadores de baixa e alta competência soarem mais parecidos. Ela apresenta a similaridade de cosseno entre esses grupos em momentos específicos do calendário, separando trabalhadores com e sem acesso à IA. Sem acesso, alta e baixa competência correspondem aos quintis superior e inferior do índice naquele mês; com acesso, correspondem aos quintis na data de implantação.

Sem assistência, a similaridade textual média entre trabalhadores de alta e baixa produtividade é 0,55 e permanece estável no tempo. Após a adoção, os grupos passam a usar linguagem mais semelhante: a similaridade vai de 0,55 para 0,61. Embora a variação pareça pequena, a similaridade média dentro da própria pessoa entre trabalhadores de alta competência é cerca de 0,67; portanto, trata-se de redução substancial da lacuna de linguagem. Em conjunto, as Figuras 13 e 14 sugerem convergência dos trabalhadores menos qualificados em direção aos mais qualificados, e não o inverso. Isso é consistente com modelos de IA disseminando comportamentos de trabalhadores de alta competência: os de menor competência devem mudar mais, enquanto os melhores mudam menos porque o modelo tende a sugerir linguagem que já usam.

6. Efeitos sobre a experiência de trabalho

Estudos qualitativos sugerem que as condições de trabalho em centrais de atendimento podem ser desagradáveis. A natureza repetitiva da função, somada à exposição regular a conversas difíceis e carregadas emocionalmente, pode levar a esgotamento e alta rotatividade. Além disso, o atendimento de empresas norte-americanas é frequentemente terceirizado para países de renda mais baixa, como Índia e Filipinas; agentes podem trabalhar em horários difíceis e enfrentar barreiras culturais ou julgamentos ao falar com clientes.

Mais produtividade não implica necessariamente maior satisfação no trabalho, especialmente se os trabalhadores se sentirem pressionados a trabalhar cada vez mais rápido. Esta seção examina um aspecto da experiência: como os agentes são tratados pelos clientes, medido por sentimento do cliente e pedidos para falar com gerente. Também examina rotatividade como indicador geral de satisfação no trabalho.

6.1 Sentimento do cliente

Clientes muitas vezes descarregam suas frustrações em agentes anônimos. Nos dados, há palavrões, abuso verbal e “gritos” — digitação em letras maiúsculas. Espera-se que trabalhadores de serviço absorvam essas frustrações limitando sua própria reação emocional (Hochschild, 2019), e o estresse desse trabalho emocional é frequentemente apontado como causa de esgotamento e saída de trabalhadores (Lee, 2015).

O acesso à assistência pode mudar o tratamento dado pelos clientes em direções incertas. Pode melhorar o tom ao ajudar a ajustar expectativas e resolver problemas mais rápido; ou pode frustrar mais se a linguagem sugerida parecer corporativa ou insincera. Para medir isso, os autores usam análise de sentimento (Mejova, 2009) com o SiEBERT, LLM ajustado para essa tarefa em bases que incluem resenhas de produtos e tweets (Hartmann et al., 2023). O sentimento varia de −1, negativo, a 1, positivo. Calculam-se escores separados para texto de cliente e agente em cada conversa e depois se agregam as médias a agente-ano-mês.

O Painel A da Figura 15 mostra que o sentimento do cliente é em média levemente positivo, normalmente distribuído em torno de 0,14, com massa de escores muito positivos e muito negativos. No Painel B, os agentes são invariavelmente positivos: média de 0,89, reflexo de treinamento para extrema polidez e cordialidade, mesmo antes da IA. Após a implantação, o sentimento do cliente melhora de forma imediata e persistente. Pela coluna 1 da Tabela 4, o acesso eleva o sentimento médio do cliente em 0,18 ponto, equivalente a metade de um desvio-padrão. Não há efeito detectável no sentimento do agente, já muito alto: a coluna 2 aponta aumento de somente 0,02 ponto, cerca de 1% de um desvio-padrão.

Tabela 4. Sentimento de clientes e agentes

Regressões de diferenças em diferenças com efeitos fixos de agente, mês-ano, localização e tempo de casa; erros-padrão agrupados por localização do agente.

Notas: p<0,01; p<0,05; p<0,10.

A Figura A.8 indica melhora significativa na forma como clientes tratam agentes em todos os níveis de competência e experiência, com os maiores efeitos na faixa baixa a média-baixa dessas distribuições. Como nos resultados de produtividade, os agentes mais produtivos e experientes recebem os menores benefícios. Como as recomendações foram desenhadas explicitamente para priorizar respostas empáticas, elas podem melhorar as competências sociais demonstradas pelos agentes e ter efeito emocional positivo nos clientes.

6.2 Confiança do cliente e escalonamento gerencial

Mudanças na produtividade individual podem ter implicações mais amplas para o fluxo organizacional (Garicano, 2000; Athey et al., 1994; Athey e Stern, 1998). No atendimento, agentes de linha de frente tentam resolver os problemas, mas podem buscar supervisores quando não sabem como prosseguir. Clientes sabem disso e às vezes tentam escalar a conversa pedindo para falar com gerente, geralmente por acharem que o agente atual não tem competência ou autoridade para resolver o problema, ou por frustração.

A Figura 16 examina a frequência desses pedidos. O resultado é a parcela de chats do agente em que o cliente pede gerente ou supervisor, agregada por ano-mês. Os autores usam o pedido, e não o escalonamento efetivo, pois não têm dados do escalonamento e o pedido mede melhor a confiança do cliente na competência ou autoridade do agente. Após a assistência, há queda gradual dos pedidos. Frente a uma linha de base de aproximadamente 6 pontos percentuais, os coeficientes indicam redução de quase 25% nos pedidos de falar com gerente. A Figura A.9 mostra que a redução é desproporcionalmente maior entre agentes menos qualificados ou menos experientes na adoção.

6.3 Rotatividade

A adoção de IA generativa pode afetar produtividade, estresse e como os clientes percebem os trabalhadores, entre outros fatores. Embora nem todos sejam observáveis, padrões de rotatividade fornecem medida geral dos efeitos no trabalho. A análise compara a rotatividade de agentes tratados à de não tratados com o mesmo tempo de casa. Excluem-se observações pré-tratamento dos futuros tratados, pois, por construção, eles precisam permanecer na firma até serem tratados. Também se controlam localização e efeitos fixos de tempo.

A Figura 17 mostra o efeito do acesso sobre a rotatividade. Por experiência, a redução mais forte ocorre entre agentes novos, com menos de seis meses: coeficiente de cerca de 10 pontos percentuais, ou queda de 40% diante de taxa inicial de 25% nesse grupo. Por competência, há queda significativa em todos os grupos, mas sem gradiente sistemático. Os autores recomendam mais cautela do que nos resultados principais porque não podem incluir efeitos fixos de agente — a rotatividade só pode ocorrer uma vez por pessoa. Assim, os resultados podem superestimar o impacto se a ferramenta for entregue mais frequentemente a agentes que a empresa acredita terem maior probabilidade de permanecer.

7. Conclusão

Os avanços em IA abrem amplo conjunto de possibilidades econômicas. O artigo apresenta evidência empírica inicial dos efeitos de uma ferramenta de IA generativa em um local de trabalho real. Nesse contexto, o acesso a recomendações geradas por IA aumenta produtividade, melhora o sentimento do cliente e está associado a menor rotatividade.

Os autores levantam a hipótese de que parte do efeito decorre da capacidade do sistema de incorporar melhores práticas de trabalhadores de alta competência e torná-las acessíveis a outros. Essas práticas talvez fossem difíceis de disseminar por envolverem conhecimento tácito. Coerentemente, a assistência gera melhorias substanciais em resolução de problemas e satisfação para trabalhadores novos e menos qualificados, mas não ajuda os de maior competência ou experiência nessas medidas. Agentes que usaram o sistema também desempenham um pouco melhor quando ele é desativado inesperadamente. A análise do texto das conversas oferece evidência sugestiva de que recomendações levam trabalhadores menos qualificados a se comunicar mais como os mais qualificados.

Os achados e suas limitações apontam várias direções de pesquisa. Mais importante, eles não captam efeitos de longo prazo da IA generativa sobre demanda por competências, desenho do emprego, salários ou demanda dos clientes. Não é claro se maior produtividade no atendimento criará mais ou menos demanda por trabalhadores. Se a demanda for inelástica, ferramentas generativas podem reduzir demanda e salários no longo prazo. Alternativamente, suporte melhor pode levar clientes a buscar representantes para gama mais ampla de questões, aumentar demanda por trabalhadores ou criar responsabilidades novas, como coletar comentários de clientes para a equipe de desenvolvimento (Berg et al., 2018; Korinek, 2022).

Os resultados também levantam questões sobre a própria natureza da produtividade. Tradicionalmente, a produtividade de um agente é a capacidade de ajudar os clientes com quem interage. Quando conversas alimentam bases de treinamento, ela inclui também fornecer exemplos de comportamentos bem-sucedidos que podem ser compartilhados com outros. No contexto estudado, os melhores desempenhadores fornecem muitos exemplos para treinar o sistema, mas veem poucas melhorias em sua própria produtividade. Com as regras de pagamento vigentes, podem até ter redução de remuneração, porque bônus são calculados em relação ao desempenho de outros agentes. Isso suscita a questão de como trabalhadores, sobretudo os de melhor desempenho, devem ser compensados pelos dados que fornecem a sistemas de IA.

Por fim, como tecnologia de propósito geral potencial, a IA generativa pode e será implantada de muitas formas; os efeitos encontrados talvez não se generalizem a todas as firmas e processos produtivos (Eloundou et al., 2023). O contexto estudado possui produto relativamente estável e conjunto de questões técnicas de suporte. Em áreas de produto ou ambiente em mudança rápida, o valor relativo das recomendações pode ser diferente: elas podem sintetizar melhor práticas que mudam, ou dificultar a aprendizagem ao promover práticas desatualizadas observadas em dados históricos de treinamento. Dado o estágio inicial da IA generativa, essas e outras questões exigem investigação adicional.

No refinamento, um modelo de propósito geral pode ser exposto a dados rotulados que expressem a prioridade do contexto. Um modelo que gere conteúdo para redes sociais, por exemplo, se beneficia de observar não só o texto do post, mas também o engajamento que ele obteve. Um LLM pode produzir várias respostas para uma consulta, algumas factualmente erradas ou tóxicas; avaliadores humanos podem ordenar essas saídas, treinando uma função de recompensa que priorize as respostas desejáveis. Refinamentos desse tipo melhoram substancialmente a qualidade ao adequar um modelo geral à aplicação concreta (Ouyang et al., 2022; Liu et al., 2023). Em conjunto, essas inovações elevaram o desempenho dos modelos, e a família Generative Pre-trained Transformer (GPT) tornou-se especialmente conhecida pela expansão rápida de suas capacidades.⁸

Referências

As referências abaixo mantêm os trabalhos citados no artigo, com a grafia bibliográfica do original quando não há tradução consolidada.

• Acemoglu, D.; Autor, D. Skills, tasks and technologies: Implications for employment and earnings. Handbook of Labor Economics, v. 4, 2011, p. 1043–1171.
• Acemoglu, D.; Restrepo, P. Low-Skill and High-Skill Automation. Journal of Human Capital, 2018, 12(2), p. 204–232.
• Acemoglu, D.; Restrepo, P. Robots and Jobs: Evidence from US Labor Markets. Journal of Political Economy, 2020, 128(6), p. 2188–2244.
• Akerman, A.; Gaarder, I.; Mogstad, M. The Skill Complementarity of Broadband Internet. Quarterly Journal of Economics, 2015, 130(4), p. 1781–1824.
• Autor, D. Polanyi’s Paradox and the Shape of Employment Growth. NBER Working Paper 20485, 2014.
• Autor, D.; Levy, F.; Murnane, R. The Skill Content of Recent Technological Change. Quarterly Journal of Economics, 2003, 118(4), p. 1279–1333.
• Bahdanau, D.; Cho, K.; Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR, 2015.
• Bartel, A.; Ichniowski, C.; Shaw, K. How Does Information Technology Affect Productivity? Quarterly Journal of Economics, 2007, 122(4), p. 1721–1758.
• Berg, J.; Das, A.; Gupta, V.; Kline, P. Smarter call-center coaching for the digital world. McKinsey, 2018.
• Borusyak, K.; Jaravel, X.; Spiess, J. Revisiting Event Study Designs. 2022.
• Brown, T. et al. Language Models are Few-Shot Learners. 2020, arXiv:2005.14165.
• Brynjolfsson, E.; Mitchell, T. What Can Machine Learning Do? Workforce Implications. Science, 2017, 358, p. 1530–1534.
• Buesing, E.; Gupta, V.; Higgins, S.; Jacobson, R. Customer care: The future talent factory. McKinsey, 2020.
• Callaway, B.; Sant’Anna, P. Difference-in-Differences with multiple time periods. Journal of Econometrics, 2021, 225(2), p. 200–230.
• Chui, M.; Hall, B.; Singla, A.; Sukharevsky, A. Global survey: The state of AI in 2021. McKinsey, 2021.
• de Chaisemartin, C.; D’Haultfœuille, X. Two-Way Fixed Effects Estimators with Heterogeneous Treatment Effects. American Economic Review, 2020, 110(9), p. 2964–2996.
• Eloundou, T.; Manning, S.; Mishkin, P.; Rock, D. GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models. 2023, arXiv:2303.10130.
• Hochschild, A. The Managed Heart: Commercialization of Human Feeling. University of California Press, 2019.
• Ouyang, L. et al. Training language models to follow instructions with human feedback. 2022, arXiv:2203.02155.
• Polanyi, M. The Tacit Dimension. University of Chicago Press, 1966.
• Sun, L.; Abraham, S. Estimating dynamic treatment effects in event studies with heterogeneous treatment effects. Journal of Econometrics, 2021, 225(2), p. 175–199.
• Vaswani, A. et al. Attention Is All You Need. 2017, arXiv:1706.03762.

Apêndice: materiais suplementares preservados

O original publica material suplementar com o exemplo de recomendação técnica, cronograma de implantação, estudos de evento com especificações alternativas, curvas por coorte, medidas de aderência, interrupção do sistema, heterogeneidade do sentimento do cliente, escalonamento e a Tabela A.1. Os fac-símiles abaixo preservam as figuras, tabelas, eixos, notas e especificações que acompanham a análise no artigo.

Fonte oficial

• Brynjolfsson, Li & Raymond (2023), Generative AI at Work — NBER Working Paper 31161
• PDF oficial do NBER