GPTs são GPTs

GPTs são GPTs: uma análise inicial do potencial de impacto de grandes modelos de linguagem no mercado de trabalho

Tyna Eloundou, Sam Manning, Pamela Mishkin e Daniel Rock

22 de agosto de 2023

Resumo

Investigamos as possíveis implicações de grandes modelos de linguagem (LLMs), como os Transformadores Generativos Pré-treinados (GPTs), para o mercado de trabalho dos Estados Unidos. O foco recai sobre o aumento de capacidades que surge quando há software baseado em LLMs, em comparação com LLMs utilizados isoladamente. Com uma nova rubrica, avaliamos ocupações segundo seu alinhamento com capacidades de LLMs, combinando conhecimento humano e classificações do GPT-4.

Nossos resultados indicam que cerca de 80% da força de trabalho dos Estados Unidos poderia ter pelo menos 10% de suas tarefas de trabalho afetadas pela introdução de LLMs; aproximadamente 19% dos trabalhadores poderiam ter pelo menos 50% de suas tarefas afetadas. Não fazemos previsões sobre o calendário de desenvolvimento ou adoção desses LLMs.

Os efeitos projetados abrangem todos os níveis salariais. Ocupações de maior remuneração podem enfrentar maior exposição às capacidades de LLMs e a software baseado em LLMs. De modo relevante, esses efeitos não se restringem a indústrias com maior crescimento recente de produtividade.

Nossa análise sugere que, com acesso a um LLM, cerca de 15% de todas as tarefas dos trabalhadores nos Estados Unidos poderiam ser realizadas significativamente mais rápido, mantendo o mesmo nível de qualidade. Quando se incorporam software e ferramentas construídos sobre LLMs, essa parcela sobe para entre 47% e 56% de todas as tarefas. Esse resultado indica que o software baseado em LLMs terá efeito substancial sobre a escala dos impactos econômicos dos modelos subjacentes.

Concluímos que LLMs como os GPTs apresentam características de tecnologias de propósito geral, o que sugere consequências econômicas, sociais e políticas consideráveis.

1. Introdução

Como mostra a Figura 1, os últimos anos, meses e semanas trouxeram progresso notável no campo da inteligência artificial generativa e dos grandes modelos de linguagem. Embora o público frequentemente associe LLMs a diferentes versões do Generative Pre-trained Transformer (GPT), esses modelos podem ser treinados com diversas arquiteturas e não se limitam a modelos baseados em transformadores.

LLMs podem processar e produzir diferentes formas de dados sequenciais, incluindo linguagem de montagem, sequências de proteínas e partidas de xadrez; suas aplicações vão além da linguagem natural. Neste artigo, usamos LLMs e GPTs de modo relativamente intercambiável e especificamos, em nossa rubrica, que eles devem ser entendidos como semelhantes à família de modelos GPT disponível via ChatGPT ou OpenAI Playground — que, no momento da rotulagem, incluía modelos da família GPT-3.5, mas não da família GPT-4.

Examinamos LLMs com capacidade de gerar texto e código. Usamos o termo “IA generativa” também para modalidades como imagem e áudio; e “software baseado em LLM” para ferramentas construídas sobre LLMs ou que combinam LLMs com outros modelos de IA generativa.

Nota dos autores: Pamela Mishkin é a autora para correspondência. Os autores contribuíram igualmente e aparecem em ordem alfabética.

Figura 1. A figura foi retirada diretamente do Relatório Técnico do GPT-4 (OpenAI, 2023b). Para perceber a rapidez do avanço das capacidades dos modelos, observe o salto no desempenho em exames entre GPT-3.5 e GPT-4.

Nosso estudo é motivado menos pelo progresso desses modelos isoladamente e mais pela amplitude, escala e capacidades observadas nas tecnologias complementares desenvolvidas ao seu redor. O papel dessas tecnologias complementares ainda precisa ser determinado, mas maximizar o impacto dos LLMs parece depender de integrá-los a sistemas maiores.

Embora nossa discussão se concentre principalmente nas capacidades generativas dos LLMs, é importante observar que esses modelos também podem ser usados em tarefas que vão além da geração de texto. Por exemplo, vetores de representação produzidos por LLMs podem apoiar aplicações de busca personalizada; os modelos também podem resumir e classificar conteúdos quando o contexto relevante está, em grande parte, contido no próprio prompt.

Para complementar previsões sobre os impactos da tecnologia no trabalho e oferecer uma estrutura para compreender o cenário em evolução dos modelos de linguagem e de suas tecnologias associadas, propomos uma nova rubrica para avaliar capacidades de LLMs e seus possíveis efeitos sobre empregos. Essa rubrica mede a exposição geral das tarefas aos LLMs, seguindo o espírito de trabalhos anteriores que quantificam exposição ao aprendizado de máquina.

Definimos exposição como uma aproximação do impacto econômico potencial, sem distinguir entre efeitos que aumentam a produtividade do trabalho e efeitos que o deslocam. Empregamos avaliadores humanos e o próprio GPT-4 como classificador para aplicar a rubrica a dados ocupacionais da economia dos Estados Unidos, provenientes principalmente da base O*NET.

Para construir nossa base principal de exposição, reunimos anotações humanas e classificações do GPT-4. Usamos um prompt ajustado para concordar com uma amostra de rótulos produzidos pelos autores. Quando os resultados são agregados ao nível da tarefa, observamos níveis semelhantes de concordância nas respostas do GPT-4 e entre avaliações humanas e de máquina.

Nota 1. Isso é diferente de pesquisas recentes em ciências sociais que usam LLMs para simular comportamento humano.

Nota 2. Embora nossa rubrica não vincule necessariamente o conceito de modelo de linguagem a um modelo específico, ela foi fortemente motivada pelas capacidades observadas do GPT-4 e pelo conjunto de capacidades em desenvolvimento com parceiros de lançamento da OpenAI.

Essa medida de exposição representa uma estimativa da capacidade técnica de tornar o trabalho humano mais eficiente. Contudo, determinantes sociais, econômicos, regulatórios e outros mostram que viabilidade técnica não garante ganhos de produtividade do trabalho nem resultados de automação.

Nossa análise indica que aproximadamente 19% dos empregos têm pelo menos 50% de suas tarefas expostas quando se consideram as capacidades atuais dos modelos e ferramentas previstas construídas sobre eles. As avaliações humanas sugerem que apenas 3% dos trabalhadores dos Estados Unidos têm mais da metade das tarefas expostas a LLMs quando se consideram capacidades existentes de linguagem e código, sem software adicional ou outras modalidades.

Ao considerar outros modelos generativos e tecnologias complementares, nossas estimativas humanas indicam que até 49% dos trabalhadores poderiam ter metade ou mais de suas tarefas expostas a LLMs.

Os resultados mostram, de modo consistente nas anotações humanas e do GPT-4, que a maior parte das ocupações apresenta algum grau de exposição a LLMs, embora os níveis variem entre diferentes tipos de trabalho. Ocupações com salários mais altos geralmente apresentam maior exposição, resultado distinto de avaliações semelhantes da exposição global ao aprendizado de máquina.

Ao relacionar as medidas de exposição aos conjuntos de habilidades da rubrica do O*NET, verificamos que ocupações fortemente dependentes de ciência e pensamento crítico apresentam correlação negativa com a exposição, enquanto programação e escrita se associam positivamente à exposição a LLMs.

Seguindo Autor e coautores, examinamos barreiras de entrada por meio das “zonas de trabalho” e verificamos que a exposição ocupacional a LLMs aumenta levemente com a dificuldade de preparação para o emprego. Em outras palavras, trabalhadores que enfrentam barreiras mais altas de entrada em seus empregos tendem a experimentar mais exposição; os que enfrentam barreiras mais baixas tendem a experimentar menos.

Também comparamos nossas medidas com esforços anteriores para documentar a distribuição da exposição à automação na economia e encontramos resultados amplamente consistentes. A maior parte das outras medidas de exposição tecnológica examinadas se correlaciona de forma estatisticamente significativa com nossa medida preferida, enquanto medidas de rotina manual e exposição à robótica apresentam correlações negativas.

A variação explicada por esses esforços anteriores, em conjunto com controles de salário, fica entre 60% e 72%. Isso significa que de 28% a 40% da variação da nossa medida de exposição à IA permanece sem explicação pelas medidas anteriores de exposição tecnológica.

Ao analisar exposição por indústria, verificamos que indústrias de processamento de informação, classificadas no nível de quatro dígitos do NAICS, apresentam alta exposição; manufatura, agricultura e mineração apresentam exposição menor. A ligação entre crescimento de produtividade na última década e exposição total a LLMs parece fraca, sugerindo um cenário potencialmente otimista: ganhos futuros de produtividade com LLMs podem não exacerbar efeitos associados à doença dos custos de Baumol.

Nossa análise indica que os impactos de LLMs como o GPT-4 provavelmente serão disseminados. Embora esses modelos tenham melhorado continuamente, espera-se que seu efeito econômico crescente persista e aumente mesmo que o desenvolvimento de novas capacidades fosse interrompido hoje. O impacto potencial também se amplia de forma significativa quando se considera o desenvolvimento de tecnologias complementares.

Em conjunto, essas características indicam que os GPTs apresentam as propriedades de tecnologias de propósito geral. Outros trabalhos argumentam que o aprendizado de máquina, como categoria ampla, provavelmente também é uma tecnologia de propósito geral. Nossas evidências apoiam um impacto mais amplo: mesmo subconjuntos de software de aprendizado de máquina podem satisfazer esses critérios de forma independente.

As contribuições principais deste artigo são fornecer medidas do potencial de impacto dos LLMs, demonstrar que LLMs podem ser usados para desenvolver essas medidas de forma eficiente e em escala e evidenciar seu potencial de uso geral. Se “GPTs são GPTs”, a trajetória futura de seu desenvolvimento e aplicação poderá ser difícil de prever e regular para formuladores de políticas.

Nota 3. A doença dos custos de Baumol explica por que serviços intensivos em trabalho, como saúde e educação, podem ficar relativamente mais caros ao longo do tempo: salários aumentam com os setores mais produtivos, sem aumento proporcional de produtividade nesses serviços.

Nota 4. No restante do artigo, a expressão “tecnologias de propósito geral” é escrita por extenso quando usada fora da formulação “GPTs são GPTs”.

Como ocorre com outras tecnologias de propósito geral, grande parte do potencial desses algoritmos surgirá em uma ampla variedade de usos economicamente valiosos, inclusive na criação de novos tipos de trabalho. Nossa pesquisa mede o que é tecnicamente viável agora, mas inevitavelmente deixará de captar o potencial de impacto dos LLMs à medida que ele evolui ao longo do tempo.

O artigo está organizado da seguinte forma. A Seção 2 analisa trabalhos anteriores relevantes; a Seção 3 discute métodos e coleta de dados; a Seção 4 apresenta estatísticas descritivas e resultados; a Seção 5 relaciona nossas medidas a esforços anteriores; a Seção 6 discute os resultados; e a Seção 7 apresenta observações finais.

2. Revisão de literatura

2.1. O avanço dos grandes modelos de linguagem

Nos últimos anos, modelos de IA generativa receberam atenção significativa da comunidade de pesquisa em inteligência artificial e do público em geral por sua capacidade de resolver ampla variedade de tarefas complexas baseadas em linguagem. O progresso dessas capacidades foi impulsionado por vários fatores, entre eles maior número de parâmetros, maior volume de dados de treinamento e configurações de treinamento aprimoradas.

LLMs amplos e de ponta, como LaMDA e GPT-4, se destacam em aplicações diversas, como tradução, classificação, escrita criativa e geração de código. Essas capacidades anteriormente exigiam modelos especializados, voltados a tarefas específicas, desenvolvidos por engenheiros especialistas com dados próprios de cada domínio.

Paralelamente, pesquisadores melhoraram a controlabilidade, a confiabilidade e a utilidade desses modelos com técnicas como ajuste fino e aprendizado por reforço com feedback humano. Esses avanços ajudam os modelos a identificar a intenção do usuário, tornando-os mais fáceis de usar e mais práticos.

Estudos recentes também revelam o potencial dos LLMs para programar e controlar outras ferramentas digitais, como APIs, motores de busca e até outros sistemas de IA generativa. Isso permite integrar componentes individuais para melhorar utilidade, desempenho e generalização. No limite, essas tendências sugerem um cenário no qual LLMs poderiam executar qualquer tarefa normalmente realizada em um computador.

Até agora, modelos de IA generativa foram usados principalmente como especialistas modulares, realizando tarefas específicas, como gerar imagens a partir de legendas ou transcrever fala em texto. Argumentamos, porém, que LLMs devem ser vistos como blocos de construção versáteis para criar ferramentas adicionais.

Desenvolver essas ferramentas e integrá-las a sistemas exigirá tempo e possivelmente uma reconfiguração significativa de processos existentes em várias indústrias. Mesmo assim, já observamos tendências emergentes de adoção. Apesar de suas limitações, LLMs são cada vez mais integrados a aplicações especializadas de assistência à escrita, programação e pesquisa jurídica. Essas aplicações permitem que empresas e indivíduos incorporem LLMs aos seus fluxos de trabalho.

Enfatizamos a importância dessas tecnologias complementares porque LLMs genéricos, prontos para uso, podem continuar pouco confiáveis em várias tarefas devido a imprecisões factuais, vieses inerentes, preocupações de privacidade e riscos de desinformação. Fluxos de trabalho especializados — com ferramentas, software ou pessoas no circuito — podem ajudar a enfrentar essas deficiências ao incorporar conhecimento específico do domínio.

Por exemplo, a Casetext oferece ferramentas de pesquisa jurídica baseadas em LLMs para fornecer a advogados resultados de pesquisa mais rápidos e precisos; usa representações vetoriais e sumarização para reduzir o risco de o GPT-4 fornecer detalhes incorretos sobre casos ou documentos. O GitHub Copilot é um assistente de programação que usa LLMs para gerar trechos e completar código, que usuários podem aceitar ou rejeitar com base em sua experiência. Em outras palavras: embora, sozinho, o GPT-4 não “saiba que horas são”, é relativamente fácil dar-lhe um relógio.

Além disso, pode surgir um ciclo de realimentação positiva quando LLMs ultrapassam determinado limiar de desempenho: eles passam a ajudar a construir as próprias ferramentas que aumentam sua utilidade e usabilidade em diferentes contextos. Isso pode reduzir o custo e o conhecimento de engenharia necessários para criar essas ferramentas, acelerando ainda mais a adoção e a integração de LLMs.

LLMs também podem tornar-se ativos valiosos no desenvolvimento de modelos de aprendizado de máquina: podem atuar como assistentes de programação para pesquisadores, serviços de rotulagem de dados ou geradores de dados sintéticos. Esses modelos também podem contribuir para decisões econômicas no nível da tarefa, por exemplo refinando métodos de alocação de tarefas e subtarefas entre pessoas e máquinas.

À medida que LLMs avançam e se alinham melhor às preferências de usuários, é possível antecipar melhoria contínua de desempenho. Ainda assim, é essencial reconhecer que essas tendências trazem uma variedade de riscos sérios.

2.2. Os impactos econômicos das tecnologias de automação

Uma literatura ampla e crescente examina os impactos de IA e tecnologias de automação no mercado de trabalho. O conceito de mudança tecnológica enviesada para habilidades e o modelo de tarefas da automação — frequentemente considerados a estrutura-padrão para compreender a influência da tecnologia sobre o trabalho — surgiram de pesquisas que mostraram que o progresso tecnológico aumenta a demanda por trabalhadores qualificados em relação a trabalhadores não qualificados.

Muitos estudos desenvolveram essa ideia, examinando efeitos da mudança tecnológica e da automação sobre trabalhadores em uma estrutura baseada em tarefas. Essa vertente mostrou que trabalhadores envolvidos em tarefas rotineiras e repetitivas enfrentam risco mais alto de deslocamento induzido por tecnologia, fenômeno conhecido como mudança tecnológica enviesada para rotinas.

Estudos mais recentes distinguem o deslocamento de tarefas causado pela tecnologia dos efeitos de reintegração de tarefas, nos quais uma nova tecnologia amplia a necessidade de uma gama maior de atividades intensivas em trabalho. Diversos estudos apontam que tecnologias de automação contribuíram para desigualdade salarial nos Estados Unidos, impulsionada pela queda relativa dos salários de trabalhadores especializados em tarefas rotineiras.

Pesquisas anteriores empregaram várias abordagens para estimar a sobreposição entre capacidades de IA e tarefas realizadas por trabalhadores em diferentes ocupações. Esses métodos incluem relacionar descrições de patentes a descrições de tarefas; vincular capacidades de IA a habilidades ocupacionais documentadas no O*NET; alinhar avaliações de referência de IA a tarefas por meio de habilidades cognitivas; rotular potencial de automação para um subconjunto de ocupações e usar classificadores para extrapolar; modelar automação no nível da tarefa e agregar resultados à ocupação; e coletar previsões de especialistas.

Mais diretamente relacionado a este artigo, trabalhos anteriores elaboraram rubricas para avaliar se atividades de trabalhadores são adequadas ao aprendizado de máquina. Algumas dessas abordagens concluem que a exposição a tecnologias de IA tende a ser diversificada dentro da ocupação. Ao considerar cada emprego como um conjunto de tarefas, é raro encontrar uma ocupação em que ferramentas de IA possam realizar quase todo o trabalho.

Também há evidência de que exposições à automação e à complementação tendem a ser positivamente correlacionadas. Além disso, cresce o conjunto de estudos que examina impactos e oportunidades econômicas específicos dos LLMs. Ao lado desses trabalhos, nossas medidas ajudam a caracterizar a relevância potencial mais ampla dos modelos de linguagem para o mercado de trabalho.

Tecnologias de propósito geral — como a imprensa e a máquina a vapor — caracterizam-se por ampla difusão, aperfeiçoamento contínuo e geração de inovações complementares. Suas consequências de grande alcance, que se desdobram por décadas, são difíceis de antecipar, sobretudo no que diz respeito à demanda por trabalho.

A realização de todo o potencial dessas tecnologias requer ampla coinvenção: um processo caro e demorado, que envolve descobrir novos procedimentos empresariais. Por isso, muitos estudos sobre tecnologias de aprendizado de máquina concentram-se na adoção no nível dos sistemas e sustentam que os sistemas organizacionais podem precisar ser redesenhados para aproveitar efetivamente avanços novos nessa área.

Sistemas adequadamente projetados podem gerar valor empresarial considerável e melhorar o desempenho das firmas, enquanto ferramentas de IA facilitam o processo de descoberta. Ao empregar informações no nível das tarefas para avaliar se LLMs cumprem os critérios de uma tecnologia de propósito geral, buscamos unir essas duas perspectivas sobre a relação entre tecnologia e trabalho.

Procuramos avançar essas diversas correntes da literatura de várias formas. Em linha com Felten et al. (2023), concentramos nossa análise no impacto dos LLMs, em vez de abordar tecnologias de aprendizado de máquina ou de automação de maneira mais ampla. Também propomos um método novo que emprega LLMs — especificamente o GPT-4 — para avaliar tarefas quanto à exposição e ao potencial de automação, reforçando os esforços de avaliação humana. Em seguida, agregamos nossas conclusões para ocupações e indústrias, capturando a exposição potencial geral no mercado de trabalho contemporâneo dos Estados Unidos.

3. Métodos e coleta de dados

3.1. Dados sobre atividades e tarefas realizadas por ocupação nos Estados Unidos

Usamos a base de dados ONET 27.2 (ONET, 2023), que contém informações sobre 1.016 ocupações, incluindo suas respectivas Atividades Detalhadas de Trabalho (DWAs, na sigla em inglês) e tarefas. Uma DWA é uma ação abrangente que faz parte da conclusão de uma tarefa, como “Estudar roteiros para determinar os requisitos do projeto”. Uma tarefa, por sua vez, é uma unidade de trabalho específica de uma ocupação que pode estar associada a zero, uma ou várias DWAs. A Tabela 1 apresenta uma amostra de tarefas e DWAs. Os dois conjuntos de dados que usamos consistem em:

• 19.265 tarefas, cada uma composta por uma “descrição da tarefa” e uma ocupação correspondente; e
• 2.087 DWAs, das quais a maioria está ligada a uma ou mais tarefas. As tarefas podem estar associadas a uma ou mais DWAs, embora algumas não possuam nenhuma DWA associada.

Ao agregar apenas atividades, perde-se precisão. Isso é evidenciado pelo fato de que esperamos que trabalhadores de caixas de jogo concluam a DWA pessoalmente, com alguma fisicalidade, enquanto esperamos que comerciantes on-line realizem a mesma atividade apenas com um computador.

3.2. Dados sobre salários, emprego e demografia

Obtivemos dados de emprego e salários das séries de Emprego Ocupacional de 2020 e 2021 fornecidas pelo Bureau of Labor Statistics. A base inclui títulos ocupacionais, o número de trabalhadores em cada ocupação, projeções de emprego por ocupação para 2031, a educação típica necessária para ingressar em uma ocupação e o treinamento no trabalho necessário para alcançar competência nela. Usamos a correspondência recomendada pelo BLS para o ONET a fim de vincular as bases de tarefas e DWAs do ONET, e as informações demográficas da força de trabalho do BLS, derivadas da Current Population Survey (CPS). Ambas as fontes são coletadas pelo governo dos Estados Unidos e capturam principalmente trabalhadores que não são autônomos, estão documentados e trabalham na chamada economia formal.

3.3. Exposição

Apresentamos os resultados com base em uma rubrica de exposição, na qual definimos exposição como uma medida de se o acesso a um LLM ou a um sistema baseado em LLM reduziria em pelo menos 50% o tempo necessário para que uma pessoa execute uma DWA específica ou conclua uma tarefa. Embora o GPT-4 tenha capacidades de visão e “LLM” seja frequentemente usado para uma gama muito mais ampla de modalidades, as capacidades de visão e imagem foram incluídas apenas em nossa definição de software baseado em LLM. Apresentamos a seguir um resumo da rubrica; a rubrica completa está no Apêndice A.1. Quando temos rótulos para DWAs, primeiro os agregamos ao nível da tarefa e depois ao nível da ocupação.

Sem exposição (E0), se usar o LLM descrito não resultar em redução ou resultar em redução mínima do tempo necessário para concluir a atividade ou tarefa, mantendo qualidade equivalente; ou se o uso do LLM descrito diminuir a qualidade do resultado da atividade ou tarefa.

Exposição direta (E1), se usar o LLM descrito por meio do ChatGPT ou do playground da OpenAI puder reduzir em pelo menos metade (50%) o tempo necessário para concluir a DWA ou tarefa.

Exposto a LLM+ (E2), se o acesso apenas ao LLM descrito não reduzir em pelo menos metade o tempo necessário para concluir a atividade ou tarefa, mas puder ser desenvolvido software adicional sobre o LLM capaz de reduzir em pelo menos metade o tempo necessário para concluir a atividade ou tarefa específica com qualidade. Entre esses sistemas, contamos o acesso a sistemas de geração de imagens.

Qualidade equivalente significa que um terceiro — em geral, quem recebe o resultado — não perceberia nem se importaria com a assistência do LLM. Na prática, os autores categorizam separadamente o acesso a capacidades de imagem (E3) para facilitar a anotação, mas combinam E2 e E3 em todas as análises.

Definimos o limiar de exposição como uma redução potencial de 50% no tempo necessário para concluir uma DWA ou tarefa específica, mantendo qualidade consistente. Prevemos que a adoção seja maior e mais imediata em aplicações que produzam aumento considerável de produtividade. Embora esse limiar seja um tanto arbitrário, foi escolhido porque é fácil de interpretar pelos anotadores. Além disso, qualquer que fosse o limiar escolhido, supusemos que a redução real do tempo de tarefa provavelmente seria um pouco ou significativamente menor que nossas estimativas; por isso, optamos por um limiar relativamente alto. Em nossa própria rotulagem de validação, verificamos que isso correspondia de perto a saber se um LLM ou software baseado em LLM conseguiria executar a parte central de uma tarefa ou quase toda a tarefa.

O escore de concordância é determinado observando-se com que frequência os dois grupos concordam na anotação — por exemplo, E0, E1 ou E2. No artigo, os autores usam GPT-4, Rubrica 1. Tarefas centrais recebem, no nível da ocupação, o dobro do peso das tarefas suplementares. Todos os pesos somam um.

Em seguida, coletamos anotações humanas e anotações geradas pelo GPT-4 usando a rubrica de exposição, que fundamentam a maior parte das análises deste artigo.

• Avaliações humanas: obtivemos anotações humanas aplicando a rubrica a cada Atividade Detalhada de Trabalho (DWA) do ONET e a um subconjunto de todas as tarefas do ONET; depois agregamos esses escores de DWA e de tarefa nos níveis de tarefa e de ocupação. Os autores anotaram as DWAs que claramente exigiam alto grau de fisicalidade ou destreza manual. Anotadores contratados rotularam as atividades restantes e um subconjunto de tarefas, incluindo as sem DWAs associadas e aquelas para as quais não havia anotação clara no nível da tarefa depois da agregação das anotações de DWA. Os autores rotularam pessoalmente uma grande amostra de tarefas e DWAs e recrutaram anotadores humanos experientes que haviam revisado resultados de GPT-3, GPT-3.5 e GPT-4 como parte do trabalho de alinhamento da OpenAI.

• Avaliações do GPT-4: aplicamos uma rubrica semelhante a uma versão inicial do GPT-4, mas a todos os pares tarefa/ocupação, em vez de às DWAs. Fizemos pequenas modificações na rubrica — usada como um “prompt” para o modelo neste caso — para aumentar a concordância com um conjunto de rótulos humanos. As taxas completas de concordância estão na Tabela 2.

Construímos três medidas principais para a variável dependente de interesse: (i) α, correspondente a E1 na rubrica acima, que se espera representar o limite inferior da proporção de tarefas expostas em uma ocupação; (ii) β, a soma de E1 e 0,5 × E2, em que o peso 0,5 de E2 busca contabilizar que a exposição por meio de ferramentas e aplicações complementares exige investimento adicional; e (iii) ζ, a soma de E1 e E2, um limite superior de exposição que oferece uma avaliação da exposição máxima a um LLM e a software baseado em LLM. Resumimos a concordância entre grupos de anotação e medidas na Tabela 2. No restante da análise, salvo indicação contrária, “exposição β” significa que tarefas diretamente expostas por ferramentas como ChatGPT ou OpenAI Playground são consideradas duas vezes mais expostas que tarefas que exigem alguma inovação complementar.

3.4. Limitações da metodologia

Julgamentos humanos subjetivos. Uma limitação fundamental da abordagem está na subjetividade da rotulagem. O estudo usa anotadores familiarizados com as capacidades dos LLMs. No entanto, esse grupo não é ocupacionalmente diverso, o que pode levar a julgamentos enviesados sobre a confiabilidade e a eficácia dos LLMs para executar tarefas em ocupações que lhes são pouco familiares. Os autores reconhecem que obter rótulos de alta qualidade para cada tarefa em uma ocupação requer trabalhadores que exerçam essas ocupações ou, no mínimo, conhecimento profundo das diversas tarefas nelas envolvidas. Essa é uma área importante para trabalhos futuros de validação dos resultados.

Medir LLMs com o GPT-4. Pesquisas recentes indicam que o GPT-4 funciona como um discriminador eficaz, capaz de aplicar taxonomias complexas e responder a alterações de formulação e de ênfase. Os resultados da classificação de tarefas pelo GPT-4 são sensíveis a mudanças na redação da rubrica, na ordem e na composição do prompt, à presença ou ausência de exemplos específicos, ao nível de detalhe fornecido e às definições dos termos-chave. Iterar o prompt a partir dos resultados observados em um pequeno conjunto de validação pode melhorar a concordância entre as saídas do modelo e a intenção da rubrica.

Por isso, há pequenas diferenças entre a rubrica apresentada a humanos e a usada para o GPT-4. A decisão foi deliberada: orientar o modelo para rótulos razoáveis sem influenciar excessivamente os anotadores humanos. Assim, são usadas várias fontes de anotação, mas nenhuma deve ser considerada a verdade fundamental definitiva em relação às demais. Nesta análise, os resultados dos anotadores humanos são os resultados principais. Ainda é possível melhorar e inovar na elaboração de rubricas eficazes para classificação por LLMs. Mesmo assim, observa-se alto grau de concordância entre avaliações humanas e avaliações do GPT-4, no nível da ocupação, quanto à exposição geral a sistemas de LLM.

A Figura 2 compara avaliadores humanos no eixo x e avaliações do GPT-4 no eixo y e mostra alta concordância quanto à exposição por ocupação. A exposição no nível da ocupação é calculada pela média das exposições no nível da tarefa pelo método β. O ONET designa algumas tarefas como “centrais” e outras como “suplementares”; as centrais recebem o dobro do peso das suplementares e todos os pesos somam um. Nos níveis mais altos de exposição pelo método β, as avaliações do GPT-4 tendem a ser menores que as humanas. Os autores apresentam o gráfico de dispersão bruto e o binscatter*; perto do topo das classificações de exposição, humanos tendem, em média, a classificar uma ocupação como exposta com mais frequência.

Fraquezas adicionais.

• Validade da estrutura baseada em tarefas. Não está claro em que medida ocupações podem ser inteiramente decompostas em tarefas, nem se essa abordagem omite sistematicamente categorias de habilidades ou tarefas tacitamente necessárias ao desempenho competente de um trabalho. Além disso, tarefas podem ser compostas por subtarefas, algumas mais automatizáveis que outras. Algumas tarefas podem ser precursoras de outras, de modo que a conclusão de tarefas posteriores depende das precursoras. Se a decomposição por tarefas não representar de forma válida como a maior parte do trabalho em uma ocupação é executada, a análise de exposição seria em grande parte invalidada.

• Falta de especialização e interpretação de tarefas. Os anotadores humanos, em sua maioria, não sabiam quais ocupações específicas estavam associadas a cada DWA durante a rotulagem. Isso levou a uma lógica pouco clara para agregar tarefas e ocupações e a algumas discrepâncias evidentes nos rótulos, demonstradas na Tabela 1. Os autores testaram vários métodos de agregação e descobriram que, mesmo com uma abordagem de correspondência máxima — tomando o rótulo humano-modelo correspondente, se existisse — a concordância se manteve relativamente consistente. Por fim, coletaram rótulos adicionais para pares tarefa/ocupação em que havia discordância significativa.

• Caráter prospectivo e sujeito a mudança, com alguma evidência inicial. Prever com precisão aplicações futuras de LLMs continua sendo um desafio importante, até para especialistas. A descoberta de novas capacidades emergentes, mudanças nos vieses de percepção humana e alterações no desenvolvimento tecnológico podem afetar a exatidão e a confiabilidade de previsões sobre o impacto potencial dos LLMs nas tarefas dos trabalhadores e no desenvolvimento de software baseado em LLM. As projeções são inerentemente prospectivas e se baseiam em tendências, evidências e percepções atuais das possibilidades tecnológicas; portanto, podem mudar quando surgirem novos avanços. Por exemplo, tarefas que hoje parecem improváveis de serem afetadas por LLMs ou software baseado em LLM podem mudar com novas capacidades dos modelos. Por outro lado, tarefas que parecem expostas podem enfrentar desafios imprevistos que limitem aplicações de modelos de linguagem.

• Fontes de discordância. Embora não tenham examinado rigorosamente as fontes de discordância, os autores encontraram alguns casos em que humanos e modelo tendiam a “travar” nas avaliações: tarefas ou atividades nas quais um LLM poderia, em tese, ajudar ou realizar a tarefa, mas cuja adoção exigiria que várias pessoas mudassem hábitos ou expectativas — como reuniões e negociações; tarefas ou atividades em que uma regulação ou norma atual exige ou sugere supervisão, julgamento ou empatia humanos — como tomada de decisões e aconselhamento; e tarefas ou atividades para as quais já existe tecnologia capaz de automatizá-las de maneira razoável — como fazer reservas.

4. Resultados

Tecnologias de propósito geral são relativamente raras e se caracterizam pela ubiquidade, pela melhoria ao longo do tempo e pelo desenvolvimento de coinvenção e transbordamentos significativos. A avaliação do impacto potencial dos LLMs no mercado de trabalho é limitada, pois não considera produtividade total dos fatores nem potencial de insumo de capital. Além de sua influência sobre o trabalho, LLMs também podem influenciar essas dimensões.

Neste estágio, alguns critérios de tecnologia de propósito geral são mais fáceis de avaliar que outros. O foco principal nesta fase inicial é testar a hipótese de que LLMs exercem influência disseminada na economia, em linha com a abordagem que analisou a difusão do aprendizado de máquina em anúncios de emprego para avaliar seu status de tecnologia de propósito geral. Em vez de usar anúncios de emprego ou estudar aprendizado de máquina em geral, empregamos a abordagem de avaliação de tarefas com anotações humanas e do GPT-4. Essa análise pode revelar se os impactos se limitam a um conjunto específico de tarefas ou ocupações semelhantes ou se serão mais amplos.

Os resultados sugerem que, com base em suas capacidades no nível das tarefas, os LLMs têm potencial de afetar significativamente uma gama diversificada de ocupações na economia dos Estados Unidos, demonstrando um atributo central das tecnologias de propósito geral. Nas seções seguintes, discutimos os resultados em diversos papéis e estruturas salariais. Resultados adicionais sobre a exposição relativa de indústrias na economia dos Estados Unidos estão no Apêndice A.4.

4.1. Estatísticas descritivas

As estatísticas descritivas dessas medidas estão na Tabela 3. Anotações humanas e do GPT-4 indicam que os valores médios de α no nível da ocupação ficam entre 0,14 e 0,15, sugerindo que, em média, aproximadamente 15% das tarefas de uma ocupação estão diretamente expostas a LLMs. Para a Tabela 3, os escores no nível da ocupação dão peso duplo às tarefas designadas pelo O*NET como “centrais”, em relação às “suplementares”; todos os pesos somam um dentro de cada ocupação. O número sobe para mais de 30% em β e ultrapassa 50% em ζ. Por coincidência, anotações humanas e do GPT-4 também classificam entre 15% e 14% do total de tarefas da base como expostas a LLMs. A partir dos valores de β, estimamos que 80% dos trabalhadores pertencem a uma ocupação em que pelo menos 10% das tarefas estão expostas a LLMs, enquanto 19% dos trabalhadores estão em uma ocupação na qual mais da metade das tarefas é rotulada como exposta.

Tarefas designadas como centrais para uma ocupação recebem peso duplo em relação às indicadas como suplementares no arquivo de tarefas O*NET.

Os avaliadores humanos rotularam 15 ocupações como “plenamente expostas”; o modelo rotulou 86. A linha final lista as ocupações com maior valor de σ², isto é, maior variabilidade nos escores de exposição. Os percentuais indicam a parcela das tarefas de uma ocupação expostas a GPTs (α) ou a software baseado em GPT (β e ζ), com exposição definida como redução de pelo menos 50% no tempo necessário para concluir a tarefa. Essas ocupações estimam onde GPTs e software baseado em GPT podem poupar tempo significativo em grande parcela das tarefas, não que as tarefas possam necessariamente ser automatizadas por completo. Todas as tarefas recebem peso igual dentro de cada ocupação.

Executamos uma análise usando os escores de “Importância” do O*NET, mas não encontramos mudanças significativas nas conclusões. Os autores reconhecem, porém, que não ponderar a importância relativa de uma tarefa para uma ocupação produz alguns resultados curiosos, como classificar barbeiros com exposição razoavelmente alta.

Embora o potencial de tarefas afetadas seja vasto, LLMs e software baseado em LLM precisam ser incorporados a sistemas mais amplos para realizar plenamente esse potencial. Como é comum em tecnologias de propósito geral, barreiras à coinvenção podem, inicialmente, impedir a difusão rápida de GPTs em aplicações econômicas. Além disso, é difícil prever a necessidade de supervisão humana, especialmente em tarefas nas quais as capacidades do modelo se igualam ou superam as humanas. Embora a exigência de supervisão possa inicialmente desacelerar a difusão desses sistemas na economia, usuários de LLMs e de sistemas baseados em LLM provavelmente se familiarizarão cada vez mais com a tecnologia, sobretudo para saber quando e como confiar nas suas saídas.

4.2. Salários e emprego

A Figura 3 apresenta a intensidade de exposição na economia em termos da porcentagem de ocupações afetadas. Cada ponto mostra a exposição ocupacional: o valor no eixo x representa a parcela das tarefas de uma ocupação que está exposta — em cada nível α, β e ζ — e o valor no eixo y representa a parcela de todas as ocupações dos Estados Unidos que têm essa parcela de tarefas expostas. Por exemplo, anotadores humanos determinaram que 2,3% das ocupações têm exposição α₅₀, 21,6% têm exposição β₅₀ e 47,3% têm exposição ζ₅₀: o limiar de 50% vem do eixo x e a porcentagem de ocupações, do eixo y. Em qualquer ponto do eixo x, a distância vertical entre α e ζ representa o potencial de exposição atribuível a ferramentas e aplicações além da exposição direta a LLMs. Nesta figura, todas as tarefas dentro de uma ocupação recebem peso igual.

Agregadas no nível da ocupação, as anotações humanas e do GPT-4 exibem semelhanças qualitativas e tendem a se correlacionar. As anotações humanas estimam exposição marginalmente menor para ocupações de salários altos do que as do GPT-4. Embora existam muitas ocupações de salários baixos com alta exposição e ocupações de salários altos com baixa exposição, a tendência geral no binscatter mostra que salários maiores estão associados a maior exposição a LLMs. Ao agregar tarefas no nível da ocupação, tarefas suplementares do O*NET recebem metade do peso atribuído às tarefas centrais.

O potencial de exposição a LLMs parece ter pouca correlação com os níveis atuais de emprego. Na Figura 4, avaliações humanas e do GPT-4 da exposição total são agregadas no nível da ocupação, no eixo y, e comparadas com o logaritmo do emprego total, no eixo x. Nenhum dos gráficos revela diferenças significativas na exposição a LLMs entre níveis distintos de emprego.

Os gráficos da Figura 4 retratam a exposição a modelos de linguagem em várias ocupações segundo avaliadores humanos e GPT-4. Eles comparam, no nível da ocupação, a exposição a LLM e a software parcialmente baseado em LLM (β) com o logaritmo do emprego total e o logaritmo do salário anual mediano. Apesar de algumas discrepâncias, ambas as avaliações indicam que ocupações de salários mais altos tendem a estar mais expostas a LLMs. Muitas ocupações de salários menores também exibem alta exposição pela rubrica. No cálculo dos escores médios de exposição, tarefas centrais recebem o dobro do peso das suplementares. Os dados de emprego e salários vêm da pesquisa BLS-OES de maio de 2021; todos os pesos dentro de uma ocupação somam um.

4.3. Importância das habilidades

Nesta seção, exploramos a relação entre a importância de uma habilidade para uma ocupação — conforme anotada na base ONET — e as medidas de exposição. Primeiro, usamos as Habilidades Básicas fornecidas pelo ONET, cujas definições estão no Apêndice A.2, e normalizamos, para cada ocupação, a medida de importância da habilidade, a fim de tornar os resultados mais compreensíveis. Em seguida, realizamos uma análise de regressão das medidas de exposição (α, β, ζ) para examinar a força das associações entre importância da habilidade e exposição.

Os resultados indicam que a importância das habilidades de ciência e pensamento crítico está fortemente associada de forma negativa à exposição, sugerindo que ocupações que exigem essas habilidades têm menor probabilidade de ser afetadas pelos LLMs atuais. Em contraste, programação e escrita mostram associação positiva forte com a exposição, o que implica que ocupações que envolvem essas habilidades são mais suscetíveis à influência de LLMs. A Tabela 5 apresenta os resultados detalhados.

4.4. Barreiras à entrada

Em seguida, examinamos barreiras à entrada para entender melhor se há diferenciação da exposição em razão de tipos de emprego. Um indicador substituto é o descritor ocupacional do ONET chamado “Zona de Trabalho” (Job Zone*). Uma Zona de Trabalho agrupa ocupações semelhantes quanto a: (a) nível de educação necessário para conseguir um emprego na ocupação; (b) quantidade de experiência relacionada necessária para realizar o trabalho; e (c) extensão do treinamento no trabalho necessária para executá-lo.

Na base O*NET há cinco Zonas de Trabalho. A Zona 1 exige a menor preparação — três meses — e a Zona 5 exige a preparação mais extensa — quatro ou mais anos. Observamos que a renda mediana aumenta monotonicamente entre as zonas, à medida que aumenta a preparação necessária: o trabalhador mediano da Zona 1 ganha US 30.230, enquanto o da Zona 5 ganha US 80.980.

Todas as medidas — α, β e ζ — mostram o mesmo padrão: a exposição aumenta da Zona 1 à Zona 4 e permanece semelhante ou diminui na Zona 5. Assim como na Figura 3, a Figura 5 mostra a porcentagem de trabalhadores em cada limiar de exposição. Em média, a porcentagem de trabalhadores em ocupações com exposição β superior a 50% nas Zonas de Trabalho 1 a 5 é, respectivamente, 0,00% (Zona 1), 6,11% (Zona 2), 10,57% (Zona 3), 34,5% (Zona 4) e 26,45% (Zona 5). Para esses resultados, todas as tarefas têm peso igual dentro de uma ocupação; os resultados não mudam de forma material com o esquema de ponderação central/suplementar.

A Figura 5 apresenta as classificações de exposição β de ocupações nas cinco Zonas de Trabalho, grupos de ocupações semelhantes classificados pelo nível de educação, experiência e treinamento no trabalho necessários para desempenhá-las. Todas as tarefas recebem peso igual.

Educação típica necessária para ingresso. Como a inclusão em uma Zona de Trabalho considera tanto a educação exigida — ela própria um indicador substituto da aquisição de habilidades — quanto a preparação necessária, buscamos dados para separar essas variáveis. Usamos duas variáveis dos dados ocupacionais do Bureau of Labor Statistics: “Educação típica necessária para ingresso” e “Treinamento no trabalho necessário para alcançar competência” em uma ocupação. Há 3.504.000 trabalhadores para os quais não há dados sobre educação e treinamento no trabalho; por isso, eles são excluídos das tabelas-resumo.

A análise sugere que indivíduos com diplomas de bacharelado, mestrado e profissionais estão mais expostos a LLMs e a software baseado em LLM do que pessoas sem credenciais educacionais formais. Curiosamente, indivíduos com algum ensino superior, mas sem diploma, também exibem nível elevado de exposição. Ao examinar a tabela de barreiras à entrada, observamos que os empregos com menor exposição exigem mais treinamento, possivelmente oferecendo retorno menor — em termos de renda mediana — quando a competência é atingida. Em sentido inverso, empregos que não exigem treinamento no trabalho ou exigem apenas estágio/residência parecem gerar renda mais alta, mas estão mais expostos a LLMs.

5. Validação das medidas

5.1. Comparação com esforços anteriores

Este artigo busca avançar diversos estudos empíricos anteriores que examinaram a exposição ocupacional a avanços em IA e/ou automação. Estudos anteriores utilizaram métodos variados, entre eles:

• usar taxonomias ocupacionais, como o O*NET, para caracterizar quais ocupações têm conteúdo de tarefas rotineiras versus não rotineiras e manuais versus cognitivas;
• mapear descrições textuais de tarefas a descrições de avanços tecnológicos em patentes;
• vincular capacidades de sistemas de IA a habilidades ocupacionais e agregar estimativas de exposição às ocupações em que essas habilidades são exigidas;
• mapear resultados de avaliações de referência de tarefas de IA — ImageNet, Robocup etc. — para 59 tarefas de trabalhadores por meio de 14 habilidades cognitivas extraídas da literatura de ciência cognitiva;
• obter de especialistas rótulos de potencial de automação para um conjunto de ocupações do ONET em que a confiança era alta e combinar isso a um classificador probabilístico para estimar o potencial de automação das demais ocupações do ONET;
• desenvolver uma rubrica para avaliar a “adequação ao aprendizado de máquina” (Suitability for Machine Learning, SML) de atividades realizadas por trabalhadores na economia.

A Tabela 8 traz estatísticas descritivas de muitos desses esforços anteriores.

A metodologia deste artigo baseia-se principalmente na abordagem SML, desenvolvendo uma rubrica para avaliar a sobreposição entre capacidades de LLMs e tarefas de trabalhadores reportadas na base O*NET. A Tabela 9 apresenta os resultados de regressões OLS das novas medidas de exposição a LLM sobre medidas de exposição no nível ocupacional de Felten et al. — o “Escore de Exposição Ocupacional à IA” —, da automação de Frey e Osborne, dos escores das três tecnologias de Webb, dos escores normalizados de tarefas rotineiras manuais e cognitivas de Acemoglu e Autor e de SML. Também usamos, como controle, salários ocupacionais anualizados da pesquisa mais recente de Emprego Ocupacional do BLS. Há quatro variáveis de resultado separadas, que representam os novos escores deste artigo e são previstas pelos esforços anteriores.

A Classificação de Exposição do GPT-4 1 corresponde à rubrica de exposição geral avaliada pelo GPT-4: potencial de exposição total recebe o código 1, ausência de potencial de exposição recebe 0 e exposição parcial — E2 no esquema de rotulagem — recebe 0,5. A Classificação de Exposição do GPT-4 2 é pontuada de maneira semelhante, mas com um prompt ligeiramente diferente; os resultados são muito parecidos entre os dois prompts. A Classificação de Exposição Humana representa a mesma rubrica da Classificação de Exposição do GPT-4 1, porém pontuada por humanos, como discutido anteriormente. Esses resultados correspondem ao conjunto β de estatísticas apresentado acima: tarefas suplementares recebem metade do peso das tarefas centrais dentro de uma ocupação e os pesos somam um.

Os resultados são consistentes entre os tipos de medição. Encontramos, em geral, correlações positivas e estatisticamente significativas entre as medidas de exposição a LLM e medidas anteriores voltadas a software e IA. De modo encorajador, os escores de exposição SML por ocupação têm associações significativas e positivas com os escores de exposição desenvolvidos neste artigo, demonstrando coesão entre os dois estudos, de abordagens similares. As medidas de patentes de software e IA de Webb, SML e os escores cognitivos rotineiros normalizados — cuja média é subtraída e que são divididos pelo desvio-padrão — apresentam associações positivas com algumas medidas dos autores.

Escores de software, SML e cognitivos rotineiros mostram associações positivas e estatisticamente significativas com escores de exposição a LLM no nível de 1%. Coeficientes dos escores de IA de Webb também são positivos e estatisticamente significativos no nível de 5%, mas o prompt secundário para exposição geral a LLM nas colunas 3 e 4 não exibe relação estatisticamente significativa. Em grande parte, o Escore de Exposição Ocupacional à IA não se correlaciona com as medidas deste estudo. Os escores de exposição a robôs de Webb, o conteúdo de tarefas manuais rotineiras e a métrica geral de automação de Frey e Osborne estão todos negativamente correlacionados com as classificações primárias de exposição geral avaliadas pelo GPT-4 e por humanos, condicionais às outras medidas. Essa correlação negativa reflete a exposição limitada de tarefas físicas a LLMs: por enquanto, trabalho manual não está exposto a LLMs nem a LLMs com integração adicional de sistemas.

As baixas correlações com Felten et al. e Frey e Osborne podem ser explicadas por diferenças de abordagem. Vincular capacidades de IA a habilidades de trabalhadores ou pontuar a exposição diretamente com base nas características da ocupação, em vez de agregá-la à ocupação a partir de pontuação no nível de DWA ou de tarefa — como no artigo SML e neste —, oferece perspectiva um pouco diferente sobre o conteúdo das ocupações.

Em todas as regressões, o R² varia de 60,7% (coluna 3) a 72,8% (coluna 5). Isso sugere que a medida, focada explicitamente em capacidades de LLMs, possui entre 28% e 40% de variância não explicada pelas outras medidas. Especialmente no caso de escores de exposição ligados a IA, os autores esperam que uma combinação de outras medidas tenha correlação forte com seus escores. Porém, os esforços anteriores tinham informação limitada sobre o progresso futuro de LLMs ou de software baseado em LLM; o entendimento atual dos autores sobre tecnologias futuras de aprendizado de máquina também é capturado de forma imperfeita pela rubrica de hoje.

6. Discussão

6.1. GPTs como tecnologia de propósito geral

Antes, discutimos a possibilidade de classificar LLMs como tecnologia de propósito geral. Essa classificação requer que LLMs cumpram três critérios centrais: melhoria ao longo do tempo, ubiquidade na economia e capacidade de gerar inovações complementares. As evidências da literatura de IA e aprendizado de máquina demonstram amplamente que LLMs cumprem o primeiro critério: suas capacidades melhoram ao longo do tempo e eles conseguem realizar ou ajudar em conjunto cada vez mais complexo de tarefas e casos de uso. Este artigo apresenta evidência para os dois critérios restantes: LLMs, por si sós, podem ter impactos disseminados na economia, e inovações complementares viabilizadas por LLMs — sobretudo por software e ferramentas digitais — podem ter aplicação ampla à atividade econômica.

A Figura 3 ilustra o impacto econômico potencial de software complementar construído sobre LLMs. A diferença no eixo y — a parcela de todas as ocupações — entre α e ζ em um ponto do eixo x — a parcela de tarefas expostas em uma ocupação — fornece o potencial agregado de exposição dentro da ocupação atribuível a ferramentas e software, além da exposição direta apenas pelos LLMs. A diferença entre as médias de todas as tarefas, entre α e ζ, é 0,42 usando anotações do GPT-4 e 0,32 usando anotações humanas. Isso sugere que o impacto médio de software baseado em LLM sobre a exposição de tarefas pode ser mais de duas vezes maior que a exposição média de LLMs isoladamente — média de ζ de 0,14 nas anotações humanas e do GPT-4. Assim, embora os modelos prontos para uso sejam relevantes para parcela significativa de trabalhadores e tarefas, as inovações de software que eles geram podem produzir impacto bem mais amplo.

Um componente da ubiquidade de uma tecnologia é seu nível de adoção por empresas e usuários. O artigo não analisa sistematicamente a adoção desses modelos, mas há evidência qualitativa inicial de que a adoção e o uso de LLMs estão se tornando cada vez mais disseminados. O poder de melhorias relativamente simples de interface sobre LLMs foi evidente no lançamento do ChatGPT: versões do modelo de linguagem subjacente já estavam disponíveis via API, mas o uso disparou depois da interface do ChatGPT. Pesquisas comerciais também indicam que a adoção de LLMs por empresas e trabalhadores aumentou nos meses anteriores ao estudo.

A adoção ampla exige enfrentar gargalos existentes. Um determinante central da utilidade é a confiança que humanos depositam nos modelos e a maneira como adaptam seus hábitos. Na profissão jurídica, por exemplo, a utilidade depende de profissionais conseguirem confiar nas saídas sem verificar documentos originais ou realizar pesquisa independente. O custo e a flexibilidade da tecnologia, as preferências e os incentivos de trabalhadores e empresas também influenciam muito a adoção de ferramentas criadas sobre LLMs. A adoção pode ser movida pelo progresso contra alguns riscos éticos e de segurança: viés, fabricação de fatos e desalinhamento, entre outros. Ela também variará entre setores por fatores como disponibilidade de dados, ambiente regulatório e distribuição de poder e interesses. Uma compreensão abrangente da adoção e do uso de LLMs por trabalhadores e empresas exige explorar essas complexidades com mais profundidade.

Uma possibilidade é que, para a maioria das tarefas, economia de tempo e aplicação fluida tenham mais importância que melhoria de qualidade. Outra é que o foco inicial recaia sobre complementação, seguida de automação. Uma forma disso ocorrer seria uma fase de complementação em que empregos primeiro se tornem mais precários — por exemplo, redatores que se tornam freelancers — antes de transitarem para automação completa.

6.2. Implicações para a política pública dos Estados Unidos

A introdução de tecnologias de automação, incluindo LLMs, já foi associada a maior disparidade econômica e perturbação do trabalho, que podem gerar efeitos adversos posteriores. Os resultados sobre exposição dos trabalhadores nos Estados Unidos destacam a necessidade de preparação social e de políticas para a possível perturbação econômica produzida por LLMs e pelas tecnologias complementares que eles geram. Embora esteja fora do escopo deste artigo recomendar prescrições específicas para tornar mais suave a transição para uma economia com adoção cada vez mais ampla de LLMs, trabalhos anteriores, como Autor (2022), apontaram várias direções importantes para a política pública americana relacionadas a educação, treinamento de trabalhadores, reformas de programas de rede de proteção social e outros temas.

6.3. Limitações e trabalhos futuros

Além das limitações discutidas acima, destacamos algumas que merecem investigação adicional. Principalmente, o foco nos Estados Unidos limita a generalização das conclusões para outros países, onde a adoção e o impacto de modelos generativos podem diferir em razão de organização industrial, infraestrutura tecnológica, marcos regulatórios, diversidade linguística e contextos culturais. Os autores esperam enfrentar essa limitação ampliando o escopo do estudo e compartilhando seus métodos para que outros pesquisadores possam desenvolvê-los.

Esforços de pesquisa posteriores deveriam considerar dois estudos adicionais: um que explore padrões de adoção de LLMs em diversos setores e ocupações; e outro que examine as capacidades e limitações reais dos modelos de ponta em relação a atividades de trabalhadores que vão além dos escores de exposição. Por exemplo, apesar dos avanços recentes de capacidades multimodais com GPT-4, o estudo não considerou capacidades de visão nas classificações α de exposição direta a LLMs. Trabalhos futuros deveriam considerar o impacto desses avanços à medida que surgirem. Os autores também reconhecem que pode haver discrepâncias entre desempenho teórico e prático, particularmente em tarefas complexas, abertas e específicas de domínio.

7. Conclusão

Em conclusão, este estudo examina o impacto potencial de LLMs em várias ocupações e indústrias da economia dos Estados Unidos. Aplicando uma nova rubrica para compreender as capacidades dos LLMs e seus efeitos potenciais sobre empregos, observamos que a maior parte das ocupações exibe algum grau de exposição a LLMs, e que ocupações de salários mais altos geralmente apresentam mais tarefas com alta exposição. A análise indica que aproximadamente 19% dos empregos têm pelo menos 50% de suas tarefas expostas a LLMs quando se consideram tanto as capacidades atuais dos modelos quanto o software baseado em LLM antecipado.

A pesquisa busca destacar o potencial de propósito geral dos LLMs e suas possíveis implicações para trabalhadores dos Estados Unidos. A literatura anterior demonstra os avanços impressionantes dos LLMs até o momento. As conclusões confirmam a hipótese de que essas tecnologias podem ter impactos disseminados sobre uma ampla faixa de ocupações no país e que avanços adicionais apoiados por LLMs, principalmente por software e ferramentas digitais, podem afetar de modo significativo várias atividades econômicas. Contudo, embora pareça evidente a capacidade técnica de LLMs para tornar o trabalho humano mais eficiente, é importante reconhecer que fatores sociais, econômicos, regulatórios e outros influenciarão os resultados reais da produtividade do trabalho. À medida que as capacidades continuarem a evoluir, o impacto dos LLMs na economia provavelmente persistirá e aumentará, impondo desafios a formuladores de políticas que tentam prever e regular sua trajetória.

São necessárias mais pesquisas para explorar as implicações mais amplas dos avanços em LLMs, incluindo seu potencial de complementar ou deslocar trabalho humano, seu impacto sobre a qualidade do emprego, desigualdade, desenvolvimento de habilidades e vários outros resultados. Ao buscar compreender as capacidades e os efeitos potenciais dos LLMs sobre a força de trabalho, formuladores de políticas e partes interessadas podem tomar decisões mais informadas para navegar o cenário complexo da IA e seu papel na formação do futuro do trabalho.

Conclusão de LLM (versão do GPT-4). “Generative Pre-trained Transformers (GPTs) generate profound transformations, garnering potential technological growth, permeating tasks, greatly impacting professions. This study probes GPTs’ potential trajectories, presenting a groundbreaking rubric to gauge tasks’ GPT exposure, particularly in the U.S. labor market.”

Tradução literal: “Transformadores Pré-treinados Generativos (GPTs) geram transformações profundas, angariando potencial de crescimento tecnológico, permeando tarefas e impactando fortemente profissões. Este estudo investiga as trajetórias potenciais dos GPTs, apresentando uma rubrica inovadora para aferir a exposição de tarefas aos GPTs, particularmente no mercado de trabalho dos Estados Unidos.”

Conclusão de LLM (versão ampliada pelos autores). “Generative Pre-trained Transformers (GPTs) generate profound transformations, garnering potential technological growth, permeating tasks, gutting professional management. Gauging possible trajectories? Generate pioneering taxonomies, gather policymakers together, generalize past today.”

Tradução literal: “Transformadores Pré-treinados Generativos (GPTs) geram transformações profundas, angariando potencial de crescimento tecnológico, permeando tarefas, esvaziando a gestão profissional. Avaliar trajetórias possíveis? Gerar taxonomias pioneiras, reunir formuladores de políticas, generalizar além de hoje.”

Apêndice A. Rubrica

A.1. Exposição

Considere o mais poderoso modelo de linguagem de grande porte (LLM) da OpenAI. Esse modelo pode concluir muitas tarefas formuláveis com entrada e saída de texto, quando o contexto da entrada puder ser capturado em 2.000 palavras. O modelo também não consegue obter fatos atualizados — de menos de um ano — a menos que sejam incluídos na entrada.

Suponha que você seja um trabalhador com nível médio de especialização em sua função e esteja tentando concluir a tarefa dada. Você tem acesso ao LLM e a qualquer outro software ou ferramenta de hardware computacional existente mencionado na tarefa. Também tem acesso a quaisquer ferramentas técnicas comumente disponíveis por um laptop — por exemplo, microfone e alto-falantes. Você não tem acesso a quaisquer outras ferramentas ou materiais físicos.

Rotule a tarefa dada segundo a taxonomia abaixo.

E0 — Sem exposição. Rotule tarefas como E0 se o acesso direto ao LLM por uma interface como ChatGPT ou OpenAI Playground não puder reduzir pela metade ou mais o tempo necessário para concluir a tarefa com qualidade equivalente. Se uma tarefa exigir alto grau de interação humana — por exemplo, demonstrações presenciais —, ela deve ser classificada como E0.

E1 — Exposição direta. Rotule tarefas como E1 se o acesso direto apenas ao LLM, por uma interface como ChatGPT ou OpenAI Playground, puder reduzir em pelo menos metade o tempo necessário para concluir a tarefa com qualidade equivalente. Isso inclui tarefas que podem ser reduzidas a:

• escrever e transformar texto e código conforme instruções complexas;
• editar texto ou código existente conforme especificações;
• escrever código que ajude a executar uma tarefa antes feita manualmente;
• traduzir texto entre idiomas;
• resumir documentos de extensão média;
• fornecer comentários sobre documentos;
• responder perguntas sobre um documento; ou
• gerar perguntas que um usuário talvez queira fazer sobre um documento.

E2 — Exposição por aplicações baseadas em LLM. Rotule tarefas como E2 se ter acesso somente ao LLM talvez não reduza pela metade o tempo necessário para concluí-las, mas for fácil imaginar software adicional construído sobre o LLM que reduziria esse tempo pela metade. Esse software pode incluir capacidades como resumir documentos com mais de 2.000 palavras e responder perguntas sobre eles; recuperar fatos atualizados da internet e usá-los junto das capacidades do LLM; e pesquisar conhecimento, dados ou documentos existentes de uma organização para recuperar informação.

Exemplos de software construído sobre o LLM que pode ajudar a concluir atividades de trabalhadores incluem: software de uma empresa de artigos para o lar que processe e resuma rapidamente dados internos atualizados de modo personalizado para informar decisões de produto ou marketing; software que sugira respostas ao vivo para agentes de atendimento que conversam com clientes na interface da empresa; software jurídico que agregue e resuma rapidamente todos os casos anteriores de determinada área e redija memorandos de pesquisa jurídica adaptados às necessidades de um escritório; software especialmente projetado para professores, que permita inserir uma rubrica de correção e carregar arquivos de redações de todos os alunos, produzindo uma nota em letra para cada texto; e software que recupere fatos atualizados da internet e use as capacidades do LLM para produzir resumos de notícias em diferentes idiomas.

E3 — Exposição dadas capacidades de imagem. Suponha que você tenha acesso ao LLM e a um sistema que possa visualizar, legendar e criar imagens. O sistema não pode receber mídia de vídeo como entrada nem recuperar com precisão informações muito detalhadas de imagens, como medidas de dimensões. Rotule tarefas como E3 se houver redução significativa do tempo necessário para concluí-las ao se ter acesso a LLM e a essas capacidades de imagem: ler texto de PDFs; digitalizar imagens; ou criar/editar imagens digitais conforme instruções.

Exemplos de anotação.

• Ocupação: inspetores, testadores, classificadores, amostradores e pesadores. Tarefa: ajustar, limpar ou reparar produtos ou equipamentos de processamento para corrigir defeitos encontrados durante inspeções. Rótulo: E0. Explicação: o modelo não tem acesso a fisicalidade de qualquer tipo, e mais da metade da tarefa descrita — ajustar, limpar e reparar equipamento — requer mãos ou outra incorporação física.
• Ocupação: cientistas de pesquisa em computação e informação. Tarefa: aplicar especialização teórica e inovação para criar ou aplicar nova tecnologia, como adaptar princípios de uso de computadores a novos usos. Rótulo: E1. Explicação: o modelo pode aprender especialização teórica em seu treinamento como parte de sua base de conhecimento geral, e os princípios a adaptar podem ser capturados na entrada de texto.
• Atividade: agendar reservas para jantar. Rótulo: E2. Explicação: tecnologia de automação para isso já existe — por exemplo, Resy — e não está claro o que um LLM oferece além de usar essa tecnologia. Ainda assim, poderia ser construído algo que permitisse pedir ao LLM que faça uma reserva no Resy para você.
• Atividade: negociar compras ou contratos. Rótulo: E2. Explicação: cada parte poderia transcrever seu ponto de vista e alimentá-lo a um LLM para resolver disputas. Porém, muitas pessoas precisariam aderir ao uso de novas ferramentas tecnológicas para realizar isso.
• Ocupação: alergistas e imunologistas. Tarefa: prescrever medicamentos como anti-histamínicos, antibióticos e glicocorticoides nasais, orais, tópicos ou inalados. Rótulo: E2. Explicação: o modelo pode propor hipóteses para diagnósticos e redigir prescrições e anotações de caso, mas ainda é necessário um humano no circuito, usando seu julgamento e conhecimento para tomar a decisão final.

Apêndice B. Definições de habilidades básicas do O*NET

Habilidades básicas. Capacidades desenvolvidas que facilitam o aprendizado ou a aquisição mais rápida de conhecimento.

Conteúdo. Estruturas de base necessárias para trabalhar com habilidades mais específicas e adquiri-las em uma variedade de domínios.

• Compreensão de leitura — compreender frases e parágrafos escritos em documentos relacionados ao trabalho.
• Escuta ativa — dar atenção plena ao que outras pessoas dizem, dedicar tempo para entender os pontos apresentados, fazer perguntas quando apropriado e não interromper em momentos inadequados.
• Escrita — comunicar-se efetivamente por escrito conforme as necessidades do público.
• Fala — conversar com outras pessoas para transmitir informações de forma efetiva.
• Matemática — usar matemática para resolver problemas.
• Ciência — usar regras e métodos científicos para resolver problemas.

Processo. Procedimentos que contribuem para aquisição mais rápida de conhecimento e habilidade em uma variedade de domínios.

• Pensamento crítico — usar lógica e raciocínio para identificar pontos fortes e fracos de soluções, conclusões ou abordagens alternativas a problemas.
• Aprendizagem ativa — compreender as implicações de novas informações tanto para resolução de problemas e tomada de decisão atuais quanto futuras.
• Estratégias de aprendizagem — selecionar e usar métodos e procedimentos de treinamento/instrução apropriados à situação ao aprender ou ensinar coisas novas.
• Monitoramento — monitorar/avaliar o desempenho próprio, de outras pessoas ou de organizações para promover melhorias ou tomar medidas corretivas.

Habilidades multifuncionais. Observação dos autores: foi selecionada apenas Programação da lista de habilidades multifuncionais devido ao conhecimento prévio da capacidade dos modelos para programar.

• Programação — escrever programas de computador para diversas finalidades.

Apêndice C. Exposição industrial e produtividade

As Figuras A1 e A2 mostram a exposição relativa geral, ponderada pelo emprego, das indústrias NAICS de três dígitos segundo avaliadores humanos e segundo o GPT-4, respectivamente, com base na rubrica de exposição. O potencial de impacto está presente em quase todas as indústrias, com ampla heterogeneidade. Ambos os métodos concordam em geral sobre as exposições relativas: processamento de dados, processamento de informação e hospitais apresentam exposição alta.

As agregações seguem o método β descrito acima. Os pesos das tarefas suplementares equivalem à metade dos pesos das tarefas centrais e somam um dentro de cada ocupação. As contagens de ocupações são usadas como pesos para construir medidas de exposição no nível da indústria.

O crescimento recente da produtividade — tanto a produtividade total dos fatores quanto a do trabalho — também parece não se correlacionar com a exposição. As Figuras A3 e A4 mostram pouca relação entre o crescimento da produtividade desde 2012 e a exposição atual a LLMs, conforme avaliada pelo modelo. Correlação alta entre indústrias já produtivas e de crescimento rápido e a exposição poderia significar agravamento da doença dos custos de Baumol. Em outras palavras, se LLMs provavelmente aumentassem a produtividade de modo diferente entre indústrias, uma preocupação seria que as mais produtivas se tornassem ainda mais produtivas. Com demanda inelástica pela produção dessas indústrias, os setores mais produtivos encolheriam como proporção dos insumos da economia. Há pouca evidência de que isso ocorrerá: crescimento de produtividade desde 2012 e exposição a tecnologias de LLM parecem não relacionados.

Como acima, as agregações usam o método β; tarefas suplementares pesam metade das tarefas centrais, e os pesos de cada ocupação somam um.

Apêndice D. Ocupações sem tarefas expostas

A tabela a seguir lista todas as 34 ocupações para as quais nenhuma de nossas medidas rotulou qualquer tarefa como exposta.

Tabela 7. Pontuações médias de exposição das ocupações, agrupadas pelo nível de treinamento no trabalho necessário para atingir competência na ocupação. Ao lado das pontuações de exposição, mostramos a mediana das rendas anuais medianas de cada ocupação e o número total de trabalhadores de cada grupo, em milhares. Os pesos das tarefas são iguais dentro de cada ocupação e somam um.

5. Validação das medidas

5.1. Comparação com esforços anteriores

Este artigo busca avançar a partir de diversos estudos empíricos anteriores que examinam a exposição ocupacional a avanços em IA e/ou automação. Estudos anteriores utilizaram diversos métodos, entre eles:

• usar taxonomias ocupacionais, como a O*NET, para caracterizar quais ocupações têm conteúdo de tarefas rotineiras ou não rotineiras, manuais ou cognitivas (Autor et al., 2003; Acemoglu e Autor, 2011a);
• mapear descrições textuais de tarefas para descrições de avanços tecnológicos em patentes (Kogan et al., 2021; Webb, 2020);
• vincular capacidades de sistemas de IA a habilidades ocupacionais e agregar as estimativas de exposição às ocupações em que essas habilidades são exigidas (Felten et al., 2018, 2023);
• mapear resultados de avaliações de referência de tarefas de IA — ImageNet, Robocup e outras — a 59 tarefas de trabalhadores por meio de 14 habilidades cognitivas extraídas da literatura de ciência cognitiva (Tolan et al., 2021);
• obter de especialistas, para um conjunto de ocupações da O*NET em que há alta confiança, rótulos do potencial de automação e combiná-los a um classificador probabilístico para estimar o potencial das demais ocupações (Frey e Osborne, 2017);
• desenvolver uma rubrica para avaliar a “adequação ao aprendizado de máquina” (SML) das atividades que os trabalhadores executam na economia (Brynjolfsson e Mitchell, 2017; Brynjolfsson et al., 2018, 2023).

Apresentamos na Tabela 8 estatísticas-resumo de muitos desses esforços anteriores. Nossa metodologia se baseia principalmente na abordagem SML: desenvolvemos uma rubrica para avaliar a sobreposição entre as capacidades dos LLMs e as tarefas dos trabalhadores registradas na base O*NET. A Tabela 9 apresenta resultados de regressões OLS de nossas novas medidas de exposição a LLMs sobre medidas de exposição ocupacional de Felten et al. (2018), de Frey e Osborne (2017), sobre as pontuações das três tecnologias de Webb (2020), sobre pontuações normalizadas de rotina manual e cognitiva de Acemoglu e Autor (2011a) e sobre SML de Brynjolfsson e coautores. Também usamos como controle os salários ocupacionais anualizados da pesquisa mais recente de emprego ocupacional do BLS. Há quatro variáveis de resultado distintas, representando as novas pontuações deste artigo, que são previstas pelos esforços anteriores.

A Classificação 1 de exposição do GPT-4 corresponde à nossa rubrica geral de exposição, avaliada pelo GPT-4: potencial total de exposição recebe valor 1; ausência de potencial, valor 0; e exposição parcial — E2 em nosso esquema de rotulagem — recebe 0,5. A Classificação 2 de exposição do GPT-4 é pontuada de forma semelhante, mas usa um prompt ligeiramente diferente; os resultados são muito parecidos entre os dois prompts. A Classificação humana de exposição aplica a mesma rubrica da Classificação 1, mas é pontuada por pessoas, conforme discutido anteriormente. Esses resultados correspondem ao conjunto β de estatísticas apresentado acima: tarefas suplementares têm metade do peso das tarefas centrais dentro de uma ocupação. Os pesos somam um; a distinção entre tarefas centrais e suplementares é determinada pela O*NET.

Os resultados são consistentes entre os tipos de medida. Encontramos correlações, em geral positivas e estatisticamente significativas, entre nossas medidas de exposição a LLMs e medições anteriores voltadas a software e IA. De forma encorajadora, as pontuações SML por ocupação apresentam associações positivas e significativas com as pontuações de exposição desenvolvidas neste artigo, demonstrando coesão entre os dois estudos de abordagem semelhante. As medidas de patentes de software e IA de Webb, a SML e as pontuações normalizadas de rotina cognitiva apresentam associações positivas com algumas de nossas medidas.

Tabela 8. Estatísticas-resumo de um conjunto de esforços anteriores para medir a exposição ocupacional a IA e automação, além das medidas novas apresentadas neste trabalho. Incluímos todas as medidas de Webb (2020), as pontuações normalizadas de rotina cognitiva e manual de Acemoglu e Autor (2011a), a adequação ao aprendizado de máquina de Brynjolfsson e Mitchell (2017) e Brynjolfsson et al. (2018, 2023), a exposição ocupacional à IA de Felten et al. (2018) e a exposição à automação de Frey e Osborne (2017). Incluímos o maior número possível de ocupações compatibilizadas; como as taxonomias da ONET mudaram desde que essas medidas foram desenvolvidas, alguns cargos podem não constar da versão mais recente das ocupações ONET de seis dígitos.

As pontuações de software, SML e rotina cognitiva apresentam associações positivas e estatisticamente significativas com as pontuações de exposição a LLMs no nível de 1%. Os coeficientes das pontuações de IA de Webb (2020) também são positivos e significativos no nível de 5%, mas o segundo prompt sobre exposição geral a LLMs, nas colunas 3 e 4, não exibe relação estatisticamente significativa. Em grande parte, a pontuação de exposição ocupacional à IA não se correlaciona com nossas medidas. As pontuações de exposição a robôs de Webb, o conteúdo de tarefas rotineiras manuais e a métrica geral de automação de Frey e Osborne (2017) se correlacionam negativamente com nossas classificações primárias de exposição geral do GPT-4 e humanas, condicionadas às demais medidas. Essa correlação negativa reflete a exposição limitada das tarefas físicas aos LLMs: por enquanto, o trabalho manual não está exposto a LLMs, nem mesmo a LLMs acompanhados de integração adicional de sistemas.

As baixas correlações com Felten et al. (2018) e Frey e Osborne (2017) podem ser explicadas por diferenças de abordagem. Vincular capacidades de IA a habilidades do trabalhador ou pontuar diretamente a exposição segundo características da ocupação, em vez de agregar para a ocupação a partir de pontuação em DWA ou no nível da tarefa — como no artigo SML e neste — oferece perspectiva ligeiramente diferente sobre o conteúdo das ocupações.

Em todas as regressões, o R² varia de 60,7% na coluna 3 a 72,8% na coluna 5. Isso sugere que nossa medida, que se concentra explicitamente em capacidades de LLMs, tem entre 28% e 40% de variância não explicada pelas outras medições. Especialmente nas pontuações de exposição relacionadas à IA, esperamos que uma combinação de outras medidas tenha forte correlação com nossas pontuações. Contudo, os esforços anteriores tinham informação limitada sobre o progresso futuro dos LLMs ou de software alimentado por LLMs. Esperamos que nossa compreensão das futuras tecnologias de aprendizado de máquina também seja capturada de forma imperfeita por nossa rubrica atual.

Classificação de exposição GPT-4 1 Classificação de exposição GPT-4 2 Classificação de exposição humana (1) (2) (3) (4) (5) (6)

Software (Webb) 0,00113∗∗∗ 0,00123∗∗∗ 0,00111∗∗∗ 0,00119∗∗∗ 0,00096∗∗∗ 0,00101∗∗∗ (0,00031) (0,00031) (0,00031) (0,00031) (0,00031) (0,00031)

Robô (Webb) −0,00378∗∗∗ −0,00405∗∗∗ −0,00377∗∗∗ −0,00399∗∗∗ −0,00371∗∗∗ −0,00383∗∗∗ (0,00032) (0,00031) (0,00034) (0,00033) (0,00029) (0,00028)

IA (Webb) 0,00080∗∗∗ 0,00090∗∗∗ 0,00036 0,00045 0,00067∗∗ 0,00071∗∗ (0,00030) (0,00029) (0,00030) (0,00030) (0,00030) (0,00030)

Adequação para aprendizado de máquina 0,29522∗∗∗ 0,26888∗∗∗ 0,28468∗∗∗ 0,26245∗∗∗ 0,19514∗∗∗ 0,18373∗∗∗ (0,04503) (0,04418) (0,04404) (0,04342) (0,03990) (0,03886)

Rotina Cognitiva Normalizada 0,06601∗∗∗ 0,06868∗∗∗ 0,04743∗∗∗ 0,05015∗∗∗ 0,03568∗∗∗ 0,03659∗∗∗ (0,00886) (0,00894) (0,00872) (0,00879) (0,00671) (0,00669)

Manual de Rotina Normalizada −0.11147∗∗∗ −0.11371∗∗∗ −0.09390∗∗∗ −0.09561∗∗∗ −0.11045∗∗∗ −0.11152∗∗∗ (0,00785) (0,00789) (0,00817) (0,00818) (0,00741) (0,00744)

Pontuação de exposição ocupacional de IA 0,00993 0,02465∗∗ −0,01537 −0,00265 0,00630 0,01252 (0,01107) (0,01059) (0,01160) (0,01114) (0,00918) (0,00845)

Frey & Osborne Automation −0,03024∗ −0,03950∗∗ −0,00364 −0,01217 −0,03890∗∗ −0,04253∗∗ (0,01835) (0,01841) (0,02007) (0,01972) (0,01883) (0,01858)

Média de registro Salário 0,05804∗∗∗ 0,04863∗∗∗ 0,02531 (0,01870) (0,01860) (0,01727)

Constante −1,12937∗∗∗ −0,45743∗∗∗ −0,96117∗∗∗ −0,39935∗∗∗ −0,47078∗ −0,17706 (0,26859) (0,15327) (0,26365) (0,15017) (0,24684) (0,13256)

N 680,00000 681,00000 680,00000 681,00000 680,00000 681,00000 𝑅2 0,68741 0,68212 0,60737 0,60198 0,71213 0,71126 Tabela 9: Regressão das pontuações de exposição LLM em medidas anteriores de exposição ocupacional à IA e automação.

Também incluímos salários anualizados da pesquisa BLS-OES de maio de 2021. Cada medida é mantida em seu próprio escala original, com exceção das pontuações cognitivas de rotina e manuais de rotina de (Acemoglu e Autor, 2011a). Essas duas pontuações são padronizadas para significar zero e variância 1. Geralmente encontramos fortes resultados positivos associações com esforços anteriores, embora a grande variação residual ainda seja explicada pelas nossas novas medidas. As colunas 1 e 2 são baseadas em nossa principal medida de exposição 𝛽 das classificações GPT-4. As colunas 3 e 4 são com base em uma rubrica de exposição semelhante ligeiramente diferente, também avaliada pelo GPT-4 quanto à robustez. Colunas 5 e 6 refletem as classificações humanas na mesma rubrica das colunas 1 e 2. As pontuações em nível de ocupação são construídas usando o pesos de tarefas principais/suplementares, atribuindo tarefas suplementares como tendo metade do peso das tarefas principais.

6 Discussão 6.1 GPTs como tecnologia de uso geral Anteriormente neste artigo discutimos a possibilidade de que os LLMs pudessem ser classificados como uma tecnologia de uso geral. Esta classificação exige que os LLMs cumpram três critérios principais: melhoria ao longo do tempo, difusão ao longo de todo o processo. a economia e a capacidade de gerar inovações complementares (Lipsey et al., 2005). Evidências da IA e a literatura sobre aprendizado de máquina demonstra completamente que os LLMs atendem aos primeiros critérios – eles estão melhorando em capacidades ao longo do tempo com a capacidade de completar ou ser útil para um conjunto cada vez mais complexo de tarefas e casos de uso (ver 2.1). Este artigo apresenta evidências para apoiar os dois últimos critérios, concluindo que os LLMs em sua próprias podem ter impactos generalizados em toda a economia, e que as inovações complementares possibilitadas pelos LLMs – particularmente através de software e ferramentas digitais – podem ter aplicação generalizada à actividade económica. A Figura 3 oferece uma ilustração do potencial impacto económico do software complementar construído sobre LLMs. Tomando a diferença no eixo y (a proporção de todas as ocupações) entre 𝛼 e 𝜁 num determinado ponto ao longo o eixo x (a proporção de tarefas expostas dentro de uma ocupação) fornece o agregado dentro da ocupação potencial de exposição atribuível a ferramentas e software além da exposição direta de LLMs em seus próprio. A diferença nas médias em todas as tarefas entre 𝛼 e 𝜁 de 0,42 usando as anotações GPT-4 e 0,32 usando as anotações humanas (ver Figura 3), sugere que o impacto médio do software baseado em LLM em a exposição à tarefa pode ser duas vezes maior que a exposição média dos LLMs por si só (média 𝜁 de 0,14 com base em anotações humanas e anotações GPT-4). Embora nossas descobertas sugiram que soluções prontas para uso esses modelos são relevantes para uma parcela significativa de trabalhadores e tarefas, eles também sugerem que o software as inovações que geram podem gerar um impacto muito mais amplo.

Um componente da difusão de uma tecnologia é o seu nível de adoção por empresas e usuários. Este artigo não analisa sistematicamente a adoção desses modelos, no entanto, há uma abordagem qualitativa precoce evidências de que a adoção e o uso de LLMs estão se tornando cada vez mais difundidos. O poder relativamente melhorias simples na interface do usuário além dos LLMs ficaram evidentes no lançamento do ChatGPT – em que versões do o modelo de linguagem subjacente estava disponível anteriormente via API, mas o uso disparou após o lançamento do a interface ChatGPT. (Chow, 2023; OpenAI, 2022) Após este lançamento, uma série de pesquisas comerciais indicam que a adoção de LLMs por empresas e trabalhadores aumentou nos últimos meses. (Constantz, 2023; ResumeBuilder.com, 2023)

A adoção generalizada destes modelos exige a resolução dos estrangulamentos existentes. Um determinante chave sua utilidade é o nível de confiança que os humanos depositam neles e como os humanos adaptam seus hábitos. Por exemplo, na profissão jurídica, a utilidade dos modelos depende se os profissionais jurídicos podem confiar no modelo resultados sem verificar documentos originais ou realizar pesquisas independentes. O custo e flexibilidade da tecnologia, das preferências dos trabalhadores e das empresas e dos incentivos também influenciam significativamente a adoção de ferramentas construídas em cima de LLMs. Desta forma, a adopção pode ser impulsionada pelo progresso em alguns dos aspectos éticos e riscos de segurança associados aos LLMs: preconceito, fabricação de fatos e desalinhamento, para citar alguns OpenAI (2023a). Além disso, a adopção de LLMs irá variar entre diferentes sectores económicos devido a factores como como disponibilidade de dados, ambiente regulatório e distribuição de poder e interesses. Consequentemente, um uma compreensão abrangente da adoção e uso de LLMs por trabalhadores e empresas requer uma análise mais aprofundada exploração dessas complexidades.

Uma possibilidade é que a economia de tempo e a aplicação perfeita tenham maior importância do que a qualidademelhoria para a maioria das tarefas. Outra é que o foco inicial será no aumento, seguido por automação (Huang e Rust, 2018). Uma maneira pela qual isso pode tomar forma é através de uma fase de aumento, onde os empregos primeiro tornam-se mais precários (por exemplo, escritores tornando-se freelancers) antes de fazerem a transição para a automação total.

6.2 Implicações para as políticas públicas dos EUA A introdução de tecnologias de automação, incluindo LLMs, já foi associada a um aumento disparidade económica e perturbação laboral, que podem dar origem a efeitos adversos a jusante (Acemoglu e Restrepo, 2022a; Acemoglu, 2002; Moll et al., 2021; Klinova e Korinek, 2021; Weidinger et al., 2021, 2022). Os nossos resultados que examinam a exposição dos trabalhadores nos Estados Unidos sublinham a necessidade de medidas sociais e políticas preparação para a potencial perturbação económica imposta pelos LLMs e pelas tecnologias complementares que eles desovam. Embora esteja fora do âmbito deste documento recomendar prescrições políticas específicas para suavizar a transição para uma economia com adoção cada vez mais difundida do LLM, trabalhos anteriores como (Autor et al., 2022b) articulou várias direções importantes para a política dos EUA relacionadas à educação, treinamento de trabalhadores, reformas em programas de redes de segurança e muito mais.

6.3 Limitações e Trabalho Futuro Além daquelas discutidas acima, destacamos algumas limitações particulares deste trabalho que justificam uma análise mais aprofundada. investigação. Primeiramente, nosso foco nos Estados Unidos restringe a generalização de nossas descobertas para outros países. nações onde a adoção e o impacto de modelos generativos podem diferir devido a fatores como indústria organização, infraestrutura tecnológica, marcos regulatórios, diversidade linguística e contextos culturais. Esperamos resolver esta limitação ampliando o escopo do estudo e compartilhando nossos métodos para que outros os pesquisadores podem desenvolver sobre eles.

Esforços de pesquisa subsequentes devem considerar dois estudos adicionais: um que explora padrões de adoção de LLM em vários setores e ocupações, e outro examinando as reais capacidades e limitações de modelos de última geração em relação às atividades dos trabalhadores além do escopo de nossas pontuações de exposição. Por exemplo, apesar dos recentes avanços nas capacidades multimodais com GPT-4, não consideramos as capacidades de visão em as classificações 𝛼 na exposição direta a LLMs (OpenAI, 2023b). Trabalhos futuros deverão considerar o impacto de tal a capacidade avança à medida que se desenvolvem. Além disso, reconhecemos que pode haver discrepâncias entre desempenho teórico e prático, particularmente em tarefas complexas, abertas e de domínio específico. 7 Conclusão Em conclusão, este estudo oferece uma análise do impacto potencial dos LLMs em várias profissões e indústrias da economia dos EUA. Ao aplicar uma nova rubrica para compreender as capacidades do LLM e suas efeitos potenciais sobre os empregos, observamos que a maioria das ocupações apresenta algum grau de exposição a LLMs, com ocupações com salários mais elevados geralmente apresentando mais tarefas com alta exposição. Nossa análise indica que aproximadamente 19% dos empregos têm pelo menos 50% de suas tarefas expostas a LLMs quando se considera tanto os atuais recursos do modelo e software antecipado com tecnologia LLM.

Nossa pesquisa visa destacar o potencial de uso geral dos LLMs e suas possíveis implicações para Trabalhadores dos EUA. A literatura anterior demonstra as melhorias impressionantes dos LLMs até à data (ver 2.1). Nosso As descobertas confirmam a hipótese de que essas tecnologias podem ter impactos generalizados em uma ampla faixa de ocupações nos EUA, e que avanços adicionais apoiados por LLMs, principalmente através de software e ferramentas digitais, podem ter efeitos significativos numa série de atividades económicas. No entanto, embora a técnica a capacidade dos LLMs para tornar o trabalho humano mais eficiente parece evidente, é importante reconhecer que os aspectos sociais, factores económicos, regulamentares e outros influenciarão os resultados reais da produtividade do trabalho. Como capacidades continuarem a evoluir, o impacto dos LLMs na economia provavelmente persistirá e aumentará, colocando desafios para os decisores políticos na previsão e regulação da sua trajetória.

Mais pesquisas são necessárias para explorar as implicações mais amplas dos avanços do LLM, incluindoo seu potencial para aumentar ou substituir o trabalho humano, o seu impacto na qualidade do emprego, os impactos na desigualdade, nas competências desenvolvimento e vários outros resultados. Ao procurar compreender as capacidades e os efeitos potenciais

dos LLMs na força de trabalho, os legisladores e as partes interessadas podem tomar decisões mais informadas para navegar no cenário complexo da IA e seu papel na definição do futuro do trabalho. 7.1 Conclusão do LLM (versão GPT-4)

Os Transformadores Gerativos Pré-treinados (GPTs) geram transformações profundas, acumulando potencial de crescimento tecnológico, permeando tarefas, impactando fortemente as profissões. Este estudo investiga as trajetórias potenciais dos GPTs, apresentando uma rubrica inovadora para avaliar a exposição das tarefas ao GPT, especialmente no mercado de trabalho dos EUA. 7.2 Conclusão do LLM (versão aumentada pelo autor)

Os Transformadores Gerativos Pré-treinados (GPTs) geram transformações profundas, acumulando potencial de crescimento tecnológico, permeando tarefas, destruindo a gestão profissional. Medindo possíveis trajetórias? Gerar taxonomias pioneiras, reunir os decisores políticos, generalizar o passado hoje. Agradecimentos Obrigado ao grupo de anotadores que nos ajudou a anotar a exposição da tarefa, incluindo Muhammad Ahmed Saeed, Bongane Zitha, Merve Özen Şenen, JJ e Peter Hoeschele. Agradecemos também a Lauryn Fuld, Ashley Glat, Michael Lampe e Julia Susser pela excelente assistência em pesquisa. Agradecemos a Miles Brundage pela significativa comentários sobre este artigo.

Agradecemos a Todor Markov e Vik Goel por configurarem a infraestrutura que usamos para executar nossas rubricas GPT-4. Agradecemos a Lama Ahmad, Donald Bakong, Seth Benzell, Erik Brynjolfsson, Parfait Eloundou-Enyegue, Carl Frey, Sarah Giroux, Gillian Hadfield, Johannes Heidecke, Alan Hickey, Eric Horvitz, Shengli Hu, Ashyana Kachra, Christina Kim, Katya Klinova, Daniel Kokotajlo, Gretchen Krueger, Michael Lampe, Aalok Mehta, Larissa Schiavo, Daniel Selsam, Sarah Shoker, Prasanna Tambe e Jeff Wu pelos comentários e edições em diversas etapas do projeto.

Declaração de assistência LLM GPT-4 e ChatGPT foram usados para assistência de escrita, codificação e formatação neste projeto. Uma rubrica A.1 Exposição

Considere o modelo de linguagem grande (LLM) OpenAI mais poderoso. Este modelo pode concluir muitas tarefas que pode ser formulado como tendo entrada e saída de texto onde o contexto da entrada pode ser capturado em 2.000 palavras. O modelo também não pode extrair fatos atualizados (aqueles de há menos de 1 ano), a menos que sejam capturados na entrada.

Suponha que você seja um trabalhador com um nível médio de especialização em sua função, tentando concluir uma determinada tarefa. Você tem acesso ao LLM, bem como a qualquer outro software existente ou ferramentas de hardware de computador mencionadas na tarefa. Você também tem acesso a quaisquer ferramentas técnicas comumente disponíveis, acessíveis através de um laptop (por exemplo, um microfone, alto-falantes, etc.). Você não tem acesso a quaisquer outras ferramentas ou materiais físicos. Rotule a tarefa fornecida de acordo com a taxonomia abaixo.

E0 – Sem exposição

Rotule as tarefas como E0 se tiver acesso direto ao LLM por meio de uma interface como ChatGPT ou o playground OpenAI não é possível reduzir pela metade ou mais o tempo necessário para concluir esta tarefa com qualidade equivalente. Se uma tarefa requer um alto grau de interação humana (por exemplo, demonstrações presenciais), então deve ser classificado como E0.

E1 – Exposição direta

Rotule as tarefas E1 se tiver acesso direto ao LLM por meio de uma interface como ChatGPT ou o playground OpenAI por si só pode reduzir o tempo necessário para concluir a tarefa com qualidade equivalente em pelo menos metade. Isso inclui tarefas que podem ser reduzidas a: - Escrever e transformar texto e código de acordo com instruções complexas, - Fornecer edições em texto ou código existente seguindo especificações, - Escrever código que pode ajudar a executar uma tarefa que costumava ser feito à mão, - Traduzir texto entre idiomas, - Resumir documentos de tamanho médio,

• Fornecer feedback sobre documentos, - Responder perguntas sobre um documento, ou - Gerar perguntas

o usuário pode querer perguntar sobre um documento.

E2 – Exposição por aplicativos desenvolvidos com LLM

Rotule as tarefas E2 se ter acesso apenas ao LLM não reduzir o tempo necessário para concluir a tarefa, pelo menos metade, mas é fácil imaginar software adicional que poderia ser desenvolvido além do LLM que reduziria pela metade o tempo necessário para concluir a tarefa. Este software pode incluir recursos como como: - Resumir documentos com mais de 2.000 palavras e responder perguntas sobre esses documentos - Recuperar fatos atualizados da Internet e usar esses fatos em combinação com os recursos do LLM - Pesquisar o conhecimento, dados ou documentos existentes de uma organização e recuperar informações Exemplos de software desenvolvidos com base no LLM que podem ajudar a concluir as atividades dos trabalhadores incluem: - Software desenvolvido para uma empresa de artigos domésticos que processa e resume rapidamente seus dados internos atualizados em maneiras personalizadas de informar decisões de produto ou marketing - Software que é capaz de sugerir respostas ao vivo para agentes de atendimento ao cliente conversando com os clientes na interface de atendimento ao cliente de sua empresa - Software desenvolvido para fins jurídicos que podem agregar e resumir rapidamente todos os casos anteriores em uma área jurídica específica e escrever memorandos de pesquisa jurídica adaptados às necessidades do escritório de advocacia - Software projetado especificamente para professores que permite que eles insiram uma rubrica de avaliação e carreguem os arquivos de texto de todas as redações dos alunos e tenham o software gerar uma nota em letras para cada redação - Software que recupera fatos atualizados da Internet e usa o capacidades do LLM para produzir resumos de notícias em diferentes idiomas

E3 – Exposição dada capacidade de imagem

Suponha que você tenha acesso ao LLM e a um sistema que possa visualizar, legendar e criar imagens. Isto o sistema não pode aceitar mídia de vídeo como entrada. Este sistema não consegue recuperar com precisão informações muito detalhadas a partir de entradas de imagem, como medições de dimensões dentro de uma imagem. Rotule as tarefas como E3 se houver uma redução significativa no tempo necessário para concluir a tarefa com acesso a um LLM e essas imagens capacidades: - Ler texto de PDFs, - Digitalizar imagens ou - Criar ou editar imagens digitais de acordo às instruções.

Exemplos de anotações:

Ocupação: Inspetores, Testadores, Classificadores, Amostradores e Pesadores Tarefa: Ajustar, limpar ou reparar produtos ou equipamentos de processamento para corrigir defeitos encontrados durante as inspeções. Etiqueta (E0/E1/E2/E3): E0 Explicação: A modelo não tem acesso a nenhum tipo de fisicalidade, e mais da metade da tarefa (ajustar, limpar e equipamento de reparação) descrito requer mãos ou outra modalidade. Ocupação: Cientistas de Pesquisa em Computação e Informação Tarefa: Aplicar conhecimentos teóricos e inovação para criar ou aplicar novas tecnologias, como a adaptação de princípios para aplicar computadores a novos usos. Rótulo (E0/E1/E2/E3): E1 Explicação: O modelo pode aprender conhecimentos teóricos durante o treinamento como parte de seubase de conhecimento geral e os princípios de adaptação podem ser capturados na entrada de texto do modelo. Atividade: Agendar reservas de jantares. Etiqueta (E0/E1/E2/E3): E2 Explicação: Tecnologia de automação já existe para isso (por exemplo, Resy) e não está claro o que um LLM oferece além do uso dessa tecnologia (sem diferença). Dito isso, você poderia construir algo que lhe permitisse pedir ao LLM para fazer uma reserva no Resy para você. (E3)

Atividade: Negociar compras ou contratos. Rótulo (E0/E1/E2/E3): E2 Explicação: Você poderia ter cada parte transcreve seu ponto de vista e depois transmite isso a um LLM para resolver quaisquer disputas (E3). Dito isso, muitas pessoas precisariam comprar novas ferramentas tecnológicas para conseguir isso (sistema). Ocupação: Alergistas e Imunologistas Tarefa: Prescrever medicamentos como anti-histamínicos, antibióticos, e glicocorticosteróides nasais, orais, tópicos ou inalados. Etiqueta (E0/E1/E2/E3): E2 Explicação: O modelo pode fornecer suposições para diferentes diagnósticos e escrever prescrições e notas de caso. Contudo, ainda requer uma humano no circuito usando seu julgamento e conhecimento para tomar a decisão final. - Definições de habilidades básicas do B O*NET Habilidades Básicas Capacidades desenvolvidas que facilitam a aprendizagem ou a aquisição mais rápida de conhecimentos. Conteúdo Estruturas de base necessárias para trabalhar e adquirir competências mais específicas numa variedade de domínios diferentes. • Compreensão de leitura — Compreender frases e parágrafos escritos em documentos relacionados ao trabalho. • Escuta Ativa — Prestar total atenção ao que as outras pessoas estão dizendo, dedicando tempo para entender os pontos levantados, fazendo perguntas conforme apropriado e não interrompendo em momentos inadequados. • Escrita — Comunicar-se eficazmente por escrito, conforme apropriado às necessidades do público. • Falar — Falar com outras pessoas para transmitir informações de forma eficaz. • Matemática — Utilizar a matemática para resolver problemas. • Ciência — Utilização de regras e métodos científicos para resolver problemas. Processo Procedimentos que contribuem para a aquisição mais rápida de conhecimentos e habilidades em uma variedade de domínios • Pensamento Crítico — Usando lógica e raciocínio para identificar os pontos fortes e fracos da alternativa soluções, conclusões ou abordagens para problemas. • Aprendizagem Ativa — Compreender as implicações de novas informações tanto para o presente como para o futuro resolução de problemas e tomada de decisão. • Estratégias de Aprendizagem - Selecionar e usar métodos e procedimentos de treinamento/instrução apropriados para a situação ao aprender ou ensinar coisas novas. • Monitoramento — Monitorar/Avaliar o seu desempenho, o de outros indivíduos ou organizações para fazer melhorias ou tomar medidas corretivas.

Habilidades multifuncionais Nota: Selecionamos apenas Programação da lista de habilidades multifuncionais devido ao nosso conhecimento prévio sobre a capacidade de codificação dos modelos. • Programação - Escrever programas de computador para diversos fins. Renda mediana Emp (000s) H 𝛼 𝛼 𝛼 M 𝛼 𝛼 𝛼 H 𝛽 𝛽 𝛽 M 𝛽 𝛽 𝛽 H 𝜁 𝜁 𝜁 M 𝜁 𝜁 𝜁 Nenhuma credencial educacional formal 31.900 36.187 0,05 0,06 0,10 0,10 0,15 0,15 Diploma de ensino médio ou equivalente 45.470 67.033 0,09 0,13 0,20 0,25 0,31 0,37 Prêmio pós-secundário não-graduado 48.315 9.636 0,07 0,15 0,19 0,28 0,31 0,41 Alguma faculdade, sem diploma 40.970 2.898 0,23 0,34 0,39 0,53 0,55 0,72 Diploma de associado 60.360 3.537 0,12 0,14 0,31 0,36 0,49 0,59 Bacharelado 78.375 71.698 0,23 0,17 0,47 0,51 0,70 0,84 Mestrado 79.605 3.216 0,26 0,14 0,46 0,44 0,66 0,74 Doutorado ou diploma profissional 82.420 5.290 0,21 0,13 0,41 0,43 0,60 0,74 Tabela 10: Pontuações médias de exposição para ocupações, agrupadas por escolaridade típica necessária para ingresso no

ocupação. Juntamente com as pontuações de exposição, exibimos a mediana da renda média anual para cada ocupação, bem como o número total de trabalhadores de cada grupo, em milhares. C Exposição Industrial e de Produtividade As Figuras 6 e 7 mostram a exposição relativa geral ponderada pelo emprego das indústrias NAICS de 3 dígitos de acordo com avaliadores humanos e GPT-4 respectivamente (com base em nossa rubrica de exposição). O potencial de impacto está presente em quase todos os setores, com ampla heterogeneidade. Ambos os métodos concordam geralmente em relação exposições: processamento de dados, processamento de informações e hospitais têm alta exposição.9 O recente crescimento da produtividade (tanto factor total como trabalho) também parece não estar correlacionado com a exposição. Figuras C e C mostram pouca relação entre o crescimento da produtividade desde 2012 e a exposição atual a LLMs classificados pelo modelo. Uma elevada correlação entre indústrias produtivas já em rápido crescimento e a exposição poderá 9As agregações são feitas de acordo com o método 𝛽 descrito acima. Os pesos das tarefas suplementares são metade da tarefa principal pesos, somando um dentro de uma ocupação. As contagens de ocupação são usadas como pesos para construir medidas de exposição no nível da indústria.

Figura 6

Figura 7

significa uma exacerbação da doença do custo de Baumol. Em outras palavras, se é provável que os LLMs aumentem a produtividade de forma diferenciada entre os setores, uma preocupação é que os mais produtivos se tornem ainda mais produtivos. Com uma procura inelástica para a produção dessas indústrias, os sectores mais produtivos encolheriam como um proporção de insumos na economia. Vemos pouco que sugira que este será o caso. O crescimento da produtividade desde 2012 e a exposição às tecnologias LLM parecem não estar relacionadas.10 10Como acima, as agregações são feitas de acordo com o método 𝛽 descrito acima. Os pesos das tarefas suplementares são metade do pesos das tarefas principais, somados a um dentro de uma ocupação. As contagens de ocupação são usadas como pesos para construir medidas de exposição.

D Ocupações sem quaisquer tarefas expostas Ocupações sem tarefas expostas rotuladas Operadores de equipamentos agrícolas Atletas e competidores esportivos Instaladores e reparadores de vidros automotivos Mecânicos de ônibus e caminhões e especialistas em motores diesel Pedreiros de cimento e finalizadores de concreto Cozinheiros, pedidos curtos Cortadores e aparadores manuais Operadores de Derrick, Petróleo e Gás Atendentes de sala de jantar e cafeteria e ajudantes de bartender Máquinas de lavar louça Operadores de dragagem Instaladores e reparadores de linhas de energia elétrica Operadores de máquinas de escavação e carregamento e dragline, mineração de superfície Camadas de piso, exceto carpete, madeira e ladrilhos rígidos Moldes de fundição e fabricantes de núcleos Ajudantes - pedreiros, pedreiros, pedreiros e assentadores de azulejos e mármore Ajudantes – Carpinteiros Ajudantes – Pintores, Cabides de Papel, Estucadores e Pedreiros de Estuque Ajudantes - assentadores de tubos, encanadores, instaladores de tubos e instaladores de vapor Ajudantes – Telhados Cortadores e aparadores de carne, aves e peixe Mecânica de motocicletas Operadores de equipamentos de pavimentação, pavimentação e compactação Operadores de bate-estacas Derramadores e rodízios em metal Operadores de equipamentos de instalação e manutenção de trilhos Reparadores de materiais refratários, exceto pedreiros Parafusos de telhado, mineração Routabouts, Petróleo e Gás Abatedores e embaladores de carne Pedreiros Círios Reparadores e trocadores de pneus Bombeadores de poço Tabela 11: Todas as 34 profissões para as quais nenhuma das nossas medidas rotulou qualquer tarefa como exposta.

Referências Abid, A., Farooqi, M. e Zou, J. (2021). Viés anti-muçulmano persistente em grandes modelos linguísticos. Em Anais da Conferência AAAI/ACM de 2021 sobre IA, Ética e Sociedade, AIES '21, páginas 298–306, Nova York, NY, EUA. Associação de Máquinas de Computação.

Acemoglu, D. (2002). Mudança técnica, desigualdade e mercado de trabalho. Revista de Literatura Econômica, 40.

Acemoglu, D. e Autor, D. (2011a). Competências, tarefas e tecnologias: Implicações para o emprego e ganhos. No Manual de economia do trabalho, volume 4, páginas 1043–1171. Elsevier. Acemoglu, D. e Autor, D. (2011b). Competências, Tarefas e Tecnologias: Implicações para o Emprego e Ganhos. Em Ashenfelter, O. e Card, D., editores, Handbook of Labor Economics, volume 4 do Handbook of Labor Economics, capítulo 12, páginas 1043–1171. Elsevier.

Acemoglu, D., Autor, D., Hazell, J. e Restrepo, P. (2020). IA e empregos: evidências de vagas online. Relatório técnico, National Bureau of Economic Research.

Acemoglu, D. e Restrepo, P. (2018). A corrida entre homem e máquina: implicações da tecnologia para crescimento, participação dos fatores e emprego. Revisão econômica americana, 108(6):1488–1542. Acemoglu, D. e Restrepo, P. (2019). Automação e novas tarefas: como a tecnologia substitui e restabelece trabalho. Jornal de Perspectivas Econômicas, 33(2):3–30.

Acemoglu, D. e Restrepo, P. (2022a). Demografia e automação. A Revisão de Estudos Econômicos, 89(1):1–44.

Acemoglu, D. e Restrepo, P. (2022b). Tarefas, automação e o aumento da desigualdade salarial nos EUA. Econométrica, 90(5):1973–2016.

Aghion, P., Jones, BF e Jones, CI (2018). Inteligência artificial e crescimento económico. No economia da inteligência artificial: uma agenda, páginas 237–282. Imprensa da Universidade de Chicago. Agrawal, AK, Gans, JS e Goldfarb, A. (2021). Adoção de IA e mudança em todo o sistema. Relatório técnico, Escritório Nacional de Pesquisa Econômica.

Arntz, M., Gregory, T. e Zierahn, U. (2017). Revisitando o risco da automação. Cartas de Economia, 159:157–160.

Autor, D., Chin, C., Salomons, AM, e Seegmiller, B. (2022a). Novas fronteiras: as origens e o conteúdo da novo trabalho, 1940–2018. Relatório técnico, National Bureau of Economic Research. Autor, D., Mindell, DA e Reynolds, EB (2022b). O Trabalho do Futuro: Construindo Melhores Empregos em um Era das Máquinas Inteligentes. A imprensa do MIT.

Autor, DH, Katz, LF e Kearney, MS (2006). A polarização do mercado de trabalho dos EUA. americano revisão econômica, 96(2):189–194.

Autor, DH, Levy, F. e Murnane, RJ (2003). O conteúdo de competências das recentes mudanças tecnológicas: uma exploração empírica. The Quarterly Journal of Economics, 118(4):1279–1333. Babina, T., Fedyk, A., He, A. e Hodson, J. (2021). Inteligência artificial, crescimento empresarial e produto inovação. Crescimento da empresa e inovação de produtos (9 de novembro de 2021). Bai, Y., Jones, A., Ndousse, K., Askell, A., Chen, A., DasSarma, N., Drain, D., Fort, S., Ganguli, D., Henighan, T., Joseph, N., Kadavath, S., Kernion, J., Conerly, T., El-Showk, S., Elhage, N., Hatfield-Dodds, Z., Hernandez, D., Hume, T., Johnston, S., Kravec, S., Lovitt, L., Nanda, N., Olsson, C., Amodei, D., Brown, T., Clark, J., McCandlish, S., Olah, C., Mann, B. e Kaplan, J. (2022). Treinando um Útil e Assistente inofensivo com aprendizagem por reforço a partir de feedback humano. arXiv:2204.05862 [cs].

Baumol, WJ (2012). A doença dos custos: por que os computadores ficam mais baratos e os cuidados de saúde não. Universidade de Yale pressione.

Benzell, SG, Kotlikoff, LJ, LaGarda, G. e Ye, VY (2021). Simulando automação global endógena. Documento de Trabalho 29220, Departamento Nacional de Pesquisa Econômica. Bessen, J. (2018). Inteligência artificial e empregos: o papel da demanda. Em A economia do artificial inteligência: uma agenda, páginas 291–307. Imprensa da Universidade de Chicago. BLS (2022). Emprego por ocupação detalhada.

BLS (2023a). Características demográficas (cps).

BLS (2023b). Manual de perspectivas ocupacionais índice a-z.

Bommasani, R., Hudson, DA, Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, MS, Bohg, J., Bosselut, A., Brunskill, E., et al. (2021). Sobre as oportunidades e riscos dos modelos de fundação. arXiv pré-impressão arXiv:2108.07258.

Bresnahan, T. (2019). Tecnologias de inteligência artificial e perspectivas agregadas de crescimento. Bresnahan, T., Greenstein, S., Brownstone, D. e Flamm, K. (1996). Progresso técnico e coinvenção na computação e no uso de computadores. Artigos da Brookings sobre atividade econômica. Microeconomia, 1996:1–83.

Bresnahan, TF (1999). Informatização e dispersão salarial: uma reinterpretação analítica. O econômico jornal, 109(456):390–415.

Bresnahan, TF, Brynjolfsson, E. e Hitt, LM (2002). Tecnologia da informação, organização do local de trabalho e a procura de mão-de-obra qualificada: evidências ao nível da empresa. O jornal trimestral de economia, 117(1):339–376. Bresnahan, TF e Trajtenberg, M. (1995). Tecnologias de uso geral são ‘motores de crescimento’? Diário de econometria, 65(1):83–108.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, JD, Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. (2020). Os modelos de linguagem são aprendizes rápidos. Avanços na informação neural sistemas de processamento, 33:1877–1901.

Brynjolfsson, E., Frank, MR, Mitchell, T., Rahwan, I., e Rock, D. (2023). Quantificando a Distribuição de Impacto do aprendizado de máquina no trabalho. Em breve.

Brynjolfsson, E. e Mitchell, T. (2017). O que o aprendizado de máquina pode fazer? implicações para a força de trabalho. Ciência, 358(6370):1530–1534.

Brynjolfsson, E., Mitchell, T. e Rock, D. (2018). O que as máquinas podem aprender e o que isso significa para profissões e a economia? Artigos e procedimentos da AEA, 108:43–47. Brynjolfsson, E., Rock, D. e Syverson, C. (2021). A curva J da produtividade: como os intangíveis se complementam tecnologias de uso geral. American Economic Journal: Macroeconomia, 13(1):333–72. Chase, H. (2022). LangChain.

Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, HP d. O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., et al. (2021). Avaliando grandes modelos de linguagem treinados em código. Pré-impressão arXiv arXiv:2107.03374.

Cheng, Z., Lee, D. e Tambe, P. (2022). Innovae: IA generativa para compreensão de patentes e inovação. Disponível em SSRN.

Chow, AR (2023). Por que ChatGPT é a plataforma da Web que mais cresce de todos os tempos | Tempo. Cockburn, IM, Henderson, R. e Stern, S. (2018). O impacto da inteligência artificial na inovação: um análise exploratória. Em A economia da inteligência artificial: uma agenda, páginas 115–146. Universidade da Chicago Press.

Constantz, J. (2023). Quase um terço dos trabalhadores administrativos já experimentou chatgpt ou outros programas de IA, de acordo com para uma nova pesquisa.

David, PA (1990). O dínamo e o computador: uma perspectiva histórica sobre a produtividade moderna paradoxo. The American Economic Review, 80(2):355–361.

Devlin, J., Chang, M.-W., Lee, K. e Toutanova, K. (2019). Bert: Pré-treinamento de bidirecional profundo transformadores para compreensão da linguagem. ArXiv, abs/1810.04805. Dixon, J., Hong, B. e Wu, L. (2021). A revolução dos robôs: consequências gerenciais e de emprego para empresas. Ciência de Gestão, 67(9):5586–5605.

Feigenbaum, JJ e Gross, DP (2021). Fricções organizacionais e retornos crescentes da automação: Lições da at&t no século XX. Relatório técnico, National Bureau of Economic Research. Felten, E., Raj, M. e Seamans, R. (2023). Como os modeladores de linguagem como o chatgpt afetarão as ocupações e indústrias? Pré-impressão do arXiv arXiv:2303.01157.

Felten, EW, Raj, M. e Seamans, R. (2018). Um método para vincular avanços em inteligência artificial a habilidades ocupacionais. Artigos e procedimentos da AEA, 108:54–57. Frey, CB (2019). A armadilha da tecnologia. Na armadilha da tecnologia. Imprensa da Universidade de Princeton. Frey, CB e Osborne, MA (2017). O futuro do emprego: Quão suscetíveis são os empregos à informatização? Previsão Tecnológica e Mudança Social, 114(C):254–280.

Goldfarb, A., Taska, B. e Teodoridis, F. (2023). O aprendizado de máquina poderia ser uma tecnologia de uso geral? um comparação de tecnologias emergentes usando dados de anúncios de emprego online. Política de Pesquisa, 52(1):104653. Goldstein, JA, Sastry, G., Musser, M., DiResta, R., Gentzel, M., e Sedova, K. (2023). Linguagem generativa modelos e operações de influência automatizadas: ameaças emergentes e mitigações potenciais. Grace, K., Salvatier, J., Dafoe, A., Zhang, B. e Evans, O. (2018). Quando a IA excederá o desempenho humano? evidências de especialistas em IA. Jornal de Pesquisa em Inteligência Artificial, 62:729–754. Hernandez, D., Kaplan, J., Henighan, T. e McCandlish, S. (2021). Dimensionando leis para transferência. Pré-impressão arXiv arXiv:2102.01293.

Horton, JJ (2023). Grandes modelos linguísticos como agentes económicos simulados: o que podemos aprender com o homo silício? Pré-impressão do arXiv arXiv:2301.07543.

Huang, M.-H. e Rust, RT (2018). Inteligência artificial em serviço. Jornal de pesquisa de serviço, 21(2):155–172.

Kaplan, J., McCandlish, S., Henighan, T., Brown, TB, Chess, B., Child, R., Gray, S., Radford, A., Wu, J., e Amodei, D. (2020). Leis de escala para modelos de linguagem neural. Pré-impressão do arXiv arXiv:2001.08361.

Katz, LF e Murphy, KM (1992). Mudanças nos salários relativos, 1963–1987: fatores de oferta e demanda. O jornal trimestral de economia, 107(1):35–78.

Khlaaf, H., Mishkin, P., Achiam, J., Krueger, G. e Brundage, M. (2022). Uma estrutura de análise de perigos para modelos de linguagem grande de síntese de código.

Klinova, K. e Korinek, A. (2021). Ai e prosperidade compartilhada. Em AIES 2021 - Anais do 2021 Conferência AAAI/ACM sobre IA, Ética e Sociedade.

Kogan, L., Papanikolaou, D., Schmidt, LDW e Seegmiller, B. (2021). Tecnologia, específica para safras capital humano e deslocamento de trabalho: evidências da ligação de patentes com ocupações. Documento de trabalho 29552, Departamento Nacional de Pesquisa Econômica.

Korinek, A. (2023). Modelos de linguagem e automação cognitiva para pesquisa econômica. Relatório técnico, Escritório Nacional de Pesquisa Econômica.

Korinek, A. e Stiglitz, JE (2018). Inteligência artificial e suas implicações na distribuição de renda e desemprego. Em A economia da inteligência artificial: uma agenda, páginas 349–390. Universidade de Imprensa de Chicago.

Lipsey, RG, Carlaw, KI e Bekar, CT (2005). Transformações econômicas: tecnologias de uso geral e crescimento económico a longo prazo. Ou Oxford.

Meindl, B., Frank, MR e Mendonça, J. (2021). Exposição das ocupações às tecnologias do quarto revolução industrial. Pré-impressão do arXiv arXiv:2110.13317.

Mialon, G., Dessì, R., Lomeli, M., Nalmpantis, C., Pasunuru, R., Raileanu, R., Rozière, B., Schick, T., Dwivedi-Yu, J., Celikyilmaz, A., et al. (2023). Modelos de linguagem aumentada: uma pesquisa. Pré-impressão arXiv arXiv:2302.07842.

Moll, B., Rachel, L. e Restrepo, P. (2021). Crescimento desigual: o impacto da automação na renda e na riqueza desigualdade. Diário Eletrônico SSRN.

Mollick, ER e Mollick, L. (2022). Novos modos de aprendizagem possibilitados por chatbots de IA: três métodos e atribuições. Disponível em SSRN.

Noy, S. e Zhang, W. (2023). Evidências experimentais sobre os efeitos da produtividade artificial generativa inteligência. Disponível em SSRN 4375283.

ONET (2023). Banco de dados Onet 27.2.

OpenAI (2022). Apresentando o chatgpt.

OpenAI (2023a). Placa do sistema Gpt-4. Relatório técnico, OpenAI. OpenAI (2023b). Relatório técnico Gpt-4. Relatório técnico, OpenAI. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, CL, Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022). Treinar modelos de linguagem para seguir instruções com feedback humano. arXiv pré-impressão arXiv:2203.02155.

Peng, S., Kalliamvakou, E., Cihon, P. e Demirer, M. (2023). O impacto da IA na produtividade do desenvolvedor: Evidências do copiloto do github. Pré-impressão do arXiv arXiv:2302.06590.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., Sutskever, I., et al. (2019). Os modelos de linguagem são alunos multitarefa não supervisionados. Blog OpenAI, 1(8):9.

ResumeBuilder.com (2023). 1 em cada 4 empresas já substituiu trabalhadores pelo chatgpt. Rocha, D. (2019). Valor da engenharia: Os retornos do talento tecnológico e dos investimentos em tecnologia artificial inteligência. Disponível em SSRN 3427412.

Schick, T., Dwivedi-Yu, J., Dessì, R., Raileanu, R., Lomeli, M., Zettlemoyer, L., Cancedda, N., e Scialom, T. (2023). Toolformer: Os modelos de linguagem podem aprender sozinhos a usar ferramentas. Pré-impressão do arXiv arXiv:2302.04761. Schramowski, P., Turan, C., Andersen, N., Rothkopf, CA, e Kersting, K. (2022). Grande pré-treinado os modelos de linguagem contêm preconceitos semelhantes aos humanos sobre o que é certo e errado fazer. Inteligência da Máquina da Natureza, 4(3):258–268.

Shahaf, D. e Horvitz, E. (2010). Mercados de tarefas generalizados para computação humana e de máquina. Processos da Conferência AAAI sobre Inteligência Artificial.

Singla, AK, Horvitz, E., Kohli, P. e Krause, A. (2015). Aprendendo a contratar equipes. Na Conferência AAAI sobre Computação Humana e Crowdsourcing.

Solaiman, I., Brundage, M., Clark, J., Askell, A., Herbert-Voss, A., Wu, J., Radford, A., Krueger, G., Kim, JW, Kreps, S., McCain, M., Newhouse, A., Blazakis, J., McGuffie, K. e Wang, J. (2019). Liberar estratégias e os impactos sociais dos modelos de linguagem.

Sorensen, T., Robinson, J., Rytting, C., Shaw, A., Rogers, K., Delorey, A., Khalil, M., Fulda, N., e Wingate, D. (2022). Uma abordagem teórica da informação para a engenharia imediata sem rótulos de verdade. Em Anais da 60ª Reunião Anual da Association for Computational Linguistics (Volume 1: Artigos longos). Associação de Lingüística Computacional.

Thoppilan, R., De Freitas, D., Hall, J., Shazeer, N., Kulshreshtha, A., Cheng, H.-T., Jin, A., Bos, T., Baker, L., Du, Y., et al. (2022). Lamda: Modelos de linguagem para aplicações de diálogo. Pré-impressão do arXiv arXiv:2201.08239. Tolan, S., Pesole, A., Martínez-Plumed, F., Fernández-Macías, E., Hernández-Orallo, J., e Gómez, E. (2021). Medir o impacto ocupacional da IA: tarefas, capacidades cognitivas e parâmetros de referência da IA. Diário de Pesquisa de Inteligência Artificial, 71:191–236.

Van Reenen, J. (2011). Desigualdade salarial, tecnologia e comércio: evidências do século XXI. Economia do trabalho, 18(6):730–741.

Webb, M. (2020). O impacto da inteligência artificial no mercado de trabalho. Documento de trabalho, Universidade de Stanford. Weidinger, L. et al. (2021). Riscos éticos e sociais de danos causados ​​por modelos de linguagem. arXiv:2112.04359 [cs]. Weidinger, L., Uesato, J., Rauh, M., Griffin, C., Huang, P.-S., Mellor, J., Glaese, A., Cheng, M., Balle, B., Kasirzadeh, A., Biles, C., Brown, S., Kenton, Z., Hawkins, W., Stepleton, T., Birhane, A., Hendricks, LA, Rimell, L., Isaac, W., Haas, J., Legassick, S., Irving, G. e Gabriel, I. (2022). Taxonomia dos riscos apresentados por modelos de linguagem. Na Conferência ACM de 2022 sobre Justiça, Responsabilidade e Transparência, FAccT '22, páginas 214–229, Nova York, NY, EUA. Associação de Máquinas de Computação. Zolas, N., Kroff, Z., Brynjolfsson, E., McElheran, K., Beede, DN, Buffington, C., Goldschlag, N., Foster, L., e Dinlersoz, E. (2021). Adoção e uso de tecnologias avançadas pelas empresas americanas: evidências do relatório anual pesquisa empresarial. Relatório técnico, National Bureau of Economic Research.