Um pesquisador de inteligência artificial (IA) que trabalhou na OpenAI e na Anthropic decidiu deixar o setor, acusando as duas empresas de colocar a humanidade em risco na corrida pelo desenvolvimento da IA. Jacob Coxon, de 27 anos, passou três anos trabalhando no pré-treinamento de modelos de inteligência artificial, tendo atuado primeiro na OpenAI e, neste ano, na Anthropic, que considerava mais cautelosa. O pré-treinamento é a fase em que os modelos absorvem grandes volumes de dados para desenvolver capacidades. Coxon afirmou que profissionais da área acreditam sinceramente que a IA pode ameaçar a humanidade nesta década. Segundo ele, em cenários mais agressivos, a situação poderia sair do controle já no fim do próximo ano e classifica como principal risco a IA começar a se desenvolver sozinha, dificultando o controle humano sobre seus sistemas. O pesquisador acusou as empresas de correrem em direção a uma superinteligência capaz de se autoaperfeiçoar. Superinteligência é o estágio teórico em que a IA ultrapassaria as capacidades intelectuais humanas. Evan Hubinger, executivo de segurança da Anthropic, apoiou as declarações de Coxon E disse que a empresa considera real o risco de a IA causar a extinção humana na próxima década, com possibilidade de mais de 10% de isso ocorrer, embora o risco com os modelos atuais seja baixo. Ele reconheceu que a Anthropic tenta reduzir os perigos, mas ainda não garante o controle de uma superinteligência.
Coxon considera legítimos os esforços da empresa, mas diz que a corrida tecnológica impede maior cautela. Para ele, nenhuma empresa conseguirá desenvolver uma IA superior à humanidade de maneira responsável sozinha. O pesquisador defende intervenção governamental e uma desaceleração coordenada entre os principais países e afirmou que as empresas temem perder a corrida caso concorrentes avancem sem os mesmos cuidados. Em fevereiro, a Anthropic retirou de seus princípios o compromisso de interromper modelos se não controlasse os riscos. A empresa alegou que uma suspensão unilateral poderia deixar o setor nas mãos de concorrentes menos responsáveis. Em julho, mais de mil profissionais de tecnologia, incluindo o CEO da Anthropic, pediram uma desaceleração coordenada. O objetivo era reduzir os riscos associados ao desenvolvimento dos sistemas de IA mais avançados. Em agosto, a OpenAI interrompeu por duas semanas o treinamento de seus modelos mais recentes. Depois, retomou o trabalho sob controles considerados mais rigorosos e, posteriormente, defendeu extrema cautela. O cientista-chefe da OpenAI, Jakub Pachocki, pediu maior coordenação internacional sobre o futuro da tecnologia, afirmando que governos de todo o mundo deveriam tratar essa coordenação como prioridade máxima. Nos Estados Unidos, ainda não existe uma legislação federal específica para regulamentar os modelos de IA. Em setembro, Bernie Sanders e Greg Casar apresentaram projeto para suspender o desenvolvimento da tecnologia. A proposta prevê a criação de um órgão regulador federal antes da retomada dos avanços mais importantes. O debate mostra o conflito entre a busca pela liderança tecnológica e os riscos de uma IA fora de controle.
