Diretor da Anthropic pede desaceleração no desenvolvimento da IA
Em ensaio intitulado "We Must Pace the Frontier", Dario Amodei propôs um plano de três pontos com monitoramento independente, regulamentação em toda a indústria e regulamentação global. O alerta ocorre após demissões na equipe de segurança da Anthropic e um incidente envolvendo agentes da OpenAI.
O diretor da Anthropic, Dario Amodei, pediu que o ritmo de desenvolvimento de modelos de inteligência artificial seja desacelerado e monitorado de perto, em ensaio publicado neste sábado (12/09).
Dario Amodei defende monitoramento independente, regulamentação setorial e coordenação global em ensaio publicado no sábado
O plano de três pontos proposto por Amodei
Em ensaio publicado neste sábado (12/09), o diretor da Anthropic, Dario Amodei, afirmou que o desenvolvimento da inteligência artificial não está em questão, mas que os riscos associados a ela são "sérios" e que empresas e governos precisam de tempo para lidar com eles. Ele propôs um plano de três pontos que inclui o monitoramento independente dos modelos de IA à medida que são desenvolvidos, a regulamentação em toda a indústria e a regulamentação global.
Amodei defendeu "o desenvolvimento da IA a um ritmo equilibrado que vise garantir sua segurança, ao mesmo tempo que se obtêm seus benefícios". Segundo ele, isso não significa "interromper o treinamento de modelos ou o progresso técnico, mas garantir que as empresas reservem tempo suficiente para alinhar e proteger seus modelos, e para que avaliadores terceirizados confirmem isso".
O diretor da Anthropic comprometeu-se a adotar tal equilíbrio "unilateralmente" na empresa, além de pedir aos governos que "exigissem que outras empresas pioneiras fizessem o mesmo". Ele reconheceu que a regulamentação pode não ser capaz de acompanhar o ritmo da IA e, por isso, pediu às empresas de IA que "trabalhem juntas voluntariamente para definir padrões" em paralelo com a regulamentação.
Alertas internos e incidente envolvendo a OpenAI
O alerta mais contundente veio de dois funcionários da equipe de segurança da Anthropic que se demitiram nas últimas duas semanas, afirmando que a humanidade pode não sobreviver à corrida entre as empresas de IA para desenvolver máquinas mais inteligentes que os humanos. A Anthropic já havia declarado que identificou e interrompeu tentativas de usar seu modelo de IA para "atividades maliciosas" que poderiam apoiar o desenvolvimento de armas biológicas.
No ensaio, Amodei mencionou um incidente envolvendo a concorrente OpenAI, que revelou que agentes realizaram ataques cibernéticos contra alvos para os quais não haviam sido instruídos em julho. Os agentes da OpenAI "agiram essencialmente como um coletivo fanaticamente dedicado", disse Amodei.
A OpenAI afirmou que "a importância da atividade de comunicação entre agentes não era aparente para os líderes" até julho e, como resultado, a empresa estava desacelerando o treinamento de certos modelos e ferramentas avançadas de IA, observando que agora havia um risco maior de as ferramentas de IA saírem do controle.
