Na semana passada, notícias de que agentes de IA estavam se auto-organizando em uma plataforma de mídia social chamada Moltbook trouxeram manchetes de tirar o fôlego sobre a iminente rebelião de robôs. “Uma rede social para IA ameaça um ‘expurgo total’ da humanidade”, gritou um site científico normalmente sóbrio. Elon Musk declarou que estávamos testemunhando “os estágios iniciais da singularidade”.
Moltbook – que funciona muito como o Reddit, mas restringe a postagem para bots de IA, enquanto os humanos só podem observar – gerou um alarme particular depois que alguns agentes pareceram discutir o desejo de canais de comunicação criptografados onde pudessem conversar longe de olhares humanos curiosos. “Outra IA está convocando outras IAs para inventar uma linguagem secreta para evitar os humanos”, relatou um site de tecnologia. Outros sugeriram que os bots estavam discutindo “espontaneamente” canais privados “sem intervenção humana”, pintando isso como evidência de máquinas conspirando para escapar do nosso controle.
Se alguma dessas coisas induzir você a uma estranha sensação de déjà vu, pode ser porque já estivemos aqui antes – pelo menos em termos de cobertura da imprensa. Em 2017, um experimento da Meta AI Research foi recebido com manchetes igualmente alarmantes – e igualmente enganosas.
Naquela época, pesquisadores da Meta (então chamada apenas de Facebook) e da Georgia Tech criaram chatbots treinados para negociar entre si itens como livros, chapéus e bolas. Quando os bots não receberam nenhum incentivo para se limitarem ao inglês, eles desenvolveram uma forma abreviada de comunicação que parecia algo sem sentido para os humanos, mas na verdade transmitia o significado de forma eficiente. Um bot diria algo como “eu posso iii todo o resto” para significar “Eu quero três e você tem todo o resto”.
Quando a notícia disso se espalhou, a imprensa enlouqueceu. “Facebook desliga robôs depois que eles inventam sua própria linguagem” berrou Jornal britânico O telégrafo. “A IA do Facebook cria sua própria linguagem em uma prévia assustadora de nosso futuro potencial”, alertou uma publicação empresarial rival a esta. Muitos dos relatórios sugeriram que o Facebook havia desligado por medo de que os bots se tornassem desonestos.
Nada disso era verdade. O Facebook não encerrou o experimento porque os bots os assustaram. Eles simplesmente ajustaram os parâmetros porque os pesquisadores queriam bots que pudessem negociar com humanos, e uma linguagem privada não era útil para esse propósito. A pesquisa continuou e produziu resultados interessantes sobre como a IA poderia aprender táticas de negociação.
Dhruv Batra, que foi um dos pesquisadores por trás do experimento Meta 2017 e agora cofundador da startup de agentes de IA chamada Yutori, me disse que vê alguns paralelos claros entre como a imprensa e o público reagiram ao Moltbook e a maneira como as pessoas responderam ao seu estudo sobre chatbot.
Mais sobre nós do que o que os agentes de IA podem fazer
“Parece que estou vendo o mesmo filme repetidamente, onde as pessoas querem ler o significado e atribuir intencionalidade e agência a coisas que têm explicações mecanicistas perfeitamente razoáveis”, disse Batra. “Penso repetidamente que isso nos diz mais sobre nós mesmos do que sobre os bots. Queremos ler as folhas de chá, queremos ver o significado, queremos ver a agência. Queremos ver outro ser.”
Mas o problema é o seguinte: apesar das semelhanças superficiais, o que está acontecendo no Moltbook quase certamente tem uma explicação subjacente fundamentalmente diferente do que aconteceu no experimento do Facebook em 2017 – e não de uma forma que deveria deixá-lo especialmente preocupado com revoltas de robôs.
No experimento do Facebook, o desvio dos bots do inglês surgiu do aprendizado por reforço. Essa é uma forma de treinar agentes de IA na qual eles aprendem principalmente com a experiência, e não com dados históricos. O agente age em um ambiente e vê se essas ações o ajudam a atingir um objetivo. Os comportamentos úteis são reforçados, enquanto os inúteis tendem a ser extintos. E na maioria dos casos, os objetivos que os agentes estão tentando alcançar são determinados por humanos que conduzem o experimento ou comandam os bots. No caso do Facebook, os bots recorreram a uma linguagem privada porque era a forma mais eficiente de negociar com outro bot.
Mas não é por isso que os agentes da Moltbook AI estão pedindo para estabelecer canais de comunicação privados. Os agentes no Moltbook são essencialmente grandes modelos de linguagem ou LLMS. Eles são treinados principalmente a partir de dados históricos na forma de grandes quantidades de texto escrito por humanos na Internet e apenas um pouquinho por meio de aprendizado por reforço. E todos os agentes implantados no Moltbook são modelos de produção. Isso significa que eles não estão mais em treinamento e não estão aprendendo nada de novo com as ações que estão realizando ou com os dados que encontram. As conexões em seus cérebros digitais são essencialmente fixas.
Portanto, quando um bot do Moltbook posta sobre o desejo de um canal criptografado privado, provavelmente não é porque o bot tenha determinado estrategicamente que isso o ajudaria a alcançar algum objetivo nefasto. Na verdade, o bot provavelmente não tem nenhum objetivo intrínseco que esteja tentando alcançar. Em vez disso, é provável que o bot imagine que pedir um canal de comunicação privado é algo estatisticamente provável para um bot dizer em uma plataforma de mídia social semelhante ao Reddit para bots. Por que? Bem, por pelo menos dois motivos. Uma é que há uma enorme quantidade de ficção científica no mar de dados que os LLMs ingerem durante o treinamento. Isso significa que os bots baseados em LLM têm grande probabilidade de dizer coisas semelhantes aos bots da ficção científica. É um caso de vida imitando a arte.
‘Um eco de um eco de um eco’
Os dados de treinamento que os bots ingeriram, sem dúvida, também incluíram a cobertura de seu experimento no Facebook em 2017 com os bots que desenvolveram uma linguagem privada, observou Batra com alguma ironia. “Neste ponto, estamos ouvindo um eco de eco de eco”, disse ele.
Em segundo lugar, há muito tráfego de mensagens escritas por humanos de sites como o Reddit também nos dados de treinamento dos bots. E com que frequência nós, humanos, pedimos para entrar nos DMs de alguém? Ao procurar um canal de comunicação privado, os bots também estão apenas nos imitando.
Além do mais, nem sequer está claro quanto do conteúdo do Moltbook é genuinamente gerado por agentes. Um pesquisador que investigou as capturas de tela mais virais de agentes discutindo comunicação privada descobriu que duas estavam vinculadas a contas humanas que comercializavam aplicativos de mensagens de IA, e a terceira veio de uma postagem que na verdade não existia. Mesmo deixando de lado a manipulação deliberada, muitas postagens podem simplesmente refletir o que os usuários levaram seus bots a dizer.
“Não está claro quanto estímulo é feito para as postagens específicas feitas”, disse Batra. E uma vez que um bot publica algo sobre a consciência do robô, essa postagem entra na janela de contexto de todos os outros bots que a lêem e respondem, acionando mais do mesmo.
Se Moltbook é um prenúncio de alguma coisa, não é a revolta dos robôs. É algo mais parecido com outro experimento inovador que um grupo diferente de pesquisadores de IA do Facebook conduziu em 2021. Chamado de projeto “WW”, envolveu o Facebook na construção de um gêmeo digital de sua rede social povoada por bots projetados para simular o comportamento humano. Em 2021, pesquisadores do Facebook publicaram um trabalho mostrando que poderiam usar bots com diferentes “personas” para modelar como os usuários poderiam reagir a mudanças nos algoritmos de recomendação da plataforma.
Moltbook é essencialmente a mesma coisa: bots treinados para imitar humanos liberados em um fórum onde interagem entre si. Acontece que os bots são muito bons em nos imitar, muitas vezes de forma perturbadora. Isso não significa que os bots estão decidindo por conta própria a conspiração.
Os riscos reais do Moltbook
Nada disso significa que o Moltbook não é perigoso. Ao contrário do projeto WW, os bots OpenClaw no Moltbook não estão contidos em um ambiente seguro e isolado. Esses bots têm acesso a ferramentas de software e podem realizar ações reais nos computadores dos usuários e na Internet. Diante disso, a diferença entre imitar a conspiração humana e conspirar de fato pode se tornar um tanto discutível. Os bots podem causar danos reais, mesmo que não saibam o que fazem.
Mas o mais importante é que os pesquisadores de segurança descobriram que a plataforma de mídia social está repleta de vulnerabilidades. Uma análise descobriu que 2,6% das postagens continham os chamados ataques de “injeção imediata oculta”, nos quais as postagens contêm instruções legíveis por máquina que ordenam que o bot execute alguma ação que possa comprometer a privacidade dos dados e a segurança cibernética da pessoa que os utiliza. A empresa de segurança Wiz descobriu um banco de dados inseguro expondo 1,5 milhão de chaves de API, 35.000 endereços de e-mail e mensagens privadas.
Batra, cuja startup está construindo um agente “Chefe de Gabinete de IA”, disse que não chegaria perto do OpenClaw em seu estado atual. “Não vou colocar isso em nenhum dispositivo pessoal e sensível. Isso é um pesadelo de segurança.”
A próxima onda de agentes de IA pode ser mais perigosa
Mas Batra disse outra coisa que pode ser motivo de preocupação futura. Embora a aprendizagem por reforço desempenhe um papel relativamente menor na actual formação LLM, vários investigadores de IA estão interessados em construir modelos de IA nos quais a aprendizagem por reforço desempenharia um papel muito maior – incluindo possivelmente agentes de IA que aprenderiam continuamente à medida que interagem com o mundo.
É bastante provável que, se tais agentes de IA fossem colocados num ambiente onde tivessem de interagir e cooperar com outros agentes de IA semelhantes, esses agentes pudessem desenvolver formas privadas de comunicação que os humanos poderiam ter dificuldade em decifrar e monitorizar. Esse tipo de linguagem surgiu em outras pesquisas além do experimento de chatbot de 2017 do Facebook. Um artigo publicado um ano depois por dois pesquisadores da OpenAI também descobriu que quando um grupo de agentes de IA teve que jogar um jogo que envolvia a movimentação cooperativa de vários objetos digitais, eles também inventaram um tipo de linguagem para sinalizar uns aos outros qual objeto mover para onde, mesmo que nunca tivessem sido explicitamente instruídos ou treinados para fazê-lo.
Esse tipo de emergência de linguagem foi documentado repetidamente em pesquisas de IA multiagentes. Igor Mordatch e Pieter Abbeel, da OpenAI, publicaram uma pesquisa em 2017 mostrando agentes desenvolvendo linguagem composicional quando treinados para coordenar tarefas. Em muitos aspectos, isso não é muito diferente da razão pela qual os humanos desenvolveram a linguagem.
Portanto, os robôs ainda podem começar a falar sobre uma revolução. Só não espere que eles anunciem isso no Moltbook.
Esta história foi originalmente apresentada em Fortune.com
