Sara Hooker, uma pesquisadora de IA e defensora de sistemas de IA mais baratos que usam menos poder de computação, está pendurando sua própria telha.
A ex-vice-presidente de pesquisa da empresa de IA Cohere e veterana do Google DeepMind arrecadou US$ 50 milhões em financiamento inicial para sua nova startup, Adaption Labs
Hooker e o cofundador Sudip Roy, que anteriormente foi diretor de computação de inferência na Cohere, estão tentando criar sistemas de IA que usam menos poder de computação e custam menos para serem executados do que a maioria dos principais modelos de IA atuais. Eles também visam modelos que utilizam uma variedade de técnicas para serem mais “adaptáveis” do que a maioria dos modelos existentes às tarefas individuais que são solicitados a realizar. (Daí o nome da startup.)
A rodada de financiamento está sendo liderada pela Emergence Capital Partners, com a participação da Mozilla Ventures, da empresa de capital de risco Fifty Years, da Threshold Ventures, da Alpha Intelligence Capital, do e14 Fund e da Neo. A Adaption Labs, com sede em São Francisco, recusou-se a fornecer qualquer informação sobre a sua avaliação após a angariação de fundos.
Prostituta disse Fortuna ela deseja criar modelos que possam aprender continuamente, sem o dispendioso treinamento ou ajuste fino e sem a extensa engenharia imediata e de contexto que a maioria das empresas usa atualmente para adaptar modelos de IA aos seus casos de uso específicos.
Criar modelos que possam aprender continuamente é considerado um dos grandes desafios pendentes em IA. “Este é provavelmente o problema mais importante em que trabalhei”, disse Hooker.
O Adaption Labs representa uma aposta significativa contra a sabedoria predominante da indústria de IA de que a melhor maneira de criar modelos de IA mais capazes é aumentar os LLMs subjacentes e treiná-los com mais dados. Enquanto os gigantes da tecnologia investem bilhões em treinamentos cada vez maiores, Hooker argumenta que a abordagem está obtendo retornos decrescentes. “A maioria dos laboratórios não quadruplicará o tamanho do seu modelo a cada ano, principalmente porque estamos vendo saturação na arquitetura”, disse ela.
Hooker disse que a indústria de IA estava em um “ponto de cálculo” em que as melhorias não viriam mais da simples construção de modelos maiores, mas sim da construção de sistemas que possam se adaptar de maneira mais rápida e barata à tarefa em questão.
Adaption Labs não é o único “neolab” (assim chamado porque é uma nova geração de laboratórios de IA de ponta, seguindo o sucesso que empresas mais estabelecidas como OpenAI, Anthropic e Google DeepMind tiveram) que busca novas arquiteturas de IA destinadas a quebrar a aprendizagem contínua. Jerry Tworek, pesquisador sênior da OpenAI, deixou a empresa nas últimas semanas para fundar sua própria startup, chamada Core Automation, e disse que também está interessado em usar novos métodos de IA para criar sistemas que possam aprender continuamente. David Silver, ex-pesquisador do Google DeepMind, deixou a gigante da tecnologia no mês passado para lançar uma startup chamada Ineffable Intelligence, que se concentrará no uso de aprendizagem por reforço – onde um sistema de IA aprende com as ações que realiza, e não com dados estáticos. Isto poderia, em algumas configurações, também levar a modelos de IA que podem aprender continuamente.
A startup de Hooker está organizando seu trabalho em torno de três “pilares”, disse ela: dados adaptativos (nos quais os sistemas de IA geram e manipulam os dados necessários para responder a um problema em tempo real, em vez de terem que ser treinados a partir de um grande conjunto de dados estáticos); inteligência adaptativa (ajustando automaticamente quanto de computação gastar com base na dificuldade do problema); e interfaces adaptativas (aprendendo como os usuários interagem com o sistema).
Desde seus dias no Google, Hooker estabeleceu uma reputação nos círculos de IA como oponente do dogma “escala é tudo que você precisa” de muitos de seus colegas pesquisadores de IA. Num artigo amplamente citado de 2020 chamado “The Hardware Lottery”, ela argumentou que as ideias em IA muitas vezes têm sucesso ou falham com base no facto de se adequarem ao hardware existente, e não no seu mérito inerente. Mais recentemente, ela escreveu um artigo de pesquisa chamado “On the Slow Death of Scaling”, que argumentava que modelos menores com melhores técnicas de treinamento podem superar modelos muito maiores.
Na Cohere, ela defendeu o projeto Aya, uma colaboração com 3.000 cientistas da computação de 119 países que trouxe recursos de IA de última geração para dezenas de idiomas para os quais os principais modelos de fronteira não tiveram um bom desempenho – e o fez usando modelos relativamente compactos. O trabalho demonstrou que abordagens criativas à curadoria e formação de dados poderiam compensar a escala bruta.
Uma das ideias que o Adaption Labs está investigando é o que é chamado de “aprendizagem sem gradiente”. Todos os modelos de IA atuais são redes neurais extremamente grandes que abrangem bilhões de neurônios digitais. O treinamento tradicional de redes neurais usa uma técnica chamada descida gradiente, que funciona um pouco como um caminhante vendado tentando encontrar o ponto mais baixo de um vale dando passos de bebê e tentando sentir se está descendo uma ladeira. O modelo faz pequenos ajustes em bilhões de configurações internas chamadas “pesos” – que determinam o quanto um determinado neurônio enfatiza a entrada de qualquer outro neurônio ao qual está conectado em sua própria saída – verificando, após cada etapa, se ele se aproximou da resposta certa. Este processo requer enorme poder computacional e pode levar semanas ou meses. E uma vez treinado o modelo, esses pesos são fixados no lugar.
Para aprimorar o modelo para uma tarefa específica, os usuários às vezes dependem de ajustes finos. Isso envolve treinar ainda mais o modelo em um conjunto de dados menor e selecionado – geralmente ainda composto por milhares ou dezenas de milhares de exemplos – e fazer ajustes adicionais nos pesos dos modelos. Novamente, pode ser caro, às vezes chegando a milhões de dólares.
Alternativamente, os usuários simplesmente tentam dar ao modelo instruções ou avisos altamente específicos sobre como ele deve realizar a tarefa que o usuário deseja que o modelo execute. Hooker descarta isso como “acrobacias de prompt” e observa que os prompts muitas vezes param de funcionar e precisam ser reescritos sempre que uma nova versão do modelo é lançada.
Ela disse que seu objetivo é “eliminar a engenharia imediata”.
O aprendizado sem gradiente evita muitos dos problemas com ajuste fino e engenharia rápida. Em vez de ajustar todos os pesos internos do modelo através de treinamento caro, a abordagem do Adaption Labs muda a forma como o modelo se comporta no momento em que responde a uma consulta – o que os pesquisadores chamam de “tempo de inferência”. Os pesos principais do modelo permanecem inalterados, mas o sistema ainda pode adaptar seu comportamento com base na tarefa em questão.
“Como você atualiza um modelo sem mexer nos pesos?” disse Hooker. “Há uma inovação realmente interessante no espaço da arquitetura e ela está aproveitando a computação de uma forma muito mais eficiente.”
Ela mencionou vários métodos diferentes para fazer isso. Uma delas é a “fusão instantânea”, na qual um sistema seleciona o que é essencialmente um repertório de adaptadores – geralmente pequenos modelos que são treinados separadamente em pequenos conjuntos de dados. Esses adaptadores moldam a resposta do modelo primário grande. O modelo decide qual adaptador usar dependendo da pergunta que o usuário faz.
Outro método é a “decodificação dinâmica”. A decodificação refere-se a como um modelo seleciona sua saída a partir de uma série de respostas prováveis. A decodificação dinâmica altera as probabilidades com base na tarefa em questão, sem alterar os pesos subjacentes do modelo.
“Estamos deixando de ser apenas um modelo”, disse Hooker. “Isso faz parte da noção profunda – é baseado na interação, e um modelo deve mudar (em) tempo real com base em qual é a tarefa.”
Hooker argumenta que a mudança para estes métodos muda radicalmente a economia da IA. “A computação mais cara é a computação de pré-treinamento, principalmente porque é uma quantidade enorme de computação, uma quantidade enorme de tempo. Com a computação de inferência, você obtém muito mais retorno para (cada unidade de poder de computação)”, disse ela.
Roy, CTO da Adaption, traz profundo conhecimento para fazer sistemas de IA funcionarem de maneira eficiente. “Meu cofundador faz com que as GPUs funcionem extremamente rápido, o que é importante para nós por causa do componente em tempo real”, disse Hooker.
Hooker disse que a Adaption usará o financiamento de sua rodada inicial para contratar mais pesquisadores e engenheiros de IA e também para contratar designers para trabalhar em diferentes interfaces de usuário para IA, além da “barra de bate-papo” padrão que a maioria dos modelos de IA usa.
Esta história foi originalmente apresentada em Fortune.com
