OpenAI diz estar insatisfeita com o hardware de inferência da Nvidia, agora a considerar AMD, Cerebras, Groq

A OpenAI já não está satisfeita com os chips de IA da Nvidia, especialmente quando se trata da velocidade com que conseguem responder aos utilizadores. A empresa começou a procurar outras opções no ano passado e agora está em conversações com a AMD, Cerebras, e esteve mesmo a falar com a Groq antes disso ter sido encerrado.

Esta tensão começou a tornar-se real quando a OpenAI percebeu que os chips da Nvidia não eram suficientemente rápidos para tarefas específicas como escrever código e lidar com tarefas de software para software.

Um insider alegadamente disse que a OpenAI quer novos chips para lidar com pelo menos 10% das suas necessidades de inferência daqui para a frente. Essa é a parte em que a IA responde aos utilizadores, não a parte em que aprende coisas.

A OpenAI quer chips mais rápidos para codificação e respostas aos utilizadores

A maior parte do trabalho atual da OpenAI ainda funciona na Nvidia, mas nos bastidores está a testar chips que poderiam tornar tudo mais rápido.

Isto inclui chips equipados com SRAM, que ajuda a acelerar as coisas ao colocar a memória mesmo ao lado do processador. A Nvidia e a AMD ainda usam memória que fica fora do chip, o que atrasa as coisas.

Pessoas dentro da OpenAI apontaram o Codex, a ferramenta que escreve código, como o lugar onde a lentidão era o maior problema. Alguns funcionários até culparam o fraco desempenho no hardware da Nvidia. Numa chamada de imprensa a 30 de janeiro, o CEO da OpenAI Sam Altman disse: "Os clientes que usam os nossos modelos de codificação vão dar um grande prémio à velocidade para trabalho de codificação."

Sam acrescentou que os utilizadores regulares do ChatGPT não se preocupam tanto com a velocidade, mas para programadores e empresas, cada segundo conta. Ele disse que a OpenAI acabara de assinar um acordo com a Cerebras para ajudar a acelerar as coisas.

Ao mesmo tempo, empresas como a Anthropic e a Google estão a obter melhores resultados usando os seus próprios chips. As TPUs da Google são construídas especificamente para o tipo de trabalho que a inferência precisa. Isso tornou-as mais rápidas a responder, especialmente para modelos como Claude e Gemini.

Conversações OpenAI-Groq encerradas após acordo de licença da Nvidia

A OpenAI também esteve em conversações com a Groq, outra startup a construir chips rápidos, mas essas conversações não foram longe. A Nvidia entrou e assinou um acordo de licenciamento de 20 mil milhões de dólares com a Groq. Isso deu à Nvidia acesso aos designs da Groq e matou os planos da OpenAI de trabalhar com eles.

Uma fonte próxima da situação disse que os chips da Groq foram construídos exatamente para o que a OpenAI precisava. Mas assim que a Nvidia fechou o acordo, essa porta fechou-se. Embora a licença fosse não exclusiva, a Groq está agora a focar-se em software baseado em nuvem, e a Nvidia levou alguns dos designers de chips da Groq para si.

A Cerebras, por outro lado, disse não quando a Nvidia tentou comprá-los. Em vez disso, avançaram e fizeram o seu próprio acordo com a OpenAI. A Groq também recebeu ofertas de investimento avaliando o seu valor em cerca de 14 mil milhões de dólares, mas isso mudou agora desde que está ligada à Nvidia.

A OpenAI não se afastou completamente da Nvidia. Numa declaração pública, um porta-voz disse: "Confiamos na Nvidia para alimentar a grande maioria da nossa frota de inferência", e chamou o seu desempenho por dólar o melhor do mercado. A Nvidia também disse: "Os clientes continuam a escolher a Nvidia para inferência porque entregamos o melhor desempenho e custo total de propriedade em escala."

Acordo de investimento de 100 mil milhões de dólares da Nvidia ainda preso no limbo

No ano passado, a Nvidia disse que planeava investir até 100 mil milhões de dólares na OpenAI. Esse dinheiro destinava-se a ajudar a OpenAI a comprar chips mais avançados e, em troca, a Nvidia receberia uma participação na empresa. A Reuters disse que o acordo deveria fechar em algumas semanas. Ainda não fechou.

Enquanto esse acordo estagnou, a OpenAI avançou e assinou acordos com a AMD e outros para testar chips que poderiam competir diretamente com os da Nvidia. Mas à medida que a OpenAI mudou os seus planos de produto, o tipo de hardware de que precisava também mudou. Isso atrasou ainda mais as conversações, disse alguém familiarizado com a situação.

No sábado, o CEO da Nvidia Jensen Huang foi questionado sobre o atrito. Ele disse: "Isso é disparate", e insistiu que a Nvidia ainda planeia investir muito na OpenAI. Mas nos bastidores, é claro que ambos os lados estão a explorar as suas opções.

Ao mesmo tempo, a Nvidia tem estado à procura de novas ideias de chips. Contactou tanto a Cerebras como a Groq para ver se estariam abertas a serem compradas. A Cerebras recusou isso e redobrou o seu acordo com a OpenAI.

Neste momento, a OpenAI está a usar o GPT4o para alimentar a maioria dos seus serviços. Mas da forma como as coisas estão a ir, pelo menos parte desse trabalho funcionará em chips da AMD ou Cerebras num futuro próximo. A empresa não está a tentar abandonar completamente a Nvidia, mas é claro que quer mais controlo sobre a rapidez com que os seus sistemas funcionam.

Afine a sua estratégia com mentoria + ideias diárias - 30 dias de acesso gratuito ao nosso programa de negociação