O rack Groq da Nvidia engole o acelerador

A Groq reduziu sua projeção de receita para 2025 de mais de US$ 2 bilhões para mais de US$ 500 milhões, citando atrasos na capacidade de data centers. A empresa tinha um acelerador rápido de inferência e clientes para atender, mas não infraestrutura implantada suficiente para convertê-los em receita. A Nvidia mais tarde firmou um acordo de licenciamento de US$ 20 bilhões reportado e colocou 256 LPUs Groq 3 em um rack de produção. A vantagem da Groq em chips passou a depender de financiamento e implantação.

Repórteres descreveram pela primeira vez a Groq, em 2017, como uma startup em modo furtivo, fundada por engenheiros da Google Tensor Processing Unit, que havia levantado US$ 10,3 milhões. Entre essa rodada e o rack da Nvidia, a inferência se dividiu entre tarefas técnicas, compromissos de capacidade e rotas até os clientes.

Diferentes tarefas de inferência favorecem diferentes tipos de silício

Um servidor de modelos executa várias tarefas distintas. Prefill, decode, processamento de contexto longo e interação sensível à latência impõem restrições diferentes, por isso os desenvolvedores passaram a atribuir arquiteturas a cada fase, em vez de pedir que um único acelerador vença todos os benchmarks.

O Rubin CPX da Nvidia ilustra essa decomposição. A Nvidia projetou o chip especificamente para prefill e priorizou FLOPS de computação em vez de largura de banda de memória. A Groq ataca outra parte da carga de trabalho com grandes quantidades de SRAM on-chip e um modelo de execução voltado à geração rápida e previsível. OpenAI e Broadcom fizeram o mesmo movimento estrutural pelo lado do comprador: desenvolveram o chip de inferência Jalapeño otimizado para LLM, do projeto ao tape-out de fabricação, em nove meses.

Trabalhando de forma independente, operadores de modelos e projetistas de chips encontraram gargalos diferentes dentro da mesma requisição de inferência e então otimizaram a fase em que o hardware de uso geral impunha a maior penalidade.

A Nvidia posteriormente empacotou a arquitetura da Groq como o rack Groq 3 LPX, com 256 LPUs Groq 3, 128 GB de SRAM on-chip e 40 petabytes por segundo de largura de banda de SRAM. Mais tarde, a Nvidia reportou 3.400 tokens por segundo em um benchmark da Artificial Analysis executando Gemma 4 31B com uma sequência de entrada de 100.000 tokens.

Esse benchmark reportado sustenta uma vantagem para determinada carga de trabalho, mas deixa sem resposta a utilização do rack, a precificação para clientes, os custos de energia, a migração de software e a cobertura de modelos. Benchmarks mostram quão rápido o motor funciona; a economia da infraestrutura acompanha se um operador consegue manter os assentos ocupados.

Empresas estabelecidas podem responder à fragmentação das cargas de trabalho posicionando um especialista ao lado de CPUs, GPUs, rede e software, e então direcionando cada fase ao dispositivo apropriado. O especialista mantém sua vantagem técnica dentro do sistema comercial da empresa estabelecida.

Capacidade transforma empresas de chips em operadores de infraestrutura

O corte na projeção da Groq expôs a lacuna entre a oferta de aceleradores e a capacidade de serving. Sem racks implantados, a Groq não conseguia transformar a demanda dos clientes em receita.

A Groq mais tarde levantou US$ 650 milhões para expandir capacidade. Sua meta de energia para o fim de 2027 fazia parte de uma mudança muito maior nos gastos: o Barclays projetou que as despesas de capital com inferência superariam as de treinamento em dois anos. Investidores financiavam o processador junto com os locais, a energia e os sistemas necessários para servir tokens.

A General Compute recebeu um empréstimo de US$ 400 milhões garantido por chips específicos para inferência, um caso inicial de hardware especializado servindo como garantia. Um mercado profundo de revenda desses chips ainda não foi comprovado, mas credores começaram a subscrever capacidade de inferência como infraestrutura, e não como estoque de venture capital com um cabo de energia.

Fornecedores criam defasagem de capacidade quando comprometem recursos antes de os locais entrarem em operação e então esperam a qualificação dos clientes e a utilização revelarem se dimensionaram corretamente a implantação. Pagam pelos erros em qualquer direção: racks ociosos prejudicam os retornos, enquanto a falta de capacidade deixa demanda sem atendimento e adia a receita.

Laboratórios de fronteira complicam a subscrição porque grandes compradores obtêm cada vez mais capacidade de fornecedores que também oferecem financiamento. No ciclo mais amplo de financiamento de laboratórios de fronteira, fabricantes de chips e operadores de nuvem se tornam parceiros de capital, comprometendo-se com implantações antes de os clientes gerarem a receita necessária para absorver o hardware.

A Nvidia absorveu a diferenciação sem comprar a empresa

A Nvidia usou licenciamento, contratações e transformação em produto, em vez de uma aquisição convencional. Pelo acordo não exclusivo, a Nvidia obteve direitos sobre a tecnologia de inferência da Groq, enquanto o CEO Jonathan Ross e outros executivos seniores se juntaram à Nvidia. Fontes disseram depois que cerca de 90% dos funcionários da Groq migrariam para a Nvidia e que a maioria dos acionistas receberia pagamentos vinculados à avaliação de US$ 20 bilhões.

A Groq disse que continuaria operando de forma independente e posteriormente levantou capital para sua planejada expansão em nuvem. A Nvidia ganhou a arquitetura e grande parte da organização capaz de desenvolvê-la. Os termos não exclusivos preservaram uma entidade corporativa independente, enquanto a integração de talentos e produtos permitiu que a Nvidia capturasse a tecnologia dentro de seu próprio portfólio de sistemas.

A Nvidia então converteu a licença em capacidade que os clientes podiam comprar. A empresa colocou o Groq 3 LPX em produção plena, e a Nebius tornou-se o primeiro cliente anunciado. O rack colocou a LPU dentro da máquina mais ampla de produtos para data centers da Nvidia.

Nvidia e Groq não divulgaram quem controlaria a qualificação de clientes do LPX, a alocação, os preços ou o acesso à nuvem. Quem controla essa rota até a implantação pode capturar valor mesmo quando a arquitetura subjacente continua disponível em outros lugares.

O Departamento de Justiça estaria examinando se a Nvidia usou a estrutura de licenciamento para evitar escrutínio antitruste. A investigação não estabelece irregularidade, mas eleva o custo de transação de usar licenças somadas a contratações em massa como substituto de uma aquisição. Reguladores podem restringir como uma empresa estabelecida internaliza uma desafiante mesmo quando não podem apagar a lógica técnica da integração.

A Groq, sozinha, não pode estabelecer que todo especialista será absorvido. As conversas reportadas da Qualcomm para adquirir a Tenstorrent por US$ 8 bilhões a US$ 10 bilhões mostram interesse estratégico, não um padrão concluído. A captação de capital da Groq após o acordo também preserva um experimento genuíno de capacidade independente. Especialistas e empresas estabelecidas testam as duas estruturas ao mesmo tempo: infraestrutura operada por especialistas e tecnologia especializada dentro da distribuição das empresas estabelecidas.

A queda dos preços dos tokens encurta o relógio da amortização

A capacidade dedicada à inferência precisa recuperar seu custo enquanto o preço do serving continua mudando. OpenAI e Anthropic projetaram que os custos de inferência excediam metade da receita, dando a ambas as empresas um forte incentivo para reduzir a conta por meio de modelos, software, silício e compras.

Engenheiros da OpenAI teriam encontrado um método que poderia mais que reduzir pela metade os custos de inferência. O Google precificou o Gemini 3.7 Flash em US$ 0,75 por milhão de tokens de entrada e US$ 3,75 por milhão de tokens de saída até 2026. O preço do Google não revela seu custo subjacente, mas estabelece uma referência de mercado à qual provedores concorrentes precisam responder.

Melhorias em modelos e software podem avançar mais rápido que a construção de data centers. Um rack financiado com base na economia atual dos tokens pode entrar em serviço depois que um provedor reduz a computação necessária por requisição ou corta seu preço para ganhar volume. O hardware dedicado pode continuar tecnicamente excelente enquanto seu proprietário obtém um retorno ruim se a utilização não compensar esse declínio.

Cargas de trabalho agênticas complicam ainda mais o caso da baixa latência. Aplicações voltadas a pessoas recompensam a saída imediata porque uma pessoa espera por cada resposta. Em cargas de trabalho autônomas, sem uma pessoa esperando em cada etapa intermediária, throughput, confiabilidade ou custo por tarefa útil podem importar mais do que o pico de tokens por segundo.

Aplicações interativas podem justificar um prêmio pela latência no estilo Groq, enquanto a execução agêntica semelhante a processamento em lote favorece outra arquitetura ou uma camada de serving mais barata. Quem subscreve capacidade, portanto, precisa de uma combinação de cargas de trabalho, não apenas de um benchmark, porque cada carga atribui um preço diferente à velocidade.

Compradores mantêm especialistas vivos ao recusar uma única pilha

Desenvolvedores de modelos ainda têm motivos para manter alternativas críveis. A OpenAI teria buscado chips de inferência da AMD, Cerebras e Groq após ficar insatisfeita com alguns produtos da Nvidia. A empresa então lançou uma camada Ultrafast API movida pela Cerebras, alegando até 750 tokens de saída por segundo e um aumento de velocidade de até 14 vezes para o GPT-5.6 Sol. Ao lançar uma camada de API ativa, a OpenAI criou demanda independente por infraestrutura especializada.

Outros compradores e fornecedores estão construindo opções adicionais. A AMD adquiriu a Taalas, que integra pesos de modelos diretamente ao silício e produziu demonstrações iniciais de até 17.000 tokens por segundo. ByteDance e InnoStar teriam começado a desenvolver um chip de inferência de baixo custo inspirado nas LPUs da Groq.

Compradores obtêm três formas de valor dessas alternativas mesmo quando elas não desalojam o líder de mercado: desempenho específico para a carga de trabalho, resiliência contra oferta restrita e poder de barganha sobre a empresa estabelecida. Eles só podem preservar essa alavancagem se conseguirem mover modelos e cargas de trabalho sem custos proibitivos de software ou operação. Um chip tecnicamente superior sem um caminho prático de migração é uma anedota de negociação.

Empresas estabelecidas podem diluir os custos de integração de racks, suporte de software e distribuição por uma base instalada maior. Especialistas mantêm espaço onde sua arquitetura cria uma vantagem suficientemente grande para determinada carga de trabalho, capaz de superar esse desconto de integração. Ganham mais espaço quando provedores de capital financiam capacidade independente e grandes compradores comprometem demanda suficiente para preenchê-la.

O corte na projeção da Groq para 2025 começou com racks que chegaram tarde. O rack de 256 LPUs da Nvidia fecha esse ciclo: a LPU sobrevive, mas o nome no rack identifica quem controla a implantação — e quem precisa transformar seu ganho de engenharia em tokens mais baratos.