OpenRouter lança Batch API para workloads assíncronos
A OpenRouter lançou uma Batch API para cargas que toleram latência variável, com desconto típico de 50% no preço por token e suporte inicial a mais de 70 modelos.
Para pipelines de IA que não exigem resposta imediata, o novo endpoint cria uma alternativa direta entre custo e latência sem exigir orquestração própria por modelo ou provedor.
A nova Batch API recebe listas de requisições em api/v1/batches e executa o lote de forma assíncrona em uma janela de até 24 horas. Chat Completions, Responses, Messages e embeddings são suportados, com cada resultado retornando de forma independente para evitar que poucas linhas inválidas derrubem o lote inteiro.
Na prática, a OpenRouter reporta que, em mais de 230 mil batches concluídos durante duas semanas de beta, a mediana ficou em 7 minutos e 90% terminaram em até uma hora. A proposta mira tarefas como evals, classificação, backfill de embeddings, sumarização de backlog e processamento de milhares de linhas fora do caminho síncrono da aplicação.
Vale acompanhar quais modelos e provedores ampliam suporte a batch, a variação real do desconto e o comportamento de filas em workloads grandes ou sensíveis a janela de execução.
Outros posts sobre assuntos próximos ao que você acabou de ler.