GPU ociosa no segundo trimestre é o piloto de inferência que ninguém desligou: instância cara, horário de escritório, uso de pico, conta de 24×7. FinOps de inferência separa essa linha da fatura do site, nomeia dono e coloca teto. Sem isso, o modelo “em avaliação” vira o item mais previsível — e mais inútil — da nuvem.

Janeiro já mostrava a linha. Fatura de janeiro era o alerta. Abril é o hábito. FinOps de cloud aplica; o recorte aqui é acelerador, não VM genérica.

Separar treino, inferência e aplicação

Três envelopes. Treino é lote e deveria desligar. Inferência é o produto (ou o piloto). Aplicação é o resto. Misturar GPU com o site na mesma tag impede a conversa: “a nuvem subiu” não diz se o checkout ou o modelo ocioso.

Perguntas de dono:

  • quem pediu para manter ligado no fim de semana;
  • qual o horário real de uso;
  • o que acontece se desligar com rollback (fila, cache, CPU fallback).

Não publicamos percentual de desperdício. O gráfico de uso (mesmo ilegível na foto) está na conta de vocês. O trabalho é ler e agir no sprint.

FinOps na fábrica no sprint é o veículo: corte de nuvem como item de 15 dias, não como iniciativa anual.

Teto antes da feature de modelo

Produto que ainda não tem teto de token e de GPU vai crescer a linha no escuro. Teto é produto e FinOps juntos: se passar, a feature não escala o hardware no silêncio — alerta e decisão. Inferência sem teto é overprovisioning com nome novo.

Horário: se o usuário interno só usa em horário comercial brasileiro, 24×7 é escolha, não destino. Schedule e hibernação são engenharia chata. Chata é o contrário de ociosa cara.

O que não fazer

Não migrar de provedor para “GPU mais barata” sem dono do piloto. Não treinar de novo para justificar a máquina. Não esconder a linha no custo compartilhado da plataforma. Transparência de tag é o mínimo.

Segundo trimestre é quando o piloto de janeiro ainda está 24×7 “porque alguém pode treinar”. Separe treino, inferência e aplicação. Teto de horário comercial brasileiro quando o usuário é interno. Fallback em CPU ou API com teto de token quando a carga não pede acelerador. O gráfico ilegível na capa está na conta de vocês. O card no sprint é o que o gráfico não faz sozinho.

Como a Tech Coders trata GPU na fábrica

Na fábrica de software, inferência entra no sprint com tag, teto e desligamento. Sprint de 15 dias. Não prometemos economia universal de GPU. Prometemos a linha visível no quadro, junto da feature. Sustentação 24×7 só no que o produto realmente precisa no ar.

Perguntas frequentes

Inferência sempre precisa de GPU dedicada?

Não. Muitos recortes cabem em CPU ou em API de provedor com teto de token. GPU dedicada é hipótese de carga e latência — medida, não default.

Como saber se está ociosa de verdade?

Uso no tempo, fila, latência. Se a máquina está no ar e a fila está vazia a maior parte do dia, está ociosa. O número exato é o do provedor de vocês.

Desligar de noite quebra o time de outro fuso?

Aí o teto é overlap, não 24×7 global por preguiça. Ajuste schedule ao overlap real. 24×7 por medo de um fuso é ociosa na maior parte das horas.

FinOps de GPU é trabalho de data science?

É trabalho de dono do serviço de inferência, com engenharia de nuvem. Data science pede a capacidade; não deveria ser o único que pode desligar.