GPU ociosa no segundo trimestre é o piloto de inferência que ninguém desligou: instância cara, horário de escritório, uso de pico, conta de 24×7. FinOps de inferência separa essa linha da fatura do site, nomeia dono e coloca teto. Sem isso, o modelo “em avaliação” vira o item mais previsível — e mais inútil — da nuvem.

Janeiro já mostrava a linha. Fatura de janeiro era o alerta. Abril é o hábito. FinOps de cloud aplica; o recorte aqui é acelerador, não VM genérica.

Separar treino, inferência e aplicação

Três envelopes. Treino é lote e deveria desligar. Inferência é o produto (ou o piloto). Aplicação é o resto. Misturar GPU com o site na mesma tag impede a conversa: “a nuvem subiu” não diz se o checkout ou o modelo ocioso.

Perguntas de dono:

  • quem pediu para manter ligado no fim de semana;
  • qual o horário real de uso;
  • o que acontece se desligar com rollback (fila, cache, CPU fallback).

Não publicamos percentual de desperdício. O gráfico de uso (mesmo ilegível na foto) está na conta de vocês. O trabalho é ler e agir no sprint.

FinOps na fábrica no sprint é o veículo: corte de nuvem como item de um ciclo curto, não como iniciativa anual.

Teto antes da feature de modelo

Produto que ainda não tem teto de token e de GPU vai crescer a linha no escuro. Teto é produto e FinOps juntos: se passar, a feature não escala o hardware no silêncio — alerta e decisão. Inferência sem teto é overprovisioning com nome novo.

Horário: se o usuário interno só usa em horário comercial brasileiro, 24×7 é escolha, não destino. Schedule e hibernação são engenharia chata. Chata é o contrário de ociosa cara.

O que não fazer

Não migrar de provedor para “GPU mais barata” sem dono do piloto. Não treinar de novo para justificar a máquina. Não esconder a linha no custo compartilhado da plataforma. Transparência de tag é o mínimo.

Segundo trimestre é quando o piloto de janeiro ainda está 24×7 “porque alguém pode treinar”. Separe treino, inferência e aplicação. Teto de horário comercial brasileiro quando o usuário é interno. Fallback em CPU ou API com teto de token quando a carga não pede acelerador. O gráfico ilegível na capa está na conta de vocês. O card no sprint é o que o gráfico não faz sozinho.

Como a Tech Coders trata GPU na fábrica

Na fábrica de software, tag, teto e política de desligamento podem entrar nos critérios da inferência. Custos, alertas e cobertura de sustentação precisam ser definidos por projeto; não há economia universal de GPU.

Perguntas frequentes

Inferência sempre precisa de GPU dedicada?

Não. Muitos recortes cabem em CPU ou em API de provedor com teto de token. GPU dedicada é hipótese de carga e latência — medida, não default.

Como saber se está ociosa de verdade?

Uso no tempo, fila, latência. Se a máquina está no ar e a fila está vazia a maior parte do dia, está ociosa. O número exato é o do provedor de vocês.

Desligar de noite quebra o time de outro fuso?

Aí o teto é overlap, não 24×7 global por preguiça. Ajuste schedule ao overlap real. 24×7 por medo de um fuso é ociosa na maior parte das horas.

FinOps de GPU é trabalho de data science?

É trabalho de dono do serviço de inferência, com engenharia de nuvem. Data science pede a capacidade; não deveria ser o único que pode desligar.