Você deve executar GPUs na nuvem? A resposta depende das suas necessidades

O economista-chefe de nuvem do Duckbill Group, Corey Quinn, sabe uma ou duas coisas sobre cortar custos em sua conta da AWS, então, quando ele sugere que manter cargas de trabalho em seu data center pode ser uma boa ideia, vale a pena prestar atenção. Especificamente, Quinn questionou se há um “caso de negócios atraente para mover cargas de trabalho de GPU de estado estável de servidores locais”, porque os custos de GPU na nuvem são incrivelmente caros. Quão caro? Pela estimativa de uma empresa, executar 2.500 GPUs T4 em sua própria infraestrutura custaria US$ 150 mil por ano. Na AWS, executar 1.000 dessas mesmas GPUs custaria mais de US$ 8 milhões.

VEJO: Kit de contratação: engenheiro de nuvem (TechRepublic Premium)

Por que alguém faria aquilo? Como se vê, há razões muito boas, e há setores que dependem de cargas de trabalho alimentadas por GPU de baixa latência. Mas também há grandes razões para manter essas GPUs funcionando no local.

GPUs na nuvem

Para responder à pergunta de Quinn, vale lembrar as diferenças entre CPUs e GPUs. Como detalha a Intel, embora CPUs e GPUs tenham muito em comum, eles diferem arquiteturalmente e são usados ​​para diferentes propósitos. As CPUs são projetadas para lidar com uma ampla variedade de tarefas rapidamente, mas são limitadas na forma como lidam com a simultaneidade. As GPUs, por outro lado, começaram como ASICs especializadas para acelerar a renderização 3D. Os mecanismos de função fixa da GPU ampliaram seu apelo e aplicabilidade ao longo do tempo, mas, para Quinn, o custo de executá-los na nuvem é simplesmente muito alto?

VEJO: Falha do guardrail: as empresas estão perdendo receita e clientes devido ao viés da IA (TechRepublic)

Esse não é o ponto principal, respondeu Randall Hunt de Caylent. “A latência é o único argumento – se a nuvem puder aproximar os servidores do local em que precisam estar, isso pode ser uma vitória.” Em outras palavras, no local, por mais barato que seja executar frotas de GPUs, não pode fornecer o desempenho necessário para uma ótima experiência do cliente em algumas áreas.

Curti?

Bem, que tal a transcodificação de vídeo de eventos ao vivo, observou Lily Cohen? Claro, você pode sobreviver com a transcodificação da CPU com feeds de qualidade 1080p, mas 4K? Não. “Cada segundo de atraso é um segundo a mais para o usuário final ver o feed.” Isso não funciona para TV ao vivo.

Nem é apenas codificação de TV ao vivo. “Basicamente, qualquer coisa que precise de menos de 100 ms de ida e volta” tem demandas de latência que o levarão a GPUs na nuvem, argumentou Hunt. Isso inclui mecanismos de jogo em tempo real. “Streaming de mecanismos de jogos em tempo real para desenvolvimento remoto de jogos ou qualquer desenvolvimento 3D neles onde a precisão é importante” é motivo para a execução de GPUs perto do usuário, enfatizou Molly Sheets. Por exemplo, ela continuou, “'[M]issing the jump’ when I’m runtime” acaba empurrando você para um “território onde você não sabe se é um Codec e como ele é renderizado ou o stream”. Não é uma ótima experiência do cliente.

Se parece que as GPUs estão aqui apenas para nos entreter, esse não é o caso. “Qualquer carga de trabalho de treinamento de ML que exija acesso a uma grande quantidade de dados precisará de baixa latência e alta taxa de transferência para esses dados”, sugeriu Todd Underwood. (Nem todos concordam.) Acrescente a isso processamento de fala, carros autônomos etc. Ah, e “alugar” GPUs na nuvem pode ser a resposta certa para uma variedade maior de cargas de trabalho se você simplesmente não puder comprar GPUs para executar localmente em seu próprio data center, considerando que a demanda pode exceder a oferta. Além disso, mesmo que você possa encontrá-los, sua equipe pode não ter recursos para agrupá-los, algo que Samantha Whitmore chamou.

O que significa que a resposta final para “você deve executar GPUs na nuvem” às vezes será “sim” (quando a latência é importante) e muitas vezes será “depende”. Você sabe, a resposta usual para perguntas de computação.

.