NVIDIA Grace Hopper Superchip lidera nos benchmarks de inferência MLPerf

A NVIDIA estreou o GH200 Grace Hopper em testes de benchmark de inferência MLPerf. De acordo com os resultados, o hardware para Data Centers Grace Hopper obteve desempeno versátil com alto rendimento do superchip. o GH200 combina uma GPU Hopper e CPU Grace em um único ‘superchip’ para otimizar desempenho, aumentar memória e largura de banda.

Segundo a NVIDIA, os sistemas H100, com oito GPUs H100, tiveram os maiores rendimento nos testes de infer~encia MLPerf. Os resultados dos testes incluem, modelos de liguagem LLMs de IA Generativa, reconhecimento de fala e imagens médicas e inferência para visão computacional. De acordo com Marcio Aguiar, diretor da divisão Enterprise da NVIDIA na América Latina, a companhia está feliz com os resultados. “Eles [os resultados] enfatizam a performance e versatilidade da plataforma de IA da NVIDIA. Isso contribui significativamente para fortalecer ainda mais nossa posição de liderança neste cenário“.

TensorRT-LLM sobrecarrega GPUs NVIDIA H100

A companhia afirma que a IA, TensorRT-LLM, otimiza a carga de trabalho do hardware da empresa. Os testes da NVIDIA mostram que o uso do TensorRT-LLM em GPUs H100 forneceu aceleração de desempenho de até 8x, em comparação com GPUs da geração anterior executando GPT-J 6B. Os testes também revelam uma redução de 5,3x no custo total de propriedade e uma redução de 5,6x nos custos de energia.

TensorRT-LLM é o exemplo mais recente de inovação contínua na plataforma full-stack AI da NVIDIA. Esses avanços contínuos de software proporcionam aos usuários um desempenho que cresce ao longo do tempo, sem custo adicional, e é versátil nas diversas cargas de trabalho de IA atuais.

Alto desempenho com Jetson Orin

O sistema em módulo NVIDIA Jetson Orin, mostrou aumentos expressivos de desempenho de até 84%. Sistema mostrou bons resultados em testes de detecção de objetos. Segundo comunicado da NVIDIA, avanço do Jetson Orin aconteceu a partir da implantação de novo software, capaz de aproveita a versão mais recente dos núcleos do chip. O software consegue aproveitar omo um acelerador de visão programável, uma GPU de arquitetura NVIDIA Ampere e um acelerador dedicado de deep learning.

A companhia aponta que o software utilizado no benchmark está disponível no repositório MLPerf. Dessa forma, todos os usuários podem conferir os resultados obtidos. Para quem quiser maiores informações sobre os resultados, pode acessar o blog da empresa e acompanhar como os testes foram realizados.

Conteúdo Relacionado

Que que vocês andam aprontado?

Quem é esse PC que estão montando? Testamos o MAIS VENDIDO!

Fonte: Nvidia