Créditos: Divulgação: Nvidia

NVIDIA lança TensorRT 8 com o dobro de poder de inferência em AI

Nova tecnologia irá acelerar processos como conversação automatizada, recomendações e buscas online

A Nvidia anunciou uma nova geração de sua tecnologia de aceleração de Inteligência Artificial (AI), o TensorRT 8, trazendo saltos em performance em cenários de inferência da máquina, melhorando capacidades de sistemas em realizar a inferência de idiomas em até metade do tempo do que tecnologias anteriores,  Esse recurso pode ser aplicado em situações como buscas online, recomendações automatizadas e conversas automatizadas, como chatbots.

O segredo para o ganho de performance é alcançado através de um tópico que já abordamos nas placas gamers: dados esparsos. Os núcleos tensores presentes em placas mais recentes da série RTX 30 já fazem uso dessa capacidade, e um conceito parecido é aplicado nessa tecnologia: ao invés de realizar os cálculos no tradicional grau de precisão INT32, a máquina opera com um quarto dos dados (INT8), resultando em muito mais agilidade no processamento, mas o grau de precisão final é superior ao presente na tecnologia anterior usando os núcleos tensores, entregando o dobro de precisão e o dobro de performance comparado ao TensorRT 7.

Em uso prático, o TensorRT 8 consegue entregar 2,5x mais performance que a tecnologia anterior no teste BERT-Large, uma tecnologia de inferência da máquina que faz a conversão da linguagem natural para modelos neurais implementado pela Google. O modelo Large desse teste é um cenário extremo onde o grau de precisão pode superar a interação humana, então sua implementação é de alto custo e depende de alto desempenho no hardware utilizado, e normalmente seu modelo era dimensionado para baixo, perdendo precisão mas com isso tornando viável sua implementação.

O TensorRT 8 já está disponível para ser implementado, com os SDKs disponíveis no NVIDIA Developer Program e as bibliotecas também disponíveis no GitHub. Atualmente a tecnologia TensorRT já é usada em por empresas de grande porte como a GE Healthcare, que atua na área de tecnologias médicas, diagnósticos e soluções digitais, e de acordo com a Nvidia já foram feitos mais de 2,5 milhões de downloads do TensorRT, sendo implementado por mais de 350 mil desenvolvedores pelo mundo.

Tags
  • Redator: Diego Kerber

    Diego Kerber

    Formado em Jornalismo pela Universidade Federal de Santa Catarina (UFSC), Diego Kerber é aficionado por tecnologia desde os oito anos, quando ganhou seu primeiro computador, um 486 DX2. Fã de jogos, especialmente os de estratégia, Diego atua no Adrenaline desde 2010 desenvolvendo artigos e vídeo para o site e canal do YouTube

Os jogos mais aguardados do segundo semestre de 2021

O que você achou deste conteúdo? Deixe seu comentário abaixo e interaja com nossa equipe. Caso queira sugerir alguma pauta, entre em contato através deste formulário.