Créditos: Divulgação: Nvidia
- Publicidade -

NVIDIA lança TensorRT 8 com o dobro de poder de inferência em AI

Nova tecnologia irá acelerar processos como conversação automatizada, recomendações e buscas online

A Nvidia anunciou uma nova geração de sua tecnologia de aceleração de Inteligência Artificial (AI), o TensorRT 8, trazendo saltos em performance em cenários de inferência da máquina, melhorando capacidades de sistemas em realizar a inferência de idiomas em até metade do tempo do que tecnologias anteriores,  Esse recurso pode ser aplicado em situações como buscas online, recomendações automatizadas e conversas automatizadas, como chatbots.

O segredo para o ganho de performance é alcançado através de um tópico que já abordamos nas placas gamers: dados esparsos. Os núcleos tensores presentes em placas mais recentes da série RTX 30 já fazem uso dessa capacidade, e um conceito parecido é aplicado nessa tecnologia: ao invés de realizar os cálculos no tradicional grau de precisão INT32, a máquina opera com um quarto dos dados (INT8), resultando em muito mais agilidade no processamento, mas o grau de precisão final é superior ao presente na tecnologia anterior usando os núcleos tensores, entregando o dobro de precisão e o dobro de performance comparado ao TensorRT 7.

Em uso prático, o TensorRT 8 consegue entregar 2,5x mais performance que a tecnologia anterior no teste BERT-Large, uma tecnologia de inferência da máquina que faz a conversão da linguagem natural para modelos neurais implementado pela Google. O modelo Large desse teste é um cenário extremo onde o grau de precisão pode superar a interação humana, então sua implementação é de alto custo e depende de alto desempenho no hardware utilizado, e normalmente seu modelo era dimensionado para baixo, perdendo precisão mas com isso tornando viável sua implementação.

O TensorRT 8 já está disponível para ser implementado, com os SDKs disponíveis no NVIDIA Developer Program e as bibliotecas também disponíveis no GitHub. Atualmente a tecnologia TensorRT já é usada em por empresas de grande porte como a GE Healthcare, que atua na área de tecnologias médicas, diagnósticos e soluções digitais, e de acordo com a Nvidia já foram feitos mais de 2,5 milhões de downloads do TensorRT, sendo implementado por mais de 350 mil desenvolvedores pelo mundo.

.....

Está pensando em comprar algum produto online? Conheça a extensão Economize do Adrenaline para Google Chrome. Ela é gratuita e oferece a você comparativo de preços nas principais lojas e cupons para você comprar sempre com o melhor preço. Baixe agora.

Tags
  • Redator: Diego Kerber

    Diego Kerber

    Formado em Jornalismo pela Universidade Federal de Santa Catarina (UFSC), Diego Kerber é aficionado por tecnologia desde os oito anos, quando ganhou seu primeiro computador, um 486 DX2. Fã de jogos, especialmente os de estratégia, Diego atua no Adrenaline desde 2010 desenvolvendo artigos e vídeo para o site e canal do YouTube

- Publicidade -

O que você achou deste conteúdo? Deixe seu comentário abaixo e interaja com nossa equipe. Caso queira sugerir alguma pauta, entre em contato através deste formulário.