Créditos: NVIDIA Blog

Nvidia passa a oferecer aceleração de GPU pela plataforma de análise de dados Apache Spark 3.0

Os ganhos permitem treinar conjuntos de dados maiores e retreiná-los com mais frequência

A Nvidia anunciou que,a partir de agora, está colaborando com a comunidade de código aberto e oferecendo aceleração de GPU pela Apache Spark 3.0 - melhor plataforma de análise de dados do mundo, segundo a empresa.

Com o lançamento da Apache Spark 3.0 e a parceria com a Nvidia, a comunidade mundial de pesquisa de dados e engenharia de machine learning poderão aplicar aceleração de GPU em suas cargas de trabalho. Além disso,  o treinamento de modelos de Inteligência Artificial (IA) poderá ser processado no mesmo cluster da Spark, em vez de executar as cargas de trabalho como processos separados em infraestruturas distintas. De acordo com a empresa, "isso possibilita a análise de dados de alto desempenho em todo o pipeline de ciência de dados".

“A aceleração nativa de GPU para todo o pipeline do Spark 3.0 - do ETL ao treinamento e à inferência - fornece o desempenho e a escala necessários para finalmente conectar o potencial de big data com o poder da IA.” - Manuvir Das, chefe de Enterprise Computing da NVIDIA.

“A aceleração nativa de GPU para todo o pipeline do Spark 3.0 - do ETL ao treinamento e à inferência - fornece o desempenho e a escala necessários para finalmente conectar o potencial de big data com o poder da IA.” - Manuvir Das, chefe de Enterprise Computing da NVIDIA.

Para saber um pouco mais sobre o Spark 3.0, assista o vídeo abaixo a partir dos 5min:

- Continua após a publicidade -

Os ganhos de desempenho na Spark 3.0 permitem que os cientistas treinem conjuntos de dados maiores e retreinem os mesmos com mais frequência, além de processar uma boa quantidade de novos dados todos os dias. A Adobe, por exemplo, é uma das companhias que tem trabalhado com uma versão de visualização da Spark 3.0 e, ainda segundo a Nvidia, conseguiu desempenho sete vezes maior e economia de custos de 90% em um teste inicial, usando análise de dados acelerada por GPU.

A Apache Spark foi criada pelos fundadores do Databricks.  A Nvidia também está colaborando em um novo acelerador RAPIDS de código aberto para a plataforma em questão, que deve ajudar os cientistas a aumentar o desempenho de seus pipelines de ponta a ponta. 

Uma versão de visualização do Spark 3.0 está disponível pela Apache Software Foundation, com disponibilidade geral planejada para os próximos meses. 

  • Redator: Saori Almeida

    Saori Almeida

    Saori Almeida é natural do Rio Grande do Sul, técnica em administração formada pelo Centro Tecnológico de Caxias do Sul (CETEC) e estudante de Jornalismo na Universidade Federal de Santa Catarina (UFSC). Gosta da cultura asiática e nerd no geral e tem interesse crescente por tecnologia e games desde pequena - gosto que se intensifica diariamente na redação.

Os jogos mais aguardados do segundo semestre de 2021

O que você achou deste conteúdo? Deixe seu comentário abaixo e interaja com nossa equipe. Caso queira sugerir alguma pauta, entre em contato através deste formulário.