A Nvidia anunciou que,a partir de agora, está colaborando com a comunidade de código aberto e oferecendo aceleração de GPU pela Apache Spark 3.0 - melhor plataforma de análise de dados do mundo, segundo a empresa.

NVIDIA DGX A100, sistema IA mais avançado do mundo, vai ser usado no combate ao Covid-19

Com o lançamento da Apache Spark 3.0 e a parceria com a Nvidia, a comunidade mundial de pesquisa de dados e engenharia de machine learning poderão aplicar aceleração de GPU em suas cargas de trabalho. Além disso,  o treinamento de modelos de Inteligência Artificial (IA) poderá ser processado no mesmo cluster da Spark, em vez de executar as cargas de trabalho como processos separados em infraestruturas distintas. De acordo com a empresa, "isso possibilita a análise de dados de alto desempenho em todo o pipeline de ciência de dados".

“A aceleração nativa de GPU para todo o pipeline do Spark 3.0 - do ETL ao treinamento e à inferência - fornece o desempenho e a escala necessários para finalmente conectar o potencial de big data com o poder da IA.” - Manuvir Das, chefe de Enterprise Computing da NVIDIA.

“A aceleração nativa de GPU para todo o pipeline do Spark 3.0 - do ETL ao treinamento e à inferência - fornece o desempenho e a escala necessários para finalmente conectar o potencial de big data com o poder da IA.” - Manuvir Das, chefe de Enterprise Computing da NVIDIA.

Para saber um pouco mais sobre o Spark 3.0, assista o vídeo abaixo a partir dos 5min:

Os ganhos de desempenho na Spark 3.0 permitem que os cientistas treinem conjuntos de dados maiores e retreinem os mesmos com mais frequência, além de processar uma boa quantidade de novos dados todos os dias. A Adobe, por exemplo, é uma das companhias que tem trabalhado com uma versão de visualização da Spark 3.0 e, ainda segundo a Nvidia, conseguiu desempenho sete vezes maior e economia de custos de 90% em um teste inicial, usando análise de dados acelerada por GPU.

Nvidia anuncia a Jarvis, plataforma voltada para criação de serviços de IA em conversação

A Apache Spark foi criada pelos fundadores do Databricks.  A Nvidia também está colaborando em um novo acelerador RAPIDS de código aberto para a plataforma em questão, que deve ajudar os cientistas a aumentar o desempenho de seus pipelines de ponta a ponta. 

Uma versão de visualização do Spark 3.0 está disponível pela Apache Software Foundation, com disponibilidade geral planejada para os próximos meses.