Acelere o Processamento de Dados JSON com NVIDIA cuDF

JSON (JavaScript Object Notation) é um formato amplamente utilizado para intercâmbio de dados, especialmente em aplicações web e modelos de linguagem grandes (LLMs). Embora legível por humanos, o processamento de dados JSON com ferramentas de ciência de dados pode ser complexo. Dados JSON são frequentemente representados como linhas JSON delimitadas por nova linha (NDJSON), exigindo métodos eficientes para convertê-los em dataframes para análise. Este artigo explora como o NVIDIA cuDF acelera significativamente este processo em comparação com outras bibliotecas.

É crucial diferenciar entre análise (parsing) e leitura de JSON. A análise de JSON, realizada por ferramentas como simdjson, converte dados de caracteres em tokens que representam componentes JSON (nomes de campos, valores, etc.). A leitura de JSON, por outro lado, converte esses dados tokenizados em dataframes estruturados, lidando com limites de registros, estruturas aninhadas, campos ausentes e inferência de tipos de dados. O cuDF se destaca em ambos, fornecendo alta taxa de transferência de análise e conversão eficiente para dataframes.

O desempenho dos leitores de linhas JSON depende de fatores como o número de registros, colunas, profundidade de aninhamento, tipos de dados, comprimentos de strings e chaves ausentes. Este estudo compara pandas, DuckDB, pyarrow e RAPIDS cuDF usando várias estruturas JSON, incluindo listas e structs com tipos de dados inteiros e string. Os benchmarks foram realizados em uma GPU NVIDIA H100 com uma CPU Intel Xeon Platinum e RAM abundante.

O cuDF demonstra desempenho superior na leitura de JSON. Os benchmarks mostram que o cuDF atinge até 133x de aceleração em comparação com o pandas com o motor padrão e 60x de aceleração em comparação com o pandas com o motor pyarrow. DuckDB e pyarrow também mostram bom desempenho, mas o cuDF consistentemente os supera, especialmente com esquemas complexos. O pylibcudf, utilizando recursos de memória assíncrona CUDA, atinge os tempos mais rápidos. O desempenho foi avaliado com base no processamento de 28 arquivos de entrada totalizando 8,2 GB.

Dados JSON frequentemente contêm exceções como campos entre aspas simples, registros inválidos e tipos de dados mistos. O cuDF fornece opções robustas para lidar com essas exceções, incluindo normalização de aspas simples, recuperação de linhas ruins substituindo-as por valores nulos e coerção de tipos de dados para strings. Esses recursos aprimoram a capacidade do cuDF de processar dados JSON do mundo real de forma eficaz. O cuDF oferece opções compatíveis com `allowSingleQuotes` do Apache Spark.

O cuDF oferece opções avançadas de leitor JSON para compatibilidade com Apache Spark, incluindo regras de validação para números e strings, separadores de registro personalizados, poda de colunas com base em tipos de dados e valores NaN personalizados. Essas opções, acessíveis através das APIs cuDF-Python e pylibcudf, fornecem controle granular sobre o processo de leitura de JSON. Consulte a documentação da API C++ libcudf para mais detalhes sobre `json_reader_options`.

As capacidades de processamento de dados JSON aceleradas por GPU do cuDF também estão disponíveis no RAPIDS Accelerator para Apache Spark. Esta integração permite que os usuários aproveitem o poder das GPUs para acelerar o processamento de JSON em seus fluxos de trabalho Spark, aumentando ainda mais o desempenho e a eficiência. Esta integração está disponível a partir da versão 24.12.

O RAPIDS cuDF fornece uma solução poderosa, flexível e acelerada para processar dados JSON em Python. Seu desempenho superior, tratamento robusto de erros e integração perfeita com Apache Spark o tornam uma escolha ideal para cientistas de dados e engenheiros que trabalham com grandes conjuntos de dados JSON. Ao alavancar o cuDF, os usuários podem reduzir significativamente os tempos de processamento e melhorar a eficiência de seus pipelines de dados.