Accélérez le traitement des données JSON avec NVIDIA cuDF

JSON (JavaScript Object Notation) est un format largement utilisé pour l'échange de données, en particulier dans les applications web et les grands modèles linguistiques (LLM). Bien que lisible par l'homme, le traitement des données JSON avec des outils de science des données peut être complexe. Les données JSON sont souvent représentées sous forme de lignes JSON délimitées par des sauts de ligne (NDJSON), nécessitant des méthodes efficaces pour les convertir en dataframes pour l'analyse. Cet article explore comment NVIDIA cuDF accélère considérablement ce processus par rapport à d'autres bibliothèques.

Il est crucial de différencier l'analyse (parsing) et la lecture (reading) de JSON. L'analyse JSON, effectuée par des outils comme simdjson, convertit les données caractères en jetons représentant les composants JSON (noms de champs, valeurs, etc.). La lecture JSON, quant à elle, convertit ces données tokenisées en dataframes structurés, gérant les limites d'enregistrements, les structures imbriquées, les champs manquants et l'inférence des types de données. cuDF excelle dans les deux, offrant un débit d'analyse élevé et une conversion efficace en dataframe.

Les performances des lecteurs de lignes JSON dépendent de facteurs tels que le nombre d'enregistrements, de colonnes, la profondeur d'imbrication, les types de données, la longueur des chaînes et les clés manquantes. Cette étude compare pandas, DuckDB, pyarrow et RAPIDS cuDF en utilisant diverses structures JSON, y compris des listes et des structs avec des types de données entiers et chaînes. Les benchmarks ont été réalisés sur un GPU NVIDIA H100 avec un CPU Intel Xeon Platinum et une quantité de RAM suffisante.

cuDF démontre des performances supérieures en lecture JSON. Les benchmarks montrent que cuDF atteint jusqu'à 133x d'accélération par rapport à pandas avec le moteur par défaut et 60x d'accélération par rapport à pandas avec le moteur pyarrow. DuckDB et pyarrow montrent également de bonnes performances, mais cuDF les surpasse constamment, en particulier avec des schémas complexes. pylibcudf, utilisant les ressources mémoire asynchrones de CUDA, obtient les temps les plus rapides. La performance a été évaluée sur le traitement de 28 fichiers d'entrée totalisant 8,2 Go.

Les données JSON contiennent souvent des exceptions comme des champs entre guillemets simples, des enregistrements invalides et des types de données mixtes. cuDF offre des options robustes pour gérer ces exceptions, y compris la normalisation des guillemets simples, la récupération des lignes incorrectes en les remplaçant par des valeurs nulles, et la coercition des types de données en chaînes. Ces fonctionnalités améliorent la capacité de cuDF à traiter efficacement les données JSON du monde réel. cuDF offre des options compatibles avec `allowSingleQuotes` d'Apache Spark.

cuDF propose des options avancées de lecteur JSON pour la compatibilité avec Apache Spark, y compris des règles de validation pour les nombres et les chaînes, des séparateurs d'enregistrements personnalisés, l'élagage de colonnes basé sur les types de données, et des valeurs NaN personnalisées. Ces options, accessibles via les API cuDF-Python et pylibcudf, offrent un contrôle granulaire sur le processus de lecture JSON. Référez-vous à la documentation de l'API C++ libcudf pour plus de détails sur `json_reader_options`.

Les capacités de traitement des données JSON accélérées par GPU de cuDF sont également disponibles dans le RAPIDS Accelerator pour Apache Spark. Cette intégration permet aux utilisateurs de tirer parti de la puissance des GPU pour accélérer le traitement JSON dans leurs flux de travail Spark, améliorant ainsi davantage les performances et l'efficacité. Cette intégration est disponible à partir de la version 24.12.

RAPIDS cuDF fournit une solution puissante, flexible et accélérée pour le traitement des données JSON en Python. Ses performances supérieures, sa gestion robuste des erreurs et son intégration transparente avec Apache Spark en font un choix idéal pour les data scientists et les ingénieurs travaillant avec de grands ensembles de données JSON. En utilisant cuDF, les utilisateurs peuvent réduire considérablement les temps de traitement et améliorer l'efficacité de leurs pipelines de données.