Beschleunigen Sie die Verarbeitung von JSON-Daten mit NVIDIA cuDF

JSON (JavaScript Object Notation) ist ein weit verbreitetes Format für den Datenaustausch, insbesondere in Webanwendungen und großen Sprachmodellen (LLMs). Obwohl für Menschen lesbar, kann die Verarbeitung von JSON-Daten mit Data-Science-Tools komplex sein. JSON-Daten werden oft als zeilengetrennte JSON-Zeilen (NDJSON) dargestellt, was effiziente Methoden zur Konvertierung in DataFrames für die Analyse erfordert. Dieser Artikel untersucht, wie NVIDIA cuDF diesen Prozess im Vergleich zu anderen Bibliotheken erheblich beschleunigt.

Es ist wichtig, zwischen JSON-Parsing und -Lesen zu unterscheiden. JSON-Parsing, durchgeführt von Tools wie simdjson, konvertiert Zeichendaten in Tokens, die JSON-Komponenten (Feldnamen, Werte usw.) darstellen. JSON-Lesen hingegen konvertiert diese tokenisierten Daten in strukturierte DataFrames, wobei Datensatzgrenzen, verschachtelte Strukturen, fehlende Felder und Datentypinferenz behandelt werden. cuDF zeichnet sich in beidem aus und bietet einen hohen Parsing-Durchsatz und eine effiziente DataFrame-Konvertierung.

Die Leistung von JSON-Zeilenlesern hängt von Faktoren wie der Anzahl der Datensätze, Spalten, Verschachtelungstiefe, Datentypen, Zeichenkettenlängen und fehlenden Schlüsseln ab. Diese Studie vergleicht pandas, DuckDB, pyarrow und RAPIDS cuDF mit verschiedenen JSON-Strukturen, einschließlich Listen und Strukturen mit Integer- und String-Datentypen. Die Benchmarks wurden auf einer NVIDIA H100 GPU mit einer Intel Xeon Platinum CPU und ausreichend RAM durchgeführt.

cuDF zeigt eine überlegene Leistung beim Lesen von JSON. Benchmarks zeigen, dass cuDF eine bis zu 133-fache Beschleunigung im Vergleich zu pandas mit der Standard-Engine und eine 60-fache Beschleunigung im Vergleich zu pandas mit der pyarrow-Engine erzielt. DuckDB und pyarrow zeigen ebenfalls gute Leistungen, aber cuDF übertrifft sie durchweg, insbesondere bei komplexen Schemata. pylibcudf, das asynchrone CUDA-Speicherressourcen nutzt, erzielt die schnellsten Zeiten. Die Leistung wurde anhand der Verarbeitung von 28 Eingabedateien mit insgesamt 8,2 GB bewertet.

JSON-Daten enthalten oft Ausnahmen wie einzeilig Anführungszeichen, ungültige Datensätze und gemischte Datentypen. cuDF bietet robuste Optionen zur Behandlung dieser Ausnahmen, einschließlich der Normalisierung von einfachen Anführungszeichen, der Wiederherstellung von fehlerhaften Zeilen durch Ersetzen durch Nullwerte und der Umwandlung von Datentypen in Zeichenketten. Diese Funktionen verbessern die Fähigkeit von cuDF, reale JSON-Daten effektiv zu verarbeiten. cuDF bietet Optionen, die mit der `allowSingleQuotes`-Funktion von Apache Spark kompatibel sind.

cuDF bietet erweiterte JSON-Reader-Optionen für die Kompatibilität mit Apache Spark, einschließlich Validierungsregeln für Zahlen und Zeichenketten, benutzerdefinierte Datensatztrenner, Spaltenbereinigung basierend auf Datentypen und benutzerdefinierte NaN-Werte. Diese Optionen, die über die cuDF-Python- und pylibcudf-APIs zugänglich sind, bieten eine feingranulare Kontrolle über den JSON-Leseprozess. Weitere Details zu `json_reader_options` finden Sie in der libcudf C++ API-Dokumentation.

Die GPU-beschleunigten JSON-Datenverarbeitungsfunktionen von cuDF sind auch im RAPIDS Accelerator für Apache Spark verfügbar. Diese Integration ermöglicht es Benutzern, die Leistung von GPUs zur Beschleunigung der JSON-Verarbeitung in ihren Spark-Workflows zu nutzen und so Leistung und Effizienz weiter zu steigern. Diese Integration ist ab der Version 24.12 verfügbar.

RAPIDS cuDF bietet eine leistungsstarke, flexible und beschleunigte Lösung für die Verarbeitung von JSON-Daten in Python. Seine überlegene Leistung, robuste Fehlerbehandlung und nahtlose Integration mit Apache Spark machen es zur idealen Wahl für Data Scientists und Ingenieure, die mit großen JSON-Datensätzen arbeiten. Durch die Nutzung von cuDF können Benutzer die Verarbeitungszeiten erheblich verkürzen und die Effizienz ihrer Datenpipelines verbessern.