NVIDIA cuDF による JSON データ処理の高速化

JSON（JavaScript Object Notation）は、特にWebアプリケーションや大規模言語モデル（LLM）において、データ交換に広く使用されている形式です。人間が読める形式ですが、データサイエンスツールでJSONデータを処理することは複雑になる場合があります。JSONデータは、多くの場合、改行区切りJSONライン（NDJSON）として表現され、分析のためにデータフレームに変換するための効率的な方法が必要です。この記事では、NVIDIA cuDF が他のライブラリと比較してこのプロセスをどのように大幅に高速化するかを探ります。

JSONの解析（parsing）と読み込み（reading）を区別することは重要です。simdjsonのようなツールによって実行されるJSON解析は、文字データをJSONコンポーネント（フィールド名、値など）を表すトークンに変換します。一方、JSON読み込みは、このトークン化されたデータを構造化されたデータフレームに変換し、レコード境界、ネスト構造、欠損フィールド、データ型推論を処理します。cuDFは両方において優れており、高い解析スループットと効率的なデータフレーム変換を提供します。

JSONラインリーダーのパフォーマンスは、レコード数、列数、ネストの深さ、データ型、文字列長、キーの欠損などの要因に依存します。この調査では、pandas、DuckDB、pyarrow、およびRAPIDS cuDFを使用して、整数および文字列データ型を持つリストや構造体を含むさまざまなJSON構造をベンチマークします。ベンチマークは、NVIDIA H100 GPUとIntel Xeon Platinum CPU、および十分なRAMで実施されました。

cuDFはJSON読み込みにおいて優れたパフォーマンスを示します。ベンチマークによると、cuDFはデフォルトエンジンを使用した場合のpandasと比較して最大133倍、pyarrowエンジンを使用した場合のpandasと比較して60倍の高速化を達成しています。DuckDBとpyarrowも良好なパフォーマンスを示しますが、cuDFは、特に複雑なスキーマの場合に、それらを一貫して上回ります。CUDA非同期メモリリソースを利用するpylibcudfは、最速のタイムを達成します。パフォーマンスは、合計8.2 GBの28個の入力ファイルを処理した結果に基づいて評価されました。

JSONデータには、単一引用符のフィールド、無効なレコード、混合データ型などの例外が含まれることがよくあります。cuDFは、単一引用符の正規化、無効な行をnull値に置き換えることによる回復、データ型を文字列に強制することなど、これらの例外を処理するための堅牢なオプションを提供します。これらの機能により、cuDFは実際のJSONデータを効果的に処理する能力が向上します。cuDFは、Apache Sparkの`allowSingleQuotes`と互換性のあるオプションを提供します。

cuDFは、Apache Sparkとの互換性のために高度なJSONリーダーオプションを提供しており、数値および文字列の検証ルール、カスタムレコードセパレータ、データ型に基づく列のプルーニング、カスタムNaN値などが含まれます。これらのオプションは、cuDF-Pythonおよびpylibcudf APIを通じてアクセスでき、JSON読み込みプロセスをきめ細かく制御できます。`json_reader_options`の詳細については、libcudf C++ APIドキュメントを参照してください。

cuDFのGPUアクセラレーションされたJSONデータ処理機能は、Apache Spark用のRAPIDSアクセラレータでも利用できます。この統合により、ユーザーはGPUのパワーを活用してSparkワークフロー内のJSON処理を高速化し、パフォーマンスと効率をさらに向上させることができます。この統合は、24.12リリースから利用可能です。

RAPIDS cuDFは、PythonでJSONデータを処理するための強力で柔軟、かつ高速なソリューションを提供します。その優れたパフォーマンス、堅牢なエラー処理、およびApache Sparkとのシームレスな統合により、大規模なJSONデータセットを扱うデータサイエンティストやエンジニアにとって理想的な選択肢となります。cuDFを活用することで、ユーザーは処理時間を大幅に短縮し、データパイプラインの効率を向上させることができます。