Maximierung der KI-Leistung: Hyperparameter-Tuning und Software-Optimierung

Im sich ständig weiterentwickelnden Bereich der künstlichen Intelligenz (KI) suchen Datenwissenschaftler kontinuierlich nach Methoden zur Verbesserung der Leistung ihrer Anwendungen. Eine effektive Strategie besteht darin, optimierte Machine-Learning-Software anstelle von Standardpaketen zu verwenden. Darüber hinaus kann das Hyperparameter-Tuning über Plattformen wie SigOpt die Modellgenauigkeit und Effizienz erheblich verbessern.

Die PLAsTiCC (Photometric LSST Astronomical Time-Series Classification Challenge) ist eine offene Datenherausforderung, die darauf abzielt, Himmelsobjekte basierend auf ihren Helligkeitsvariationen zu klassifizieren. Mit simulierten astronomischen Zeitreihendaten bereitet diese Herausforderung auf zukünftige Beobachtungen des Large Synoptic Survey Telescope in Chile vor. Die Teilnehmer müssen Objekte in eine von 14 Klassen klassifizieren und dabei von einem kleinen Trainingssatz mit 1,4 Millionen Zeilen zu einem umfangreichen Testsatz mit 189 Millionen Zeilen übergehen.

Die Entwicklung eines KI-Modells kann in drei Hauptphasen unterteilt werden: 1. **Readcsv**: In dieser Phase werden Trainings- und Testdaten sowie Metadaten in Pandas-Datenrahmen geladen. 2. **ETL (Extract, Transform, Load)**: Hier werden Datenrahmen manipuliert und verarbeitet, um sie für den Trainingsalgorithmus vorzubereiten. 3. **ML (Machine Learning)**: In dieser Phase wird die Histogrammbaum-Methode aus der XGBoost-Bibliothek verwendet, um das Klassifikationsmodell zu trainieren, das dann validiert und zur Klassifizierung von Objekten im umfangreichen Testsatz verwendet wird.

Um die Leistung der Readcsv- und ETL-Phasen zu verbessern, wird die Intel® Distribution for Modin* verwendet. Diese parallele und verteilte Datenrahmenbibliothek, die der Pandas-API entspricht, ermöglicht erhebliche Leistungsverbesserungen bei Datenrahmenoperationen mit minimalen Codeänderungen. Durch die Nutzung dieser Bibliothek wird die Datenverarbeitung effizienter und skalierbarer.

Für die Phase des maschinellen Lernens wird die für die Intel®-Architektur optimierte XGBoost-Bibliothek eingesetzt. Diese Version von XGBoost ist darauf ausgelegt, die Cache-Effizienz und den Speicherzugriff zu verbessern, was zu einer besseren Leistung auf Intel®-Prozessoren führt. Benutzer können auf diese optimierte Version zugreifen, indem sie das neueste XGBoost-Paket installieren.

Um die Modellleistung weiter zu verbessern, wird das Hyperparameter-Tuning mit SigOpt durchgeführt, einer Plattform zur Modellentwicklung, die den Optimierungsprozess vereinfacht. SigOpt verfolgt Trainingsexperimente, visualisiert Ergebnisse und skaliert die Hyperparameter-Optimierung für verschiedene Modelle. Durch die Identifizierung der optimalen Parameterwerte hilft SigOpt, die besten Genauigkeits- und Zeitmetriken für die PLAsTiCC-Herausforderung zu erreichen.

Die Integration optimierter Software und Hyperparameter-Tuning hat zu bemerkenswerten Leistungsverbesserungen geführt. Die Verwendung des optimierten Software-Stacks ergab eine 18-fache End-to-End-Beschleunigung über die PLAsTiCC-Phasen. Darüber hinaus trug das Hyperparameter-Tuning von SigOpt zu einer zusätzlichen Verbesserung der maschinellen Lernleistung um 5,4-fach bei, was in einer insgesamt 1,5-fachen Verbesserung gipfelte.

Die Leistungsoptimierungen wurden mit einer robusten Hardware-Konfiguration erreicht: 2 Intel® Xeon® Platinum 8280L-Prozessoren (28 Kerne), die Ubuntu 20.04.1 LTS mit 384 GB RAM ausführen. Der Software-Stack umfasste scikit-learn, pandas, XGBoost und andere für die Leistung optimierte Bibliotheken.

Die skizzierten Schritte zeigen die signifikanten Leistungsverbesserungen, die in KI-Arbeitslasten durch die Verwendung optimierter Softwarepakete, Bibliotheken und Hyperparameter-Tuning-Tools erreicht werden können. Durch die Nutzung dieser Technologien können Datenwissenschaftler das volle Potenzial ihrer KI-Anwendungen ausschöpfen.