Maximiser la performance de l'IA : Réglage des hyperparamètres et optimisation logicielle

Dans le domaine en constante évolution de l'intelligence artificielle (IA), les data scientists cherchent continuellement des méthodes pour améliorer la performance de leurs applications. Une stratégie efficace consiste à utiliser des logiciels d'apprentissage automatique optimisés plutôt que de se fier à des packages standards. De plus, le réglage des hyperparamètres via des plateformes comme SigOpt peut considérablement améliorer la précision et l'efficacité des modèles.

Le PLAsTiCC (Photometric LSST Astronomical Time-Series Classification Challenge) est un défi de données ouvert visant à classer des objets célestes en fonction de leurs variations de luminosité. En utilisant des données de séries temporelles astronomiques simulées, ce défi se prépare pour de futures observations du Large Synoptic Survey Telescope au Chili. Les participants doivent classer les objets dans l'une des 14 classes, passant d'un petit ensemble d'entraînement de 1,4 million de lignes à un ensemble de test massif de 189 millions de lignes.

Le développement d'un modèle d'IA peut être segmenté en trois phases clés : 1. **Readcsv** : Cette phase implique le chargement des données d'entraînement et de test ainsi que des métadonnées dans des dataframes pandas. 2. **ETL (Extraire, Transformer, Charger)** : Ici, les dataframes sont manipulés et traités pour les préparer à l'algorithme d'entraînement. 3. **ML (Apprentissage Automatique)** : Cette phase utilise la méthode de l'arbre histogramme de la bibliothèque XGBoost pour entraîner le modèle de classification, qui est ensuite validé par croisement et utilisé pour classer les objets dans l'ensemble de test étendu.

Pour améliorer la performance des phases Readcsv et ETL, la distribution Intel® pour Modin* est utilisée. Cette bibliothèque de dataframes parallèle et distribuée, qui respecte l'API pandas, permet des améliorations significatives de performance dans les opérations sur les dataframes avec peu de modifications de code. En tirant parti de cette bibliothèque, le traitement des données devient plus efficace et évolutif.

Pour la phase d'apprentissage automatique, la bibliothèque XGBoost optimisée pour l'architecture Intel® est utilisée. Cette version de XGBoost est conçue pour améliorer l'efficacité du cache et les modèles d'accès à la mémoire, permettant une meilleure performance sur les processeurs Intel®. Les utilisateurs peuvent facilement accéder à cette version optimisée en installant le dernier package XGBoost.

Pour améliorer encore la performance du modèle, le réglage des hyperparamètres est effectué à l'aide de SigOpt, une plateforme de développement de modèles qui simplifie le processus d'optimisation. SigOpt suit les expériences d'entraînement, visualise les résultats et évolue l'optimisation des hyperparamètres pour divers modèles. En identifiant les valeurs optimales des paramètres, SigOpt aide à atteindre les meilleures métriques de précision et de timing pour le défi PLAsTiCC.

L'intégration de logiciels optimisés et de réglages d'hyperparamètres a entraîné des améliorations de performance remarquables. L'utilisation de la pile logicielle optimisée a permis un gain de vitesse de 18x de bout en bout à travers les phases du PLAsTiCC. De plus, le réglage des hyperparamètres par SigOpt a contribué à une amélioration supplémentaire de 5,4x de la performance de l'apprentissage automatique, culminant en une amélioration globale de 1,5x.

Les optimisations de performance ont été réalisées à l'aide d'une configuration matérielle robuste : 2 processeurs Intel® Xeon® Platinum 8280L (28 cœurs), fonctionnant sous Ubuntu 20.04.1 LTS avec 384 Go de RAM. La pile logicielle comprenait scikit-learn, pandas, XGBoost et d'autres bibliothèques optimisées pour la performance.

Les étapes décrites démontrent les améliorations significatives de performance réalisables dans les charges de travail d'IA grâce à l'utilisation de packages logiciels optimisés, de bibliothèques et d'outils de réglage des hyperparamètres. En tirant parti de ces technologies, les data scientists peuvent libérer tout le potentiel de leurs applications d'IA.