最大化人工智能性能：超参数调优与软件优化

在不断发展的人工智能（AI）领域，数据科学家们不断寻求提升其应用性能的方法。一种有效的策略是利用优化过的机器学习软件，而不是依赖标准软件包。此外，通过像SigOpt这样的平台进行超参数调优，可以显著提高模型的准确性和效率。

PLAsTiCC（光度LSST天文时间序列分类挑战）是一个开放数据挑战，旨在根据天体的亮度变化对其进行分类。利用模拟的天文时间序列数据，该挑战为未来来自智利大型综合巡天望远镜的观测做准备。参与者必须将对象分类为14个类别之一，从140万行的小训练集过渡到1.89亿行的大型测试集。

人工智能模型的开发可以分为三个关键阶段：1. **Readcsv**：此阶段涉及将训练和测试数据以及元数据加载到pandas数据框中。2. **ETL（提取、转换、加载）**：在这里，数据框被操作和处理，以准备它们用于训练算法。3. **ML（机器学习）**：此阶段使用XGBoost库中的直方图树方法来训练分类模型，然后进行交叉验证，并用于在大型测试集中对对象进行分类。

为了提高Readcsv和ETL阶段的性能，使用了Intel® Distribution for Modin*。这个遵循pandas API的并行和分布式数据框库，允许在数据框操作中进行显著的性能提升，且代码更改最小。通过利用这个库，数据处理变得更加高效和可扩展。

在机器学习阶段，使用了针对Intel®架构优化的XGBoost库。这个版本的XGBoost旨在提高缓存效率和内存访问模式，从而在Intel®处理器上实现更好的性能。用户可以通过安装最新的XGBoost包轻松访问这个优化版本。

为了进一步提升模型性能，使用SigOpt进行超参数调优，这是一个简化优化过程的模型开发平台。SigOpt跟踪训练实验，可视化结果，并为各种模型扩展超参数优化。通过识别最佳参数值，SigOpt帮助实现PLAsTiCC挑战的最佳准确性和时间指标。

优化软件和超参数调优的结合带来了显著的性能提升。使用优化软件堆栈在PLAsTiCC阶段实现了18倍的端到端加速。此外，SigOpt的超参数调优在机器学习性能上贡献了额外的5.4倍提升，最终实现了1.5倍的整体增强。

性能优化是通过强大的硬件设置实现的：2个Intel® Xeon® Platinum 8280L处理器（28核），运行Ubuntu 20.04.1 LTS，配备384 GB RAM。软件堆栈包括scikit-learn、pandas、XGBoost和其他针对性能优化的库。

所述步骤展示了通过使用优化软件包、库和超参数调优工具，在人工智能工作负载中实现显著性能提升的可能性。通过利用这些技术，数据科学家可以释放其人工智能应用的全部潜力。