Modal

Modal ist eine KI-Infrastsplattform, die für Entwickler entwickelt wurde, um Inferenz, Training und Batch-Verarbeitung mit Kaltstarts unter einer Sekunde, sofortigem Autoscaling und einer lokalen Entwicklererfahrung auszuführen. Sie bietet programmierbare Infrastruktur, die in Code definiert ist, auf Leistung ausgelegt mit schneller Container-Skalierung, elastischer GPU-Kapazität über Clouds hinweg und vereinheitlichter Beobachtbarkeit. Modal unterstützt verschiedene ML-Workloads, darunter Inferenz für LLMs und generative Modelle, Modelltraining, Sandboxes für nicht vertrauenswürdigen Code und groß angelegte Batch-Verarbeitung, alles auf einer KI-nativen Laufzeit aufgebaut, die deutlich schneller als Docker ist.