From Analytics to AI: Evolving an Analytics Data Platform to power AI at scale

Jean-Matthieu Saponaro, Engineering Director chez Datadog, y travaille depuis 10 ans, d'abord comme data analyst avant de prendre la tête de l'Analytics Data Platform.

À mesure que l'IA devient un pilier central du développement produit chez Datadog, l'équipe Analytics Data Platform a dû évoluer pour la soutenir. Initialement conçue pour l'analytics traditionnel, la business intelligence et les pipelines ETL, la plateforme alimente désormais aussi le travail des AI engineers, une nouvelle catégorie de "first-class citizen" parmi les data practitioners accompagnés par Datadog, qui conçoivent et déploient des modèles de machine learning à travers plus de 50 composants de la suite produit Datadog.

Dans cette présentation, il explique comment l'équipe a adapté la plateforme aux besoins de l'AI engineering à grande échelle, sans compromis sur le self-service, la gouvernance ou la fiabilité. En cours de route, la prise en charge de nouveaux formats de stockage comme Iceberg et de moteurs de traitement distribués comme Ray a été introduite, en s'éloignant du Spark en Scala au profit d'un outillage Python-first, mieux adapté à la façon dont travaillent réellement les AI engineers.

De l'ingestion de données en self-serve à des workflows d'exploration flexibles, enrichis par des métadonnées robustes et l'observabilité, l'expérience de la plateforme a été repensée pour le développement itératif de modèles sur des milliers de milliards de points de données, dans un environnement complexe et multi-source. Il détaille comment les AI engineers chez Datadog découvrent, explorent, valident et utilisent un large éventail de données — de la télémétrie d'observabilité aux datasets cloud et métiers — via un catalogue unifié couvrant le lakehouse basé sur Iceberg, les systèmes de séries temporelles internes et le stockage propriétaire alimentant des produits clés comme Logs.

Que l'on cherche à moderniser une analytics platform ou à développer de nouvelles fonctionnalités pour des équipes IA, cette session apporte des enseignements concrets sur la construction d'une infrastructure scalable, fiable et en self-serve pour la data et l'IA.