How a Small Data Platform Team Serves 2,000 People — with Self-Service and AI

Qonto est une banque européenne des entreprises de près de 2 000 salariés, avec une équipe data platform qui tient autour d'une seule table. Ce rapport ne fonctionne que si l'équipe cesse d'être le goulot d'étranglement : si elle livre des produits plutôt que des pipelines, et laisse le reste de l'entreprise se servir lui-même.

Ce talk raconte comment nous y sommes arrivés, et ce que ça nous a coûté.

Le self-service commence par une interface. La nôtre s'appelle Qontract, une couche de contrats de données bâtie sur ODCS : n'importe quelle équipe déclare la donnée qu'elle veut ingérer, sa source, son schéma, sa fraîcheur, son propriétaire, et obtient un pipeline en production sans qu'un data engineer écrive une ligne de code. Les contrats sont devenus la frontière entre les producteurs et la plateforme, ce qui fait qu'un changement de schéma cesse d'être un incident à 2 heures du matin pour devenir une pull request.

Vient ensuite la réalité de l'orchestration : des dizaines de dépôts dbt appartenant à des équipes de domaine différentes, tous planifiés depuis une seule instance Airflow par des sensors déclaratifs inter-dépôts. Nous montrerons comment ce montage multi-dépôts donne de l'autonomie aux équipes sans forker la plateforme, où il casse (graphes de dépendances que personne ne possède de bout en bout, contention de l'ordonnanceur, routage vers l'entrepôt), et les garde-fous que nous avons ajoutés pour qu'il reste honnête.

Puis la confiance comme produit : une page d'état des pipelines de données, interne et visible de toute l'entreprise, pour que la fraîcheur et les pannes atteignent les consommateurs avant de nous atteindre.

Puis l'IA, qui pour nous recouvre trois choses différentes.

Nous construisons avec. Chacun des produits ci-dessus a été livré plus vite parce que l'équipe utilise des agents de code au quotidien : le débit d'une petite équipe est désormais fonction de la façon dont elle les manie.

Nous la débloquons. Sans données, l'IA n'est rien, et les ambitions IA de toute l'entreprise passaient droit par nous. Cela a fait d'une petite équipe plateforme le goulot d'étranglement de quelque chose de bien plus grand que l'analytics. Les contrats, les métadonnées de propriété et l'accès MCP à l'entrepôt sont ce qui nous a sortis du chemin critique.

Et nous tournons dessus. Notre charge de support et d'astreinte est de plus en plus prise en charge par un agent IA de permanence, qui trie les demandes de données entrantes, enquête sur les échecs de pipelines, et répond à ce qui occupait auparavant toute la matinée d'un humain.

À retenir : ce qu'il faut standardiser, ce qu'il faut confier, et ce qu'une petite équipe devrait refuser de prendre en charge.