Reducing Production Incidents with Data Contracts

Chez BlaBlaCar, les équipes de données bakcend et frontend consomment 1 milliard d'événements par jour via Kafka. Pour améliorer la fiabilité de nos pipelines de données, nous utilisons des Data Contracts afin de fournir une structure standardisée à nos données. Cela a permis de boucler la boucle de rétroaction entre les producteurs et les consommateurs de données, améliorant massivement la qualité des flux de données entrants.

Cette présentation expliquera comment nous avons mis en place cette organisation chez BlaBlaCar et les problèmes que nous avons pu résoudre. Technologies utilisées : Kafka, Avro, BigQuery, OpenAPI, Java.