LLMs en production : observabilité, monitoring et évaluation

Simone Civetta, expert chez Hymaïa, partage son expérience sur les défis des LLMs en production et l'importance de l'observabilité. À travers l'histoire de Philip et de son chatbot Zootbot, il explore les problèmes courants rencontrés lors du déploiement d'applications basées sur les LLMs -- jusqu'au jour où le chatbot s'est mis à recommander des boulettes de viande suédoises au lieu des produits de l'entreprise.

Ce talk répond à trois questions clés :
- Comment assurer la traçabilité et le monitoring de vos applications LLM en production ?
- Pourquoi la gestion de version des prompts est-elle cruciale pour la collaboration et l'itération ?
- Quels sont les bénéfices de l'évaluation (offline et online) pour garantir le comportement attendu de vos LLMs ?

Des solutions pratiques pour assurer la fiabilité et la performance de vos systèmes basés sur les LLMs.