Règles ou exemples de requêtes : quel contexte aide le plus votre agent d'analytics ?

Pourquoi recommande-t-on si souvent des exemples dans le contexte d'un LLM ? La réponse est simple : ils réduisent la quantité de travail que le modèle doit fournir pour produire une réponse analogue.

Un exemple pas trop simple : pour la question « Quel est le taux de croissance mensuel du chiffre d'affaires sur les 12 derniers mois ? », la situation est très différente selon que le modèle voit :
```

Table JAFFLE.ORDERS

SUBTOTAL (DOUBLE): Order value before sales tax, in USD.
The basis for revenue and order-value figures.
...

Example queries

What is the month-over-month order-count growth rate (%) for each month?

WITH monthly AS (
SELECT date_trunc('month', ORDERED_AT) AS month, COUNT(*) AS orders
FROM ORDERS GROUP BY 1
)
SELECT month, orders,
100.0 * (orders - LAG(orders) OVER (ORDER BY month))
/ LAG(orders) OVER (ORDER BY month) AS growth_pct
FROM monthly ORDER BY month
...
ou bien :
...
Metric: revenue
- Expression: SUM("SUBTOTAL")
- Table: JAFFLE.ORDERS
...
```

Une bibliothèque d'exemples est pourtant difficile à maintenir et à garder cohérente, et elle ne couvrira jamais toutes les questions que poseront les utilisateurs. Il est plus simple d'énoncer des règles en langage courant et de laisser le LLM les suivre. Combien de performance apportent-elles exactement ? Et quelles autres façons de présenter les faits nécessaires à la réponse existent ?

Ce talk présente nos recherches sur ce sujet, centrées sur des cas d'usage d'analytics agentique. Je décrirai les expériences, avec des chiffres précis sur les modèles les plus récents, et toutes les erreurs que j'ai commises en essayant de mesurer tout cela, pour que vous connaissiez les pièges à éviter. Il conclura sur les décisions clés et les arbitrages possibles au moment d'assembler le contexte, selon les objectifs de performance, de coût et de maintenabilité.