L’idée à retenir
L’évaluation compare les résultats aux exigences de la tâche. Elle doit inclure des échecs réalistes et pas seulement des exemples flatteurs.
Méthode
Rassemblez cas ordinaires et difficiles, définissez une grille et séparez le jeu de référence du réglage des prompts. Faites évaluer exactitude, exhaustivité et cohérence de marque. Notez versions, coûts et interventions.
Comment évaluer les progrès
Suivez désaccords et types d’échecs récurrents. Un score global peut masquer une erreur inacceptable. Réévaluez lorsque tâche, modèle, sources ou processus changent.
Décision
Décidez quelles erreurs sont inacceptables dans ce processus et quelles imperfections un relecteur peut raisonnablement corriger. Une affirmation produit erronée peut bloquer la diffusion malgré un bon style et un contenu complet. Définissez ces critères bloquants avant de sélectionner les exemples ou de comparer les configurations.
Exercice
Rassemblez douze tâches ordinaires, six tâches difficiles et six cas devant provoquer une clarification ou une abstention. Faites noter indépendamment un sous-ensemble par deux relecteurs, sans montrer le nom de la configuration. Discutez les désaccords et clarifiez la grille avant la comparaison complète. Conservez un ensemble séparé jusqu’à la fin des modifications du processus.
Livrable
Livrez un dossier d’évaluation contenant entrées, preuves requises, repères de notation, erreurs bloquantes et registre des résultats. Notez configuration, date, effort de relecture, réalisation de la tâche et type d’échec. Présentez la performance globale et les échecs les plus importants afin qu’une moyenne ne masque pas une erreur inacceptable.
Piège à éviter
Un modèle évaluant sa propre réponse peut manquer l’hypothèse qui a causé l’erreur. Prévoyez des contrôles indépendants pour les faits et calculs, et une appréciation humaine pour les décisions importantes. Si les relecteurs divergent sur le résultat attendu, clarifiez la tâche avant d’interpréter un score.
La technologie. Son utilité concrète.
Chatbots
Une interface pour poser des questions, explorer un brief ou rédiger avec un modèle IA.
Lire le guideIA agentique
Un agent choisit des étapes et utilise des outils pour atteindre un objectif, avec des permissions définies.
Lire le guideSkills
Des instructions, exemples et scripts réutilisables expliquent à un agent comment votre équipe réalise une tâche.
Lire le guideRAG
Recherche les documents pertinents de l’entreprise pour ancrer une réponse dans vos connaissances.
Lire le guideSources officielles
Anthropic · Building effective agentsDémos
Un CSV synthétique couvre quatre campagnes sur deux périodes. L’amélioration globale du rendement cache-t-elle un problème ?
Voir le détailVous voulez ce workflow pour votre équipe ?
Nous aidons les équipes marketing à gagner du temps, produire davantage et améliorer leurs résultats grâce à des solutions IA, des workflows, des outils et des formations pratiques.
Discuter de mon workflow IA