La idea clave
La evaluación contrasta resultados con requisitos explícitos e incluye fallos realistas, no únicamente ejemplos favorables.
Método
Recoge entradas representativas y difíciles; define una rúbrica y reserva una muestra que no se use para ajustar prompts. Evalúa corrección, integridad y encaje de marca. Registra versiones, costes y puntos de intervención.
Cómo evaluar el progreso
Observa desacuerdos y errores repetidos. Una media puede ocultar un fallo inaceptable. Reevalúa cuando cambien tarea, modelo, fuentes o proceso.
Decisión
Defina los errores bloqueantes y las imperfecciones reparables. Una afirmación de producto falsa puede impedir la publicación aunque estilo y cobertura obtengan buenas notas. Fije estos criterios antes de seleccionar ejemplos o comparar configuraciones.
Ejercicio
Reúna doce tareas normales, seis difíciles y seis que exijan aclaración o abstención. Dos revisores deben puntuar una muestra sin conocer la configuración. Resuelvan desacuerdos y ambigüedades de la rúbrica antes de la comparación completa. Reserve otro conjunto hasta terminar los cambios.
Entregable
Entregue casos, pruebas requeridas, referencias de puntuación, errores bloqueantes y resultados. Registre configuración, fecha, esfuerzo de revisión, finalización y categoría de fallo. Muestre rendimiento general y fallos relevantes para que una media no oculte errores inaceptables.
Error que evitar
Un modelo puede ignorar en su propia evaluación la misma suposición que causó el error. Verifique hechos y cálculos independientemente y use criterio humano donde corresponda. Si los revisores discrepan sobre el resultado esperado, aclare primero la tarea.
La tecnología y su utilidad.
IA agéntica
Un agente decide pasos y utiliza herramientas para un objetivo con permisos definidos.
Leer la guíaSkills
Instrucciones, ejemplos y scripts reutilizables enseñan al agente cómo trabaja tu equipo.
Leer la guíaFuentes oficiales
Anthropic · Building effective agentsDemos
Un CSV sintético incluye cuatro campañas durante dos periodos. ¿Puede una mejora global ocultar un problema?
Ver detalles¿Quieres este proceso para tu equipo?
Ayudamos a los equipos de marketing a ahorrar tiempo, producir más y mejorar resultados con soluciones de IA, flujos de trabajo, herramientas y formación práctica.
Hablar de mi flujo de trabajo con IA