Evals para agentes de IA: cómo medir antes de desplegar
Las evals para agentes de IA son pruebas sobre casos reales que el agente pasa antes de que nadie lo use. La primera suite se monta con 20 a 50 tareas sacadas de fallos de verdad. Separa lo que el agente aún no sabe hacer de lo que no puede volver a fallar, y decide si sale a producción.
Actualizado: 05/11/2026 · Deibson Silva · Forward Deployed AI Engineer y Fundador
¿Qué son las evals de un agente de IA?
Una eval es una prueba con un caso concreto y una forma de saber si el agente acertó. Una tarea es ese caso: la entrada que recibe el agente y lo que cuenta como respuesta correcta. Un evaluador es quien puntúa. Una suite es el conjunto de tareas.
La demo enseña que el agente puede acertar una vez, con el ejemplo que eligió quien la preparó. Las evals dicen en qué casos acierta, en cuáles falla y si falla siempre o solo a veces.
Hace falta medir varias veces porque un agente de IA no responde igual en cada intento. La misma tarea puede salir bien por la mañana y mal por la tarde. Por eso cada tarea se ejecuta varias veces y se guarda la transcripción completa de cada intento, con los pasos que dio el agente.
En el método, las evals tienen un dueño desde el primer día: una persona con nombre que mantiene la suite y lee los resultados.
¿En qué se diferencian las evals de capacidad y las de regresión?
Son dos suites distintas y se leen de forma distinta.
| Evals de capacidad | Evals de regresión | |
|---|---|---|
| Qué miden | Lo que el agente aún no sabe hacer bien | Lo que el agente ya hacía bien y no puede volver a fallar |
| De dónde salen las tareas | De los casos difíciles del proceso y de lo que se quiere que llegue a hacer | De fallos reales ya corregidos y de los casos que el experto dio por buenos |
| Resultado al empezar | Bajo: si pasa todo, la suite es demasiado fácil | Alto: tiene que pasar casi todo |
| Cuándo se ejecutan | Mientras se construye, para ver si un cambio mejora algo | Antes de publicar cualquier versión nueva |
| Si fallan | Se sigue trabajando | La versión no sale |
¿Cómo se monta la primera suite de evals?
Así se hace en la etapa «Construir con evals» del Método Legathum de Hibridación AI-First v3:
- 1Nombra al dueño de las evals. Sin esa persona, la suite se queda sin mantener en cuanto termina el proyecto.
- 2Reúne fallos reales del proceso de hoy. En una gestoría que clasifica documentos de sus clientes: la foto torcida, el documento duplicado, el NIF que falta.
- 3Escribe de 20 a 50 tareas con esos fallos. Cada una lleva la entrada tal como llega en el trabajo real y lo que cuenta como acierto. Los casos «parecidos», inventados para rellenar, no entran.
- 4Añade los casos que el experto de la casa resolvió al capturar su criterio. Una parte queda sellada, sin que el agente ni quien lo construye la hayan visto, para la prueba a ciegas del final.
- 5Elige evaluador para cada tarea: código cuando la respuesta se puede comprobar, un modelo con rúbrica cuando no se puede, y una persona que calibra a los dos.
- 6Ejecuta cada tarea varias veces y lee las transcripciones. El número solo no explica por qué falló.
- 7Separa capacidad y regresión. Cuando el agente ya esté en uso, cada fallo anotado entra como tarea nueva en la suite de regresión.
En los labs del programa las tareas usan solo datos sintéticos.
¿Qué significan pass@k y pass^k?
Son dos formas de resumir varios intentos de la misma tarea. Dicen cosas distintas.
pass@k
El agente acierta al menos una vez en k intentos. Sirve cuando una persona va a revisar la respuesta y puede pedir otro intento.
pass^k
El agente acierta en los k intentos. Es la medida que importa cuando va a hacer la tarea sin que nadie mire cada respuesta.
La distancia entre los dos
Un agente con pass@k alto y pass^k bajo sabe hacer la tarea, pero no todas las veces. Todavía no está para trabajar solo.
La transcripción
Dos fallos con la misma nota pueden tener causas distintas: una regla mal escrita, un dato que faltaba o un caso fuera de alcance. Eso solo se ve leyendo.
¿Qué pruebas pasa un agente antes de salir a producción?
Dos, y las firma el cliente. La primera se llama Espejo: el experto de la casa juzga a ciegas las respuestas del agente a los casos sellados. Pasa con al menos un 90 % de acuerdo y ninguna violación de un «nunca» del Libro de Criterio.
La segunda es la Prueba de Seguridad. El agente se ataca a propósito, con instrucciones escondidas en mensajes y en documentos. Cada herramienta que usa se clasifica por lo que puede hacer, y una acción de riesgo alto pide la aprobación previa de una persona.
En esa prueba se rellena también la ficha del Reglamento europeo de IA. Su artículo 26 pide que la supervisión humana de un sistema de alto riesgo la lleven personas con la competencia, la formación y la autoridad necesarias. Y desde el 2 de agosto de 2026 se aplica el artículo 50: quien habla con un sistema de IA tiene que saber que es una IA, salvo que resulte evidente por el contexto.
Ningún agente sale del modo sombra sin pasar la Prueba de Seguridad. Después sube por la Escalera de Autonomía, peldaño a peldaño: Sombra, Sugiere, Aprobación, Muestreo y Autónomo. Arranca un peldaño por debajo del objetivo.
¿De quién son las evals cuando el proyecto termina?
Del cliente. En el traspaso, una persona de su equipo ejecuta la suite de regresión desde sus propios sistemas, lee el resultado y decide, sin quien construyó el agente.
Si nadie de la empresa mantiene las evals, el sistema se queda tal como estaba el día de la entrega. El proceso cambia, llegan casos nuevos y nadie sabe si el agente sigue acertando.
Por eso la suite viaja con cada versión. El código, las instrucciones y la versión del modelo se publican juntos, y antes de publicar se pasa la regresión entera.
Dónde se aprende
- La certificación en la AcademyEl módulo de evals y el lab de suite de evals y regresión.
- Licencia Forward Deployed EngineerQué incluye, precio y condiciones.
- Forward Deployed Engineer: qué es y qué haceEl oficio y las siete etapas del método.
- Certificación Forward Deployed EngineerPrograma, labs y evaluación, semana a semana.
Límites honestos
- Una suite que pasa solo responde por los casos que alguien pensó en medir. El agente puede fallar en otros.
- Los umbrales de este artículo son los del método que se enseña en la certificación. Cada empresa fija los suyos con el dueño del proceso.
- Los labs del programa usan solo datos sintéticos. En el proyecto real, los datos de la empresa no salen de sus sistemas.
- El lab de evals y el de seguridad son los dos que hay que aprobar sí o sí para certificarse.
- La certificación acredita una competencia, nunca un empleo ni un ingreso.
Lo que más se pregunta
01¿Qué es una eval en inteligencia artificial?
Una prueba con un caso concreto y una forma de saber si el sistema acertó. En un agente se ejecuta varias veces, porque no responde igual en cada intento, y se guarda la transcripción para entender cada fallo.
02¿Cuántas tareas hacen falta para empezar?
El método empieza con 20 a 50 tareas sacadas de fallos reales del proceso, más los casos que el experto de la casa resolvió al capturar su criterio. Pocas tareas reales valen más que muchas inventadas.
03¿En qué se diferencia una eval de una prueba de software?
Una prueba de software da siempre el mismo resultado con la misma entrada. Un agente de IA puede acertar en un intento y fallar en el siguiente. Por eso las evals repiten cada tarea, usan evaluadores con rúbrica cuando no hay una respuesta única y se leen por porcentajes.
04¿Quién evalúa las respuestas del agente?
Depende de la tarea. Código cuando la respuesta se puede comprobar, un modelo con una rúbrica cuando no se puede, y una persona que calibra a los dos. En la prueba final juzga a ciegas el experto de la casa.
05¿Cuándo se vuelven a ejecutar las evals?
La suite de regresión se pasa entera antes de publicar una versión nueva, sea un cambio de código, de instrucciones o de modelo. Y cada fallo que aparece con el agente en uso se convierte en una tarea más.
Fuentes
- Reglamento (UE) 2024/1689 de inteligencia artificial en el BOE (DOUE-L-2024-81079): artículos 26, 50 y 113 · consultada el 05/11/2026

Fundador de Legathum e iPersonality y Forward Deployed AI Engineer. Dirige la Comunidad SciTechBiz desde Madrid y es el tribunal de la Certificación FDE.
Empieza desde tu panel
En la página de la licencia solicitas el acceso; al solicitarlo no se paga nada. Después firmas el contrato y pagas la licencia anual en tu panel.
iPersonality Global Institute, S.L. · NIF B27580042 · Madrid · Política de privacidad
Precios sin IVA. En España, más IVA. En el resto de la Unión Europea, el IVA se calcula en el pago según tu país y tu NIF-IVA. No se cobra IVA español a clientes del Reino Unido.