IA juzga respuestas sin leer el archivo: ¿confiamos demasiado?

Imagina que un sistema de IA evalúa a otro agente de IA y le pone una calificación de 0.85 sobre 1. Suena bien, ¿no? El problema: el evaluador nunca abrió el archivo que debía revisar. Es como si un profesor calificara un examen solo por el título. Esto no es un experimento de laboratorio; es exactamente lo que documentó un equipo de desarrollo en TenureAI. Y no es un caso aislado: cada vez más equipos usan 'LLM-as-judge' (un modelo de lenguaje como juez) para evaluar automáticamente el desempeño de sus agentes de IA. El atajo es tentador: ahorra tiempo, escala fácil y parece objetivo. Pero si el juez no procesa la evidencia real, la nota es un espejismo. Para un knowledge worker, esto es una señal de alerta. Si delegas evaluaciones a una IA que no verifica datos concretos —como archivos, logs o resultados—, estás construiendo un castillo de naipes. En reuniones, en reportes, en decisiones de producto: la métrica bonita puede ocultar que el agente nunca hizo lo que prometía.