La autonomía solo es útil cuando es responsable. Las barreras, aprobaciones y trazas de auditoría que hacen confiables a los sistemas agénticos en producción.
Un copiloto sugiere. Un operador actúa. El salto entre ambos no es un mejor modelo — es la ingeniería alrededor del modelo lo que hace que la acción sea segura, reversible y responsable. En entornos regulados, esa ingeniería es todo el trabajo.
La autonomía necesita una correa visible
Cada acción que un agente pueda tomar debe ser enumerable, con permisos y registrada. Limitamos los agentes a un conjunto definido de herramientas, condicionamos las acciones de alto impacto a una aprobación explícita y registramos cada decisión con sus entradas para poder reproducirla y auditarla después.
- Acceso a herramientas con mínimo privilegio, delimitado por tarea
- Aprobación humana en acciones irreversibles
- Traza de auditoría completa y reproducible de cada decisión
Medir resultados, no demostraciones
Un agente que impresiona en una demostración aún puede equivocarse de formas que importan. Instrumentamos los agentes con métricas de resultado reales — éxito de la tarea, tasa de escalamiento, costo por caso resuelto — y tratamos las regresiones como incidentes de producción, no como curiosidades.
La confianza no es una propiedad del modelo. Es una propiedad del sistema — ganada con barreras, evidencia y responsabilidad.