Revisa tu salida de IA en un horario programado

Lo que construí

Construí un agente que investiga temas durante la noche y los redacta en una base de conocimientos interna — básicamente nuestra “biblia”. Cada una de nuestras auditorías de marca y reportes para clientes se genera a partir de ella. Funcionó durante meses. Aquí está el detalle importante: las auditorías y reportes que llegan a los clientes siempre son revisados y editados por un humano. La base de conocimientos que los sustenta, no. Esa única brecha es toda la historia.

Cómo falló — lentamente, y luego de golpe

Al principio fue gradual. Un error aquí y allá. Un poco de texto extraño. Nada que gritara “detén todo”. Luego, de repente, el razonamiento crudo del modelo local comenzó a volcarse directamente en los archivos. Abría mis borradores semanales y encontraba frases como “el usuario quiere que yo…” y “probablemente debería…” integradas en lo que supuestamente era material de referencia terminado. El pensamiento privado del modelo se había filtrado en la fuente de verdad de la que dependía todo lo posterior.

La urgencia

Soy organizado con mi tiempo. Pero entregar auditorías y reportes a los clientes en el horario programado con un flujo de trabajo dañado me puso en un aprieto considerable. Me llevó varias noches sin dormir — equilibrar las reparaciones del flujo de trabajo de IA mientras también completaba esos archivos de clientes a mano — para cumplir con mis compromisos. Al final, todo salió bien. Los clientes recibieron sus entregables a tiempo y nunca vieron el desastre. Pero no debería haber llegado a ese punto.

La lección que ya conocía e ignoré

Debería haber revisado las cosas antes — justo cuando empecé a notar los cambios graduales. Los errores y el “poco texto extraño” eran la advertencia. Los leí como ruido en lugar de señal. La solución no es “no usar IA”. La solución es tratar la verificación como una parte programada e innegociable del sistema, no como algo que haces cuando por casualidad notas un problema. Si un flujo de trabajo produce contenido sin supervisión, algo debe inspeccionar ese contenido en una cadencia — un humano, una prueba, un segundo modelo que verifica el primero — antes de que la pequeña desviación se convierta en una inundación.

Este es el problema del vibe-coding, en todas partes

Veo el mismo patrón en la tendencia actual del vibe-coding: personas que entregan salida de IA que nadie realmente lee, revisa o verifica. Funciona hasta que deja de hacerlo, y para cuando deja de funcionar, la salida incorrecta ya está tres niveles profunda en algo en lo que dependes. La velocidad sin un punto de control no es velocidad; es una limpieza diferida con intereses. La misma disciplina aplica sin importar si la salida es una base de conocimientos, un copy de marketing o código — por eso argumentamos que nunca debes publicar salida de IA sin procesar sin el juicio humano encima.

Cómo lo reconstruí — el punto de control que debería haber estado desde el día uno

La solución no era “esforzarse más por notar”. Notar es exactamente lo que me falló. La solución fue dejar de confiar en mí mismo para detectar desviaciones a simple vista y hacer que el pipeline se verifique a sí mismo, en un horario programado, sin importar si estaba prestando atención o no. Ahora trato la base de conocimientos de la misma manera que trataría el código de producción: nada se confía solo porque un modelo lo produjo. Aquí está el sistema real que implementé, y tiene la misma estructura que recomendaría para cualquier flujo de trabajo de contenido con IA.

• Un validador automático en cada archivo generado. Antes de que algo se guarde en la base de conocimientos, un script lo escanea en busca de las señales exactas que me causaron problemas — fragmentos de razonamiento como “el usuario quiere,” “probablemente debería,” “como una IA,” y otros patrones de filtración — más verificaciones estructurales: ¿el output tiene la longitud correcta, es válido, contiene realmente las secciones que debería? Cualquier cosa que active una regla se cuarentena en lugar de guardarse.
• Falla en voz alta, nunca falla en silencio. El error original fue silencioso — la salida incorrecta se coló y nada se quejó. Ahora, cuando el modelo devuelve algo malformado, el pipeline se detiene y me avisa, en lugar de escribir un archivo roto y seguir adelante. Un flujo de trabajo que oculta sus propios fallos es peor que uno que falla de forma visible, porque el silencioso te cuesta en el peor momento posible.
• Una revisión humana programada. La automatización captura los patrones que puedo nombrar; una persona captura los que no. Por eso, una parte fija de archivos es leída por un humano en una cadencia fija — no “cuando algo se ve raro,” sino en cada ciclo, en el calendario. Ese es el punto de control que me faltaba, y es un seguro económico contra la desviación lenta que no ves hasta que se convierte en una inundación.
• El entregable para el cliente siempre estuvo filtrado. Esta es la parte que me salvó: cada auditoría y reporte que llega a un cliente siempre pasó por una revisión humana. Esa barrera es por la que los clientes nunca vieron el desastre — y es la única regla que nunca relajaría, sin importar qué tan bueno se vuelva el modelo.

Nada de esto es exótico. Es validación, monitoreo y un humano en el ciclo — la infraestructura aburrida que todo flujo de trabajo de IA serio necesita y que la mayoría omite porque no es la parte divertida. La parte divertida es la automatización. La parte aburrida es la que mantiene honesta a la automatización.

La preocupación más grande: la fuente de verdad

Esto es lo que realmente me quita el sueño. En este momento, todavía hay una fuente de verdad debajo de todo en línea — reportes reales, registros reales, personas reales que verificaron. Pero si cada vez más de lo que se publica es generado por IA entrenada en IA, esa base se entierra. Se convierte en un juego de “teléfono descompuesto”, con la verdad cubierta capa por capa en “slop” de IA. Cada generación de modelos aprende de la salida de la generación anterior, y los errores se acumulan en lugar de corregirse. Esa no es una preocupación de ciencia ficción lejana; es la misma desviación que vi ocurrir dentro de la base de conocimientos de una empresa, escalada a toda la web.

La conclusión

La IA es una gran herramienta. Estaría fuera de negocio sin ella. Pero debe revisarse a fondo y en un horario programado — no cuando finalmente notas que algo se ve mal. Automatiza la tarea inicial. Mantén a un humano en el juicio. Y construye el punto de control en el sistema antes de que lo necesites, porque para cuando el razonamiento se esté filtrando en tus archivos, ya estarás haciendo el trabajo dos veces. Estoy feliz de dejar esto por escrito con mi nombre detrás.