Alucinación de IA en el Pentágono: Cómo un Informe Falso Casi se Convirtió en una Operación en 2026

Hola HaWkers, un informe de inteligencia que circuló por las Fuerzas Armadas de Estados Unidos en la primavera de 2026 afirmaba que un buque chino transportaba componentes para un programa nuclear en Oriente Medio. Según cuatro fuentes consultadas por CNN, la conclusión era errónea, había sido producida con ayuda de un chatbot y solo fue cuestionada cuando ya se preparaba una operación de interceptación.

¿Cómo atravesó una respuesta probabilística tantas capas hasta parecer evidencia operativa? En este artículo vamos a separar lo que se informó de lo que todavía no se ha demostrado públicamente y a convertir el episodio en un método práctico para cualquier equipo que utilice IA en decisiones de alto impacto.

Qué Sabemos Sobre el Informe y el Buque Chino

El reportaje de CNN, publicado el 18 de septiembre de 2026, atribuye los detalles a cuatro personas familiarizadas con el episodio. El informe habría circulado durante la guerra con Irán y desencadenado preparativos para interceptar y abordar un buque chino. Una transcripción de la propia CNN señala que las autoridades revisaron el documento cuando se acercaba la operación y descubrieron que el chatbot había identificado la carga de forma incorrecta.

De acuerdo con esas fuentes, un analista vinculado al comando de operaciones especiales pidió a una herramienta de IA que examinara información sobre el manifiesto del buque. El sistema combinó material de fuentes abiertas con inteligencia de señales clasificada y presentó una conclusión sobre componentes nucleares. Después, la IA se habría utilizado de nuevo para convertir el resultado en un informe de aspecto formal que se distribuyó dentro de la estructura militar.

Ars Technica resumió que la operación contemplaba un abordaje con apoyo aéreo y se detuvo antes de ejecutarse. TechCrunch, por su parte, informó que algunas aeronaves llegaron a estar en el aire. Como el Departamento de Defensa no ha publicado una investigación completa con la cronología, el modelo utilizado, los prompts y la cadena de aprobación, estos detalles deben seguir atribuyéndose a las fuentes periodísticas, no tratarse como un informe oficial concluido.

Esa distinción forma parte de la lección. En asuntos de alto riesgo, “una fuente dijo” no se convierte automáticamente en “el hecho fue auditado”. La transparencia sobre el grado de certeza debe acompañar a la información desde la primera consulta hasta la pantalla de la persona que toma la decisión.

Por Qué una Respuesta Convincente No Es una Evidencia

Los modelos de lenguaje producen secuencias plausibles. No consultan la realidad de forma predeterminada, no saben que una decisión es grave y no sienten dudas cuando faltan datos. El perfil de IA generativa del NIST denomina a este comportamiento confabulación: contenido falso o incorrecto presentado de manera convincente, a veces acompañado de una lógica y unas referencias igualmente inventadas.

El problema aumenta cuando el texto generado entra en un formulario institucional. El encabezado, la clasificación, el vocabulario técnico y la maquetación transmiten autoridad visual. Si la segunda etapa se limita a reescribir la primera, no hay una nueva verificación, sino una amplificación de la misma hipótesis. La apariencia cambia, pero el origen sigue siendo una salida probabilística.

También existe el riesgo de la automatización parcial. Cuando la IA entrega correctamente el noventa por ciento del documento, el usuario tiende a bajar la guardia ante el diez por ciento decisivo. En una lista de veinte cargas comunes, una línea falsa sobre material nuclear puede parecer un elemento más. Cuanto más fluido y completo sea el texto, más esfuerzo consciente se necesita para preguntar: “¿qué documento demuestra esta frase?”.

Por eso, la unidad mínima de confianza no debe ser el informe completo. Debe ser cada afirmación material, vinculada a la evidencia que la respalda. Una afirmación sobre una carga, una identidad, un valor, un diagnóstico o un fraude debe incluir fuente, hora, método de obtención, nivel de confianza y responsable de la revisión. Sin eso, el documento es un borrador, no inteligencia validada.

El Fallo Fue de la Cadena, No Solo del Modelo

Llamar al episodio “alucinación del chatbot” es correcto, pero incompleto. El modelo generó o reforzó una conclusión falsa; la cadena humana y técnica permitió que avanzara. Hubo una pregunta posiblemente amplia, una mezcla de fuentes con diferentes niveles de sensibilidad, ausencia de citas verificables, una nueva transformación por IA, distribución institucional y confianza operativa antes de una comprobación independiente.

Esta secuencia muestra cinco fronteras de control. La primera es la entrada: ¿qué datos puede recibir el modelo y cuál es la procedencia de cada fragmento? La segunda es la salida: ¿el sistema diferencia entre hechos extraídos, inferencias y contenido sin respaldo? La tercera es el formato: ¿pueden los fragmentos no verificados entrar en un documento oficial? La cuarta es la aprobación: ¿quién debe comprobar las fuentes primarias? La quinta es la acción: ¿qué riesgo exige una revisión adicional o un bloqueo automático?

El Departamento de Defensa ya publica cinco principios para la IA: responsable, equitativa, trazable, fiable y gobernable. La definición oficial de trazabilidad exige metodologías, fuentes de datos, procedimientos y documentación auditables. La fiabilidad requiere un uso definido y pruebas a lo largo de todo el ciclo de vida. La gobernabilidad incluye detectar consecuencias no deseadas y desactivar sistemas que se desvíen del comportamiento esperado.

El contraste entre el principio y el caso denunciado importa más que la búsqueda de culpables. Una política sin un mecanismo ejecutable se convierte en un cartel. Si el usuario puede copiar una conclusión sin fuentes en un informe de decisión, la trazabilidad es opcional. Si una única revisión formal autoriza una operación, el control humano existe en el organigrama, pero no necesariamente en el flujo real.

Crea un Contrato de Evidencia Antes de Llamar al Modelo

El primer control práctico es estructural: la IA no devuelve solo prosa. Debe entregar afirmaciones separadas, cada una con un identificador de fuente y un fragmento de respaldo. El software rechaza entonces cualquier conclusión material que no tenga evidencia recuperable. El modelo puede ayudar a encontrar y resumir; no obtiene permiso para crear el eslabón que falta.

Este ejemplo en TypeScript representa un contrato sencillo para un sistema corporativo genérico. No evalúa inteligencia militar ni sustituye a los especialistas, pero hace explícito lo que antes quedaría oculto en un párrafo:

type Nivel = 'baixo' | 'medio' | 'alto'

type Alegacao = {
  texto: string
  fonteIds: string[]
  confianca: number
  impacto: Nivel
  inferencia: boolean
}

function validarAlegacao(item: Alegacao): string[] {
  const erros: string[] = []

  // Una afirmación de alto impacto necesita dos fuentes independientes.
  if (item.impacto === 'alto' && item.fonteIds.length < 2) {
    erros.push('evidencia independente insuficiente')
  }

  // La confianza declarada no corrige la ausencia de una fuente verificable.
  if (item.fonteIds.length === 0) erros.push('alegacao sem fonte')
  if (item.confianca < 0 || item.confianca > 1) erros.push('confianca invalida')
  if (item.inferencia && item.impacto === 'alto') erros.push('inferencia exige revisao')

  return erros
}

En la práctica, fonteIds debe apuntar a registros inmutables: documento, captura autorizada, hash, versión, hora y reglas de acceso. No basta con recibir una URL inventada por la propia IA. El servicio busca la fuente en el repositorio permitido, confirma que existe y muestra el fragmento al revisor. Si el material es clasificado o personal, el diseño también debe impedir que salga del entorno autorizado.

Otra precaución es no convertir confianca: 0.98 en un sello científico. Los números producidos por el modelo pueden ser solo más texto. La confianza útil procede de una calibración medida en el caso de uso, la calidad de las fuentes, la concordancia entre métodos y la revisión humana. Cuando esa base no existe, muestra “no calibrado” en lugar de una precisión decorativa.

Haz Que el Riesgo Controle el Flujo, No la Extensión del Texto

Una recomendación de una lista de reproducción y una acusación de fraude no pueden utilizar el mismo flujo de aprobación. El riesgo depende del posible impacto, la reversibilidad, la urgencia y la calidad de la evidencia. Cuanto mayor sea el daño y menor la posibilidad de deshacer la acción, más fuerte debe ser el control.

Una pequeña función puede evitar que la aplicación trate la revisión humana como un botón cosmético:

type Decisao = {
  impacto: 'baixo' | 'medio' | 'alto'
  reversivel: boolean
  fontesIndependentes: number
  revisores: number
  origemAuditavel: boolean
}

function podeExecutar(decisao: Decisao): boolean {
  if (!decisao.origemAuditavel) return false

  if (decisao.impacto === 'alto') {
    // Alto impacto: dos fuentes y dos personas con funciones distintas.
    return decisao.fontesIndependentes >= 2 && decisao.revisores >= 2
  }

  if (!decisao.reversivel) {
    return decisao.fontesIndependentes >= 1 && decisao.revisores >= 1
  }

  return true
}

El valor está en la conexión entre la política y el código. La regla puede ser más sofisticada, pero debe poder probarse y ser difícil de eludir en silencio. Las excepciones necesitan un plazo, una justificación, un aprobador identificado y una revisión posterior. Emergencia no puede significar “desactiva los registros”; significa un flujo alternativo igualmente auditable.

El artículo sobre desacelerar la frontera de la IA y crear puntos de control por capacidad analiza la misma idea a escala de los laboratorios. Dentro de un producto, el principio es idéntico: una nueva capacidad no hereda automáticamente el permiso de la versión anterior. Si el modelo pasó de hacer resúmenes a formular recomendaciones operativas, el riesgo cambió y el control debe cambiar con él.

La Revisión Humana Solo Funciona con Independencia y Contexto

“Human in the loop” se ha convertido en una expresión tranquilizadora, pero una persona cansada que revisa cincuenta informes generados por hora puede suponer menos control de lo que parece. Si solo ve el texto final, tiende a aceptar el marco creado por el modelo. Si recibe la respuesta y la supuesta cita una al lado de la otra, todavía puede sufrir un sesgo de anclaje. Una revisión sólida comienza por la evidencia original.

Para afirmaciones críticas, el segundo revisor no debería limitarse a releer el primer dictamen. Debe realizar una consulta independiente, preferentemente con otra fuente, herramienta o estrategia. Dos agentes que utilizan el mismo modelo y el mismo índice no son dos fuentes; son dos muestras del mismo sistema.

Podemos verificar la independencia como una propiedad de los registros:

function gruposIndependentes(evidencias) {
  const grupos = new Set()

  for (const evidencia of evidencias) {
    // El mismo proveedor y el mismo conjunto de datos cuentan como un solo origen.
    grupos.add(`${evidencia.provedor}:${evidencia.dataset}`)
  }

  return grupos.size
}

const evidencias = [
  { provedor: 'arquivo-interno', dataset: 'manifestos-assinados' },
  { provedor: 'sensor-autorizado', dataset: 'telemetria-primaria' },
]

console.log({ origensIndependentes: gruposIndependentes(evidencias) })

El revisor también debe conocer el límite de la tarea. ¿El modelo estaba autorizado para extraer campos, cruzar identidades o inferir una intención? ¿Qué tasas de error se midieron? ¿En qué idioma y tipo de documento se realizaron las pruebas? Un sistema fiable para localizar nombres puede ser pésimo para interpretar códigos de carga. El contexto de la evaluación debe aparecer junto con la salida.

Por último, la autoridad y la responsabilidad no pueden desaparecer detrás de la interfaz. El modelo no “aprobó” nada; una persona o una política automatizada autorizó el siguiente paso. La pantalla debe indicar quién puede aprobar, qué evidencia se vio y qué acción se activará. Esto reduce la ambigüedad cuando algo falla y mejora la calidad de la decisión antes del fallo.

Registra el Linaje Completo y Ensaya el Botón de Parada

La trazabilidad no consiste en guardar todas las conversaciones sin criterio. Consiste en poder reconstruir una decisión: versión del modelo, prompt del sistema, herramientas invocadas, fuentes recuperadas, filtros aplicados, transformaciones, respuestas, revisores y acción final. Los datos sensibles exigen control de acceso, una retención breve y enmascaramiento, pero la ausencia total de linaje impide aprender de los incidentes.

Un evento de auditoría puede almacenar hashes en lugar del contenido original y aun así demostrar qué artefacto se utilizó:

type EventoAuditoria = {
  execucaoId: string
  modelo: string
  promptHash: string
  fonteHashes: string[]
  resultadoHash: string
  revisorId?: string
  acao: 'rascunho' | 'bloqueado' | 'aprovado'
  criadoEm: string
}

function registrar(evento: EventoAuditoria) {
  // En producción, guarda los datos en un almacenamiento append-only con acceso restringido.
  console.log(JSON.stringify(evento))
}

registrar({
  execucaoId: crypto.randomUUID(),
  modelo: 'modelo-aprovado@versao-fixa',
  promptHash: 'sha256:exemplo',
  fonteHashes: ['sha256:fonte-a', 'sha256:fonte-b'],
  resultadoHash: 'sha256:saida',
  acao: 'bloqueado',
  criadoEm: new Date().toISOString(),
})

Además del registro, el equipo debe ensayar la gobernabilidad. ¿Es posible desactivar la función sin derribar todo el producto? ¿Puede retirarse rápidamente una versión problemática? ¿Se congelan las acciones pendientes? ¿Quién tiene autoridad para activar el bloqueo fuera del horario laboral? Un botón de parada que nunca se ha probado es solo una hipótesis operativa.

El ensayo debe incluir un ejemplo convincente y falso, no solo entradas absurdas. Mide cuántos revisores detectan la ausencia de una fuente, cuánto tiempo tardan, si la interfaz destaca la incertidumbre y si el control realmente bloquea la acción. Después, repite la prueba bajo presión de tiempo. Muchos controles funcionan durante una demostración y fallan cuando crece la cola.

Perspectivas: la Velocidad sin Verificabilidad Aumenta el Riesgo

El caso denunciado por CNN no demuestra que toda la IA utilizada por el Gobierno estadounidense sea insegura, ni revela públicamente qué herramienta falló. Muestra algo más útil: un texto plausible puede ganar autoridad al atravesar sistemas, personas y formatos sin que su evidencia aumente de calidad. El fallo peligroso aparece cuando se confunden la velocidad y la formalidad con la verificación.

Para los equipos comunes, la escala cambia, pero la estructura resulta familiar. Un resumen médico puede omitir una alergia; un análisis antifraude puede acusar a un cliente; un agente financiero puede ejecutar una transferencia; un asistente jurídico puede inventar un precedente. En todos estos casos, una revisión humana genérica es insuficiente. Se necesita un contrato de evidencia, independencia, umbral de riesgo, linaje y un bloqueo ejecutable.

El NIST organiza la gestión de riesgos en gobernar, mapear, medir y gestionar. Esta secuencia es menos atractiva que cambiar al modelo más reciente, pero responde a las preguntas importantes: para qué sirve el sistema, dónde falla, cómo lo sabemos, quién asume la decisión y qué ocurre cuando se agota la confianza.

En 2026, la ventaja competitiva no consiste solo en obtener una respuesta en segundos. Consiste en demostrar por qué merece convertirse en una acción. Si un equipo no puede vincular cada afirmación crítica con su fuente y reconstruir el camino hasta la aprobación, todavía no ha puesto la IA en producción; ha puesto la incertidumbre en circulación.

¡Vamos con todo! 🦅

📚 ¿Quieres Seguir lo Que Viene Por Delante?

Este artículo abordó las alucinaciones de la IA en decisiones de alto riesgo, pero el ecosistema cambia cada semana y no todo se convierte en un artículo aquí.

En X comparto lo que estoy probando, los entresijos de los proyectos y las novedades que aparecen antes de convertirse en un post.

Sígueme Allí

👉 Seguir a @jeffbruchado en X

💡 Contenido diario sobre desarrollo, carrera y las herramientas que realmente utilizo