¿Puede la IA saber lo que no sabe?

Un modelo de lenguaje puede generar un texto fluido sobre algo que no puede verificar. En un estudio de ACL de 2024, Kaitlyn Zhou y sus colegas señalaron que los modelos solían fallar a la hora de indicar la incertidumbre de forma adecuada y que las personas podían confiar en los resultados incluso cuando eran erróneos. Yona y sus colegas (2024) también hallaron discrepancias entre la incertidumbre interna de un modelo y la contundencia de sus palabras.

Una mejor pregunta de diseño es qué puede demostrar el sistema sobre la afirmación. ¿La respalda una fuente? ¿Se refiere a la persona correcta? ¿Sigue siendo válida? El lenguaje de incertidumbre debería comunicar una evaluación de la evidencia, no sustituirla.

Es posible que un registro nunca se haya guardado, que exista pero no se recupere, que entre en conflicto con otro, que haya sido reemplazado, que resulte ambiguo sobre quién habla o que describa una posibilidad futura. Cada caso exige una respuesta distinta: buscar más a fondo, corregir la recuperación, mantener las versiones separadas, añadir un límite temporal o etiquetar una predicción como tal.

Encontrar el registro de un viaje de pesca demuestra que hubo un viaje, no que fuera el primero. Una sola puntuación de confianza no puede explicar todas estas limitaciones ni identificar la siguiente acción correcta.

Sebastian Farquhar y sus colegas exploraron la entropía semántica en un artículo de Nature de 2024: comparar los significados de varias respuestas muestreadas. Cuando los significados divergen, esa inestabilidad puede alertar sobre ciertas confabulaciones, y abstenerse de dar esas respuestas mejoró la precisión.

Pero la coincidencia no es una prueba. Si una fecha de mudanza incorrecta ha entrado en un archivo, cada respuesta puede reproducirla de forma coherente. La consistencia semántica debe complementar la verificación de fuentes, no reemplazarla.

Como analogía de ingeniería con el monitoreo y control, una IA podría inspeccionar la calidad de las pruebas recuperadas y luego elegir si responder directamente, matizar, buscar de nuevo o preguntar. Imagina tres mensajes sobre una cabaña: pensar en venderla, un plan tentativo y luego una decisión clara de quedársela. Contar declaraciones favorece la venta; una lectura atenta reconoce que la decisión posterior cambia la respuesta actual y señala que no se encontró ninguna actualización posterior.

Una capa de monitoreo propuesta verificaría las pruebas, la atribución, el tiempo, la independencia de las fuentes y el costo de equivocarse. Son principios de diseño, no afirmaciones de que la IA tenga sentimientos.

Retener todas las respuestas evitaría afirmaciones falsas, pero frustraría el propósito de un asistente de memoria. La evaluación debe examinar la precisión y la cobertura de forma conjunta, y las preguntas difíciles no deberían desaparecer de la evaluación solo porque el sistema se niegue a responderlas.

Un experimento propuesto compararía la respuesta directa, la abstención basada en pruebas y comprobaciones adicionales en casos difíciles, midiendo afirmaciones personales sin respaldo, falsas abstenciones, errores por hechos modificados, el costo y los motivos para abstenerse. Una declaración honesta de incertidumbre debería dejar más claro el siguiente paso, no ocultar un fallo del sistema.

Desde fuera, una IA que conoce sus límites suena diferente. Responde con sencillez cuando su memoria respalda con claridad una respuesta, dice lo que encontró cuando la evidencia es parcial y dice que no tiene un registro cuando realmente no lo tiene, en lugar de adivinar.

Un buen hábito para los usuarios es preguntar de dónde salió una respuesta. Si el asistente puede señalar algo que dijiste o un archivo que compartiste, la respuesta se apoya en pruebas. Si no puede, toma la respuesta como una sugerencia para verificar.

El objetivo no es un asistente que dude en cada frase. Es uno cuya seguridad refleje sus pruebas, de modo que cuando suene seguro, por lo general tenga razón.