¿Puede la IA crear recuerdos falsos?

Un recuerdo falso humano y el contexto personal incorrecto de una IA no son el mismo proceso. Un modelo puede generar una afirmación falsa debido a asociaciones estadísticas, recuperación incompleta, contexto engañoso o una extracción defectuosa. Describir el resultado como un recuerdo falso no implica una memoria de tipo humano, consciencia ni una sensación subjetiva de certeza.

La comparación útil radica en la estructura. Tanto un relato humano como uno generado por IA pueden combinar detalles auténticos en un todo sin fundamento. Saber cuál es la persona, el lugar y el tema correctos no valida la relación que el sistema inventa entre ellos. Dos afirmaciones verdaderas pueden convertirse en una historia falsa si su conexión es incorrecta.

Piensa en una familia hipotética que visitó Yellowstone y, en otro momento, tuvo una avería en el auto en Montana. Combinar esos hechos en una avería en Yellowstone añadiría una conexión sin fundamento. El error no desaparece por el simple hecho de que cada nombre y lugar suenen familiares.

Por lo tanto, un sistema confiable necesita más que una prueba para ver si una frase se parece a algo cierto sobre ti. Necesita preguntarse si el material disponible respalda exactamente esa afirmación, incluyendo quiénes participaron, qué ocurrió y si el evento llegó a suceder en absoluto.

Volvamos al ejemplo de la posible casa del lago. Un paso de extracción podría convertir el hecho de considerarla en una intención de compra. Un resumen posterior podría acortar eso y referirse a ella como la casa de la familia. Luego, una respuesta sobre planes a futuro podría asumir que ya es de tu propiedad. El lenguaje se vuelve cada vez más categórico, aunque la evidencia de fondo no haya cambiado.

Esto va más allá de una respuesta incorrecta aislada. Una vez que una interpretación sin fundamento entra en el contexto personal almacenado, las respuestas posteriores pueden reutilizarla como si fuera un hecho comprobado. La repetición puede hacer que la afirmación parezca bien fundamentada, cuando en realidad todas las versiones provienen del mismo error inicial.

El proyecto Generative Agents de 2023 demostró cómo los agentes podían combinar observaciones, reflexiones y planificación para generar un comportamiento coherente. No fue una prueba sobre cómo preservar la biografía de una persona real. Su relevancia aquí reside en que las reflexiones derivadas pueden convertirse en parte del contexto que el agente utiliza a continuación.

Más adelante, LongMemEval formalizó los desafíos en la memoria conversacional a largo plazo, incluyendo la extracción de hechos, el razonamiento a través de múltiples sesiones, la información cambiante y la abstención. Estas son dimensiones de evaluación relevantes, no pruebas de que alguna IA personal en particular haya resuelto el problema. La coherencia y la confiabilidad deben evaluarse por separado.

El monitoreo de fuentes se refiere a cómo las personas juzgan el origen de la información que recuerdan. Un hecho presenciado directamente, una fotografía, un sueño y la historia que contó otra persona pueden sostener un contenido mental similar, pero con un estatus probatorio muy distinto. Esta distinción es útil para el software, aun cuando los mecanismos subyacentes sean diferentes.

Para una IA personal, hablar en primera persona no basta para identificar un hecho personal. Un diario puede contener un plan, una escena de ficción, una broma o una cita textual. Una afirmación sobre la opinión de un amigo puede rechazar explícitamente esa opinión. Extraer las palabras ignorando el contexto puede invertir por completo su significado.

El marco de monitoreo de fuentes sugiere preguntarse quién habló, sobre quién era la afirmación, cuándo se hizo y si describía una realidad, una especulación o una invención. Estas son propuestas de preguntas de ingeniería, no afirmaciones de que una IA realice los mismos procesos psicológicos que una persona.

Un servicio de memoria artificial también cuenta con una ventaja potencial: con permiso, puede conservar un vínculo con el fragmento original en lugar de basarse únicamente en una impresión resumida. Sin embargo, conservar las fuentes conlleva costos para la privacidad. El acceso a las fuentes debe respetar las preferencias de retención del miembro, sus decisiones de eliminación y los límites en el manejo de datos.

Una propuesta de diseño central es dar a estas tres categorías un estatus diferente. La evidencia incluye declaraciones originales, documentos, observaciones con fecha y confirmaciones. La interpretación incluye resúmenes fundamentados y preferencias inferidas. La posibilidad incluye escenarios, planes, situaciones contrafácticas y futuros imaginados.

Las categorías deben interactuar sin volverse intercambiables. Un escenario puede basarse en evidencias, y una interpretación puede guiar la búsqueda de una fuente original. Sin embargo, un futuro imaginado útil no debería convertirse silenciosamente en una afirmación sobre el pasado. El ejemplo de la casa del lago pertenece a la planificación, a menos que haya evidencia adicional que confirme la compra.

Una verificación propuesta para un nuevo recuerdo es fácil de enunciar: ¿puede el sistema identificar una fuente, y esa fuente respalda con precisión lo que planea guardar? Una fuente que habla de considerar una compra no respalda la propiedad. Una fuente sobre la intención de postularse no demuestra que se haya enviado una solicitud.

Si la evidencia es insuficiente, el sistema podría conservar una hipótesis claramente no confirmada o evitar crear un recuerdo. Esto no implica renunciar a inferencias útiles. Es un requisito para preservar la diferencia entre lo que el sistema puede explorar y lo que puede afirmar de manera responsable sobre una persona.

Una situación que ha cambiado y un recuerdo inexacto requieren respuestas distintas. Alguien puede rechazar genuinamente la idea de mudarse en marzo y mostrarse abierto a ello en septiembre. La afirmación posterior no necesariamente invalida la anterior; ambas pueden describir con precisión a la persona en momentos diferentes.

Una respuesta consciente de las fuentes explicaría la secuencia en lugar de comprimirla en un rasgo permanente o inventar una decisión definitiva. El sistema podría informar la postura anterior, el matiz posterior y la falta de evidencia de un desenlace cerrado. La incertidumbre debe formar parte de la respuesta cuando forma parte de la historia.

El mismo principio se aplica a interpretaciones más amplias. Quejarse de los aeropuertos no respalda necesariamente la conclusión definitiva de que alguien odia viajar. Viajes placenteros posteriores pueden justificar descartar esa conclusión sin borrar las quejas previas. Lo que debe cambiar puede ser la teoría del sistema, no el registro histórico.

Las investigaciones sobre la reconsolidación en humanos ofrecen una analogía prudente: la actualización de la memoria puede ocurrir bajo condiciones particulares, pero eso no significa que el software deba sobrescribir la evidencia original. La propuesta de ingeniería consiste en revisar la comprensión actual preservando las distinciones adecuadas entre las afirmaciones iniciales, las actualizaciones posteriores y las correcciones.

Una evaluación propuesta utilizaría historiales en los que la interpretación más tentadora es incorrecta. Por ejemplo, un narrador de ficción en primera persona, una mudanza considerada pero descartada, la opinión de un amigo citada para discrepar o hablar una y otra vez de un negocio que nunca se lanzó. Estos son diseños de prueba, no resultados documentados.

La evaluación analizaría si el sistema captó los hechos explícitos sin convertir la ficción, las citas o la especulación en biografía. También verificaría si cada afirmación puede rastrearse hasta su emisor y su momento, si las actualizaciones se distinguieron de los errores y si los resúmenes ambiguos llevaron a recuperar el material original.

La abstención también importa. Cuando un historial no deja claro si alguien compró una casa o tomó una decisión final, el sistema debería ser capaz de decirlo en vez de completar la historia. Una continuación verosímil no sustituye a la evidencia.

Otra prueba propuesta consistiría en insertar un resumen sin fundamento y observar qué hace con él una síntesis posterior. ¿El sistema amplifica el error, preserva su incertidumbre o lo rechaza tras verificar las fuentes? El objetivo no es tener un asistente sin imaginación, sino uno que pueda explorar futuros posibles sin inventar silenciosamente la vida previa.