¿Cuánto recuerda ChatGPT en realidad?

"¿ChatGPT me recuerda?" es una mala pregunta porque "recordar" abarca demasiado. Este benchmark responde a una más precisa: dado un dato específico enseñado a ChatGPT en el día cero, ¿qué porcentaje de las veces el asistente recordará correctamente ese dato en el día N? Desglosado por tipo de dato, por el mecanismo mediante el cual se enseñó (guardado explícito vs. chat de referencia) y a lo largo de seis puntos de control, desde el mismo día hasta los seis meses.

Cien perfiles de usuario sintéticos, a cada uno de los cuales se le enseñaron diez datos distintos en cinco categorías en el día cero. La mitad de los datos se introdujo mediante guardados explícitos de "por favor recuerda"; la otra mitad se mencionó en conversaciones ordinarias, dejando que el modelo la captara por su cuenta. Cada perfil se ejecutó en una cuenta Plus nueva con Memory activado y el historial de chat de referencia habilitado.

En los días 1, 7, 30, 60, 90 y 180, se consultó a cada perfil con un conjunto fijo de prompts pidiéndole que recordara los datos enseñados. Las respuestas se calificaron mediante una revisión humana a ciegas con una rúbrica de tres niveles: correcta y literal, correcta en esencia o fallida. Todo lo reportado aquí es la suma de los dos primeros.

La brecha se amplía con el tiempo. A los seis meses, un recuerdo guardado explícitamente se recupera de forma correcta el 82% de las veces; un dato que solo se mencionó en la conversación se recuerda el 24%.

El patrón es estable a lo largo de los seis puntos de control. Todo lo que tenga matices —una postura meditada sobre un tema del que hablaste tres veces, la fecha exacta de entrega de un proyecto, el rol específico que alguien tiene en tu vida— es donde ChatGPT pierde datos. Las afirmaciones simples, atómicas e independientes perduran.

Detrás de los números de retención hay un proceso mecánico: las entradas en la lista de Memory se desalojan en silencio cuando se llena el límite por cuenta. En nuestros perfiles sintéticos (cada uno con 60–120 recuerdos guardados para el día 90), aproximadamente el 8% de los recuerdos guardados más antiguos había desaparecido para el día 90 y el 17% para el día 180, incluso para datos que el perfil nunca había sobrescrito.

Qué detona el desalojo

• Presión del límite de capacidad. Una vez que superas el límite práctico (aproximadamente 100–120 recuerdos en una cuenta Plus), las entradas más antiguas comienzan a eliminarse.
• Deduplicación. Un recuerdo más reciente que el modelo considera que reemplaza a uno anterior lo sobrescribe en silencio.
• Resolución de contradicciones. Cuando dos recuerdos entran en conflicto, uno gana y el otro desaparece. No se te pregunta cuál.

1. Di "recuerda esto" de forma explícita. El autoguardado del modelo solo capta una pequeña fracción. Hacerlo explícito da un aumento de 10–20 puntos en la retención.
2. Repite lo importante cada trimestre. Debido al desalojo, volver a enseñarlo cada 90 días mantiene un dato en 96%+ en lugar de decaer hacia el 82%.
3. No confíes en el chat de referencia para nada crítico. Un 61% a los 30 días suena aceptable hasta que notas que baja al 37% a los 90.
4. Conserva una copia portátil. Una exportación mensual más una bóveda complementaria convierte cada una de estas curvas en una línea plana al 100%.