Adi Polak plantea que la ingeniería de contexto supera al prompt engineering
Por JP Software ·
JP Software Adi Polak presentó una propuesta técnica para estructurar la memoria, el conocimiento y el contexto en arquitecturas de inteligencia artificial agéntica. El planteamiento traslada el foco de diseñar instrucciones aisladas hacia construir motores de contexto que administren la información antes de enviarla a los modelos de lenguaje.
Datos clave
- Los investigadores de Stanford Nelson F. Liu et al. identificaron en 2023 el fenómeno Lost in the Middle, donde los modelos pierden datos ubicados al centro de ventanas grandes, según la fuente.
- La arquitectura divide el estado en tres capas independientes: contexto inmediato de trabajo, memoria de persistencia y conocimiento curado, según Adi Polak.
- El ciclo de vida del contexto opera en cuatro etapas: selección, inyección, compresión y expiración con actualización, según Adi Polak.
- Los sistemas enfrentan antipatrones como el context stuffing y los bucles de datos obsoletos, mitigables mediante umbrales de relevancia e invalidación de eventos, según la fuente.
El motor de contexto como compilador
El diseño propuesto separa el modelo del sistema que lo rodea mediante un motor de contexto dentro de un plano de control. Este componente traduce datos desconectados, en tiempo real e históricos, en un estado estructurado y listo para razonar, similar a cómo un compilador traduce código fuente a instrucciones de máquina.
En lugar de basarse en consultas genéricas tipo RAG que saturan el prompt con fragmentos crudos, el motor procesa el ciclo de vida de la información. Primero selecciona datos mediante búsquedas híbridas (semánticas densas y palabras clave como BM25) y grafos de conocimiento. Después aplica plantillas para la inyección estructurada, comprime historiales mediante modelos más pequeños o algoritmos deterministas, y retira suposiciones viejas para evitar bucles de datos desactualizados.
Memoria en capas y economía de tokens
Para resolver la tensión entre registros históricos y señales de telemetría en vivo, la arquitectura establece tres niveles de memoria:
- Memoria de trabajo: el espacio temporal dentro de la ventana de contexto que se reinicia en cada inferencia.
- Memoria a corto plazo: una capa de sesión gestionada en almacenes en memoria como Redis para rastrear pasos intermedios.
- Memoria a largo plazo: persistencia asíncrona mediante bases vectoriales y grafos de conocimiento que condensan hechos sin saturar las consultas en vivo.
Polak explica que las alucinaciones suelen ser fallas de contexto y no roturas del modelo base. Cuando el agente carece de datos fácticos estructurados, sus pesos probabilísticos lo obligan a adivinar. Delimitar la ventana mediante presupuestos estrictos de tokens no solo reduce costos y latencia de primer token, sino que evita caídas de precisión.
Por qué te importa
Si desarrollas software con agentes de IA, confiar ciegamente en ventanas de contexto gigantescas degrada la confiabilidad de tu producto y encarece la infraestructura. Tratar el contexto como un problema de arquitectura de sistemas —con validación, filtrado y expiración— te permite construir flujos deterministas donde los modelos probabilísticos ejecuten tareas críticas sin inventar respuestas.