CC5218 Perspectivas y paradigmas en Inteligencia Artificial�
Agentes
Russell, S. y Norvig, P. Artificial Intelligence: A Modern Approach, 4th Edition, Capítulo 2
Slides hechas con NotebookLM
Un agente es cualquier entidad capaz de percibir su entorno a través de sensores y actuar sobre ese entorno mediante actuadores.
Síntesis
CC5218 Perspectivas y paradigmas en Inteligencia Artificial�
Agentes
Agentes Basados en LLMs
Agentes Basados en LLMs
Consideremos una configuración general en la que un agente interactúa con un entorno para resolver una tarea.
• Existen varios pasos de tiempo discretos t₀, t₁, …, t_n.
• Existe un conjunto O que recoge todos los estados u observaciones posibles recibidos del
entorno.
• Existe un conjunto A de acciones que el agente puede realizar.
• En cada paso temporal t, el agente recibe una observación ot ∈ O y realiza la acción at ∈ A siguiendo una política π(at |ct), donde el contexto
ct = (o1, a1, …, ot−1, at−1, ot).
ReAct: Synergizing Reasoning + Acting
ReAct es framework para hacer agentes con LLMs.
Se amplía el espacio de acción del agente incorporando un modelo de lenguaje (LLM), denotado como A′ = A ∪ L (donde L representa el espacio del lenguaje).
• El entorno se conceptualiza como un conjunto de herramientas, compuesto por diversas interfaces que el agente puede aprovechar.
• Estas interfaces adoptan diversas formas, entre las que se incluyen llamadas a API y funciones de Python (como un motor de búsqueda, una calculadora o un rastreador web).
• En cada paso, el agente consulta el LLM (utilizando indicaciones basadas en la cadena de pensamiento) para determinar su siguiente acción, teniendo en cuenta las herramientas disponibles.
• Esta acción, denotada como at′ ∈ L dentro del espacio del lenguaje, se denomina «pensamiento».
• El contexto se actualiza dinámicamente como ct+1 = (ct, at′) para el razonamiento o la acción posteriores.
• A continuación, el agente ejecuta una de las herramientas disponibles para llevar a cabo la acción,
incorporando el resultado como una nueva observación en la siguiente solicitud enviada al
modelo.
• Este proceso iterativo continúa hasta que la tarea se resuelve con éxito.
• Problema: si el modelo empieza a «alucinar» o a repetirse, podemos seguir fácilmente
una trayectoria de acciones que no nos lleva a ninguna parte o que acaba en un bucle.
ReAct: Synergizing Reasoning + Acting
ReAct: Synergizing Reasoning + Acting
1. El Cerebro (LLM)
Orquesta el razonamiento de alto nivel, la descomposición de tareas y la toma de decisiones.
2. Herramientas (Tools)
APIs, buscadores web, motores de código Python y bases de datos que sirven como actuadores.
3. Memoria (Context)
Memoria a corto plazo (prompt actual) y largo plazo (bases de datos vectoriales RAG).
Arquitectura Completa de un Agente ReAct
Bucles Infinitos
Si el modelo alucina o la herramienta falla repetidamente, el agente puede quedar atrapado ejecutando la misma acción sin progresar.
Desviación de Meta
Al extenderse el contexto $c_t$, el LLM puede sufrir "Lost in the Middle" y olvidar la restricción original dada por el usuario.
Costo y Latencia
Cada paso del ciclo ReAct requiere una llamada completa al modelo + ejecución de red de las herramientas, ralentizando la respuesta.
Desafíos y Limitaciones Prácticas
LangChain Example