Introducción al Prompt Engineering

Técnicas esenciales para trabajar con modelos de lenguaje de IA

​

UNGS - Matemática para Economistas III

​

Lic. Mateo Suster

​

Agenda

• Natural Language Processing (NLP)
• Tareas de NLP
• Prompt Engineering

What is NLP?

Definition of NLP

​

​

• NLP stands for Natural Language Processing.
• NLP is a field of computer science that is focused on enabling computers to understand and manipulate natural language to do useful things.

Machine Learning - Supervised learning

What is a model?

Relationship between NLP and Artificial intelligence

What is an NLP model?

Model

Output:

• Text classification
• Word prediction
• Translation
• …

The quick brown fox jumps over the lazy dog

Random?

Word embeddings (I)

NLP use cases

Machine translation

Google Translate is an example of widely available NLP technology about machine translation. Effective translation has to capture accurately the meaning and tone of the input language and translate it to text with the same meaning and desired impact in the output language.

Sentiment analysis

Sentiment analysis can analyze language used in social media posts, responses, reviews, and more to extract attitudes and emotions in response to products, promotions, and events.

Information companies can use it in product designs, advertising campaigns, and more.

https://hedonometer.org/

Text generation

Text generation leverages knowledge in computational linguistics and artificial intelligence to automatically generate natural language texts, which can satisfy certain communicative requirements.

Other tasks…

• Question answering
• Summarization
• Automatic speech recognition
• Named Entity Recognition (NER)
• Word Sense Disambiguation
• Information Extraction
• …

​

Prompt Engineering

¿Qué es el Prompt Engineering?

La ingeniería de prompts es una nueva disciplina para desarrollar y optimizar prompts para usar de manera eficiente los modelos de lenguaje (LM) en una amplia variedad de aplicaciones.

​

Las habilidades de ingeniería de prompts ayudan a comprender mejor las capacidades y limitaciones de los grandes modelos de lenguaje (LLM) y, por lo tanto, a lograr mejores resultados en nuestros objetivos.

​

El objetivo final es crear entradas (prompts) que guíen a los modelos de lenguaje hacia respuestas específicas y de alta calidad de los modelos de lenguaje, ayudando a mejorar la precisión, relevancia y creatividad de las respuestas del modelo.

​

​

Pasos en Prompt Engineering

Ejemplo de prompt

Instruction prompting

Asignar un rol

Roles

Cuando usás LLMs, los prompts generalmente se componen de los siguientes elementos:

• Sistema (System): Este elemento guía y estructura el comportamiento de la IA, asegurando que responda de manera apropiada a los prompts del usuario. Define el contexto, el tono y los límites de la interacción.�
• Usuario (User): Representa a la persona que interactúa con el modelo de IA.�
• Asistente (Assistant): Es el contenido generado por la IA que sirve como respuesta a la entrada del usuario.

Pautas básicas para un buen prompting

The Prompt

Roles

Model

User

Use markers

XML tags

Character sequences

Message types

System

User

Bot / Assistant

Add context

Facts

History

General Knowledge

Add instructions

What not to do

What to do

How to do

Examples

The Query

❶

❷

❸

❹

❺

GPT Example Prompt

ChatGPT Cheat Sheet

Síntesis de un buen prompt

Un buen "prompt" para un usuario contiene los siguientes elementos:

• Instrucción: Una tarea o instrucción específica que quieres que el modelo realice.
• Contexto: Información externa o contexto adicional que puede guiar al modelo para obtener mejores respuestas.
• Datos de entrada: La entrada o pregunta para la que estamos interesados en encontrar una respuesta.
• Indicador de salida: El tipo o formato de la respuesta esperada.

​

Estrategias para un prompt efectivo

Escribe instrucciones claras

​

• Incluye detalles en tu consulta para obtener respuestas más relevantes.
• Pídele al modelo que adopte una personalidad.
• Usa delimitadores para indicar claramente las distintas partes de la entrada.
• Especifica los pasos necesarios para completar una tarea.
• Proporciona ejemplos.
• Especifica la longitud deseada de la salida.

​

Proporciona texto de referencia

• Instruye al modelo a responder utilizando citas o texto de referencia.

Divide tareas complejas en subtareas más simples

• Utiliza la clasificación de intenciones para identificar las instrucciones más relevantes para una consulta del usuario.
• Para aplicaciones de diálogo que requieren conversaciones muy largas, resume o filtra el diálogo anterior.
• Resume documentos largos por partes y construye un resumen completo de forma recursiva.

​

​

Dale tiempo al modelo para "pensar"

• Instruye al modelo a elaborar su propia solución antes de apresurarse a una conclusión.
• Usa el monólogo interno o una secuencia de consultas para ocultar el proceso de razonamiento del modelo.
• Pregúntale al modelo si se perdió algo en pasadas anteriores.

​

Usa herramientas externas

• Utiliza la búsqueda basada en embeddings para implementar una recuperación de conocimiento eficiente.
• Utiliza la ejecución de código para realizar cálculos más precisos o llamar a API externas.
• Dale al modelo acceso a funciones específicas.

​

Prueba los cambios sistemáticamente

• Evalúa las salidas del modelo con referencia a respuestas estándar de oro.

​

​

Errores Comunes en la Ingeniería de Prompts

• Prompts Vagos o Ambiguos:
• Evita usar frases poco claras o abiertas.
• Prompts Demasiado Complejos:
• Mantén los prompts simples y enfocados en la tarea principal.
• Falta de Instrucciones Específicas:
• Proporciona pautas claras sobre formato, estilo y tono.
• Ignorar las Limitaciones del Modelo:
• Sé consciente de las capacidades y limitaciones del modelo.
• No realizar iteraciones o refinaciones frente a resultados no deseados
• Experimenta con diferentes prompts y ajusta según sea necesario.

​

Prompt Engineering es un proceso iterativo.

​

​

Casi nunca se acierta el prompt a la primera…..

​

​

Técnicas de prompting

Shot-Based Prompting

Proporcionar ejemplos o demostraciones al modelo puede mejorar la precisión de los resultados.

What is Zero-Shot Prompting?

One-Shot Prompting

Few-Shot Prompting

Chain-of-Thought (CoT) Prompting

Técnica que mejora las capacidades de razonamiento de los grandes modelos de lenguaje (LLM). Lo logra al incorporar pasos lógicos —o una "cadena de pensamiento"— dentro de la indicación misma.

Playground

Playground y configuraciones extras

Para personalizar completamente las capacidades de un LLM, no siempre es necesario desarrollar un script para acceder a todas las funcionalidades de la API. Algunos chatbots, como ChatGPT o Google AI Studio, ofrecen un entorno de pruebas (o "playground") que permite a los usuarios configurar diversas características directamente.

Temperatura, Top-P y Longitud Máxima

Temperatura (Temperature): La temperatura regula la imprevisibilidad de la salida de un modelo de lenguaje. Valores más bajos (por ejemplo, T = 0.1) producen respuestas enfocadas y predecibles; mientras que valores más altos fomentan la aleatoriedad y la creatividad.�

Top-P: Limita la salida a los tokens más probables dentro de una probabilidad acumulativa (por ejemplo, 0.9). Valores más bajos producen resultados más enfocados, mientras que valores más altos permiten una mayor diversidad. Puede combinarse con la temperatura para un control más preciso sobre la aleatoriedad y la creatividad.�

Longitud Máxima (Max Length): La longitud máxima es el número total de tokens que el LLM tiene permitido generar.

Recursos

• OpenAI prompting guide: https://platform.openai.com/docs/guides/prompt-engineering
• Guia básica de Prompt Engineering: https://www.promptingguide.ai/es
• Prompt Engineering Guide: https://learnprompting.org/docs/intro (recomiendo el siguiente post)
• Prompting intro de Gemini: https://ai.google.dev/gemini-api/docs/prompting-intro

​

• Algunos chats con modelos de IA:
• ChatGPT
• Gemini o Google AI Studio
• Claude
• HuggingFace

​

​