SIMULAÇÃO E MODELAGEM
Semana 03 - Aula 07
Ferramentas estatísticas para simulação
Prof. Anibal Tavares de Azevedo
P(w₃ ∣ w₂, w₁)
Probabilidades para que?
Chatbots e o Chat GPT…
1
2
Ambiente de escassez de informação e tecnologia
Retroceder para entender
Máquina de escrever para o autocompletar
1
2
A matemática do autocompletar
O que é mais provável de ocorrer?
A matemática do autocompletar
O que é mais provável de ocorrer?
Probabilidades condicionais N-grams
As probabilidades condicionais de N-grams podem ser estimadas a partir de texto bruto com base na frequência relativa das sequências de palavras.
Probabilidades condicionais N-grams
Um modelo de N-grams trata de calcular a probabilidade condicional de uma palavra dadas as N-1 palavras que vieram antes dela.
P(wₙ∣wₙ₋₁,wₙ₋₂,…,w₁)
Exemplo probabilidade N-grams
Por exemplo, em um modelo de trigrama (N=3), estamos calculando:
The
Cat
Eat
P(w₃ ∣ w₂, w₁)
Exemplo probabilidade N-grams
Por exemplo, em um modelo de trigrama (N=3), estamos calculando:
The
Cat
Eat
P(Eat ∣ Cat, The)
P(w₃ ∣ w₂, w₁)
Exemplo probabilidade N-grams
Por exemplo, em um modelo de trigrama (N=3), estamos calculando:
P(w₃ ∣ w₂, w₁)
The
Cat
Eat
The
Cat
Eat
P(Eat ∣ Cat, The)
Exemplo numérico: Python
Prob. condicional
Contexto
Inferência palavra
1
2
3
4
Palavra
Exemplo numérico: Python
Contexto
1
4
Palavra
Exemplo numérico: resultados
Contexto
1
4
Palavra
O
gato
Exemplo numérico: resultados
Contexto
1
4
Palavra
O
gato
sentou
Playground de LLMs
Testando LLMs
Testando LLMs: Alucinação!
Explicação mais detalhada
Exercício 1: Da matriz gerar o grafo
Exercício 1: Matriz e grafo
Exercício 1: Matriz e grafo
Modelo Bigrama (N=2): P(w₂ | w₁)
Exercício 1: Matriz e grafo
Exercício 1: Matriz e grafo
Exercício 2: Ruína do Apostador
Exercício 3: Markov GPT
Evolução: De Markov ao ChatGPT
Markov e Teoria das Filas
Teoria das Filas: aplicação na saúde
Teoria das Filas: aplicação agricultura
1 - Perfeita
2 - Funcional
3 - Parada
0,85
0,1
0,05
0,7
0,30
1,0
Cadeia de Markov e estados máquina
Probabilidades em n passos
Probabilidades em n passos
Obtenção estados estacionários
Forma analítica
Simulação Python
Resolução de sistemas lineares
Solução do sistema via Python
Multiplicação de matrizes com Python
Mapas Mentais da Aula 07
Badges