SIMULAÇÃO E MODELAGEM

Semana 05 - Aula 15

Validação de modelos de simulação

Prof. Anibal Tavares de Azevedo

Mapas Mentais da Semana 05

https://drive.google.com/file/d/1YeCgIR378VVCXTWLtxmqLqKq3yBHiFsD/view?usp=sharing

Análise Estatística

Se uma simulação com variáveis aleatórias for executadas duas vezes, os valores produzidos serão diferentes.

X₀

X₀

X₀

X_n

X_n

X_n

Entrada

Saída

Análise Estatística

Se uma simulação com variáveis aleatórias for executadas duas vezes, os valores produzidos serão diferentes.

Análise Estatística

Seja performance do sistema medida por um parâmetro θ, então, a simulação tem por objetivo fornecer uma estimativa de θ, bem como determinar a acurácia através do desvio padrão do estimador . Essa medida de variabilidade pode ser colocada na forma de um intervalo de confiança para um dado nível de confiança.

Análise Estatística

Seja performance do sistema medida por um parâmetro θ, então, a simulação tem por objetivo fornecer uma estimativa de θ, bem como determinar a acurácia através do desvio padrão do estimador . Essa medida de variabilidade pode ser colocada na forma de um intervalo de confiança para um dado nível de confiança.

Período transição

ou de “warm-up”.

Duas formas de resolver o problema do warm-up

Período estado

permanente.

(2)Condições iniciais em t = 0 influenciam dados saída:

Primeiros clientes da fila não esperam o mesmo tempo que aqueles que chegam bem depois.

Análise Estatística

(2.1) Usar condições iniciais representativas do estado permanente do sistema. O problema é às vezes é difícil determinar estas condições iniciais.

Análise Estatística

Período transição

ou de “warm-up”.

Período estado

permanente.

(2.2)Rodar simulação por um período de tempo e descartar a parte da simulação relativa ao “warm-up” e coletar estatísticas já em estado permanente.

Análise Estatística

Período transição

ou de “warm-up”.

Período estado

permanente.

T_E

T→∞

Aula 12 - Análise Estatística

Para análise dos dados de saída, as simulações podem ser classificadas em duas categorias:

(1) Simulação Terminal: É aquela que funciona por um período de tempo TE.

(2) Simulação de Estado Estacionário: Funciona por um longo período de tempo.

T_E

10:00-16:00

A escolha de categoria depende do problema em análise. P.ex., a simulação de uma fila em banco deve usar simulação terminal, pois o banco fecha de tarde.

Análise Estatística

T→∞

Para simular de um sistema computacional é melhor usar estado estacionário, pois o sistema funciona por um tempo suficientemente grande até que o sistema sofra um quebra ou tenha que realizar manutenção.

Análise Estatística

Análise Estatística

Suponha que são realizadas n replicações independentes que empregam a simulação terminal. Se as n simulações começam com a mesma condição inicial e usam diferentes sequências de valores aleatórios, então, cada simulação pode ser tratada com uma replicação independente. Supor que exista uma medida de performance representada pela variável X.

Análise Estatística

Então, Xj é o estimador da medida de performance da j-ésima replicação, tal que a sequência X1, X2, ..., Xn será de variáveis aleatórias i.i.d. Para estas variáveis a análise estatística clássica pode ser aplicada para construir um intervalo de confiança 100*(1-α)% para

θ = E(x) usando:

Análise Estatística

Média

Análise Estatística

Variância amostral

Análise Estatística

Análise Estatística

É o valor da distribuição t com n – 1 graus de liberdade tal que: P(t_n-1 ≥ t_(α,n-1)) = α.

Análise Estatística

Erro (em α% dos casos) ao se afirmar que a medida está no intervalo de valores fornecido.

É o valor da distribuição t com n – 1 graus de liberdade tal que: P(t_n-1 ≥ t_(α,n-1)) = α.

Valor da distribuição t-Student com n – 1 graus

de liberdade pode ser substituída por: Z_α/2

Pois t(_{α/2, n-1}) ≅ Z_α/2 para n suficientemente grande.

A vantagem é que Z_α/2 o valor de não depende de n.

Z_α/2 que é o ponto da distribuição normal tal que

100*(1-α/2)% abarca dos valores da distribuição.

Análise Estatística

α/2% das observações

⇔

α/2% da área sob a curva

z_α/2 = 1,6; p.ex.

Z é função de distrib. normal

y

x

Análise Estatística

(5/2)% das observações

⇔

2,5% da área sob a curva

y

x

Análise Estatística

Para IC = 95%, então,

α = 5% = 0,05 !

z_α/2 = 1,6; p.ex.

Sejam resultados de 10 simulações de mesma duração.

Exemplo 1

Seja X médio 9,331, a

variância S² = 0,018 e

t(0,25, 9) = 2,26, então:

Este é o intervalo com

confiança de 95%

Exemplo 1

Sejam resultados de 10 simulações de mesma duração.

Comparando ≠ Configurações

Alternativa 1

Alternativa 2

Comparando ≠ Configurações

Comparando ≠ Configurações

é a observação obtida pela i-ésima replicação da simulação da alternativa 1, onde: i=1,...,b₁.

é a observação obtida pela i-ésima replicação da simulação da alternativa 2, onde: i=1,...,b₂.

Comparando ≠ Configurações

Se as duas alternativas foram simuladas por um mesmo número de replicações, ou seja, b1 = b2 = b, então, pode-se empregar o teste t para amostras emparelhadas. O teste obtém um intervalo de confiança por meio dos seguintes passos:

Comparando ≠ Configurações

Passo 1:Calcular as diferenças: d_i = x_1i – x_2i, i = 1,..., b.

Passo 2: Calcular a média e o desvio-padrão s_d das diferenças:

Comparando ≠ Configurações

Passo 3:Construir um intervalo de confiança [θ₁,θ₂], para o valor da média das diferenças .

Comparando ≠ Configurações

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 1

Caso 2

Caso 3

Comparando ≠ Configurações

0

Caso 1

Caso 2

Caso 3

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 1

Caso 1: Contiver o 0, isto é, θ₁ < 0 e θ₂ > 0, então, nada pode ser concluído sobre a diferença entre as médias das alternativas. Podem ser iguais ou diferentes.

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 1

Caso 2

Caso 3

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 2

Caso 2: Se o intervalo cair totalmente à direita do zero, isto é, θ₁ > 0 e θ₂ > 0, então a média da alternativa 1 é a maior.

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 1

Caso 2

Caso 3

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 3

Caso 3: Se o intervalo cair totalmente à esquerda do 0, isto é, θ₁ < 0 e θ₂ < 0, então a média da alternativa 2 é a maior.

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Exemplo 1

Sejam os dados de tempo médio de espera para 10 replicações de duas configurações como dado na Tabela a seguir. Calcular: Intervalo de Confiança de 95% e da diferença.

Exemplo 1

O tempo médio de espera das

10 replicações é de 2,7252,

a variância S² = 0,9887, e se

t(0,25 , 9 ) = 2,26, então:

1

Exemplo 1

O tempo médio de espera das

10 replicações é de 3,5459,

a variância S² = 0,5820, e se

t(0,25 , 9 ) = 2,26, então:

2

Exemplo 1

O tempo médio de espera das

10 replicações é de -0,8207,

a variância S² = 1,1210, e se

t(0,25 , 9 ) = 2,26, então:

3

​

​

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 1

Caso 2

Caso 3

Passo 4:Se o intervalo de confiança [θ₁,θ₂]:

Comparando ≠ Configurações

0

Caso 3

Caso 3: Se o intervalo cair totalmente à esquerda do 0, isto é, θ₁ < 0 e θ₂ < 0, então a média da alternativa 2 é a maior.

-1,5774

-0,0640

Exemplo 1

Validação de Modelos de Simulação

Os testes anteriores poderiam ser usados para comparar os resultados de um modelo de simulação e os dados coletados e validar modelos de simulação.

“O Teste de Turing testa a capacidade de uma máquina exibir comportamento inteligente equivalente a um ser humano, ou indistinguível deste. (...). Se o juiz não for capaz de distinguir com segurança a máquina do humano, diz-se que a máquina passou no teste.” Fonte: Wikipedia.

Teste de Turing

Teste de Turing Original

Alan Turing

“O Teste de Turing testa a capacidade de uma simulação exibir comportamento inteligente equivalente a um sistema real, ou indistinguível deste. (...). Se o juiz não for capaz de distinguir com segurança a simulação do real, diz-se que a simulação passou no teste.”

Teste de Turing para simulação

Reformulação via Simulação

Alan Turing

Teste de Turing para simulação

Validação de Modelos de Simulação

Alan Turing

Mapa Mental da próxima Semana

https://drive.google.com/file/d/1YeCgIR378VVCXTWLtxmqLqKq3yBHiFsD/view?usp=sharing