Teste de hipóteses

Aula 06

​

Prof. Christopher Freire Souza

Centro de Tecnologia

Universidade Federal de Alagoas

www.ctec.ufal.br/professor/cfs

Objetivos

• Desenvolver habilidades para inferir o comportamento da população a partir de dados de uma amostra
• Desenvolver habilidades para inferir se o comportamento de duas populações diferem a partir de dados de duas amostras
• Desenvolver habilidades para estimar o poder de um teste em rejeitar uma hipótese

Christopher Souza: Teste de hipóteses

2

Relevância do conteúdo

• Definição e avaliação de hipóteses são o cerne de estudos científicos
• Testes de hipóteses trazem o respaldo matemático para apoiar afirmações sobre o comportamento da população em estudo

Christopher Souza: Teste de hipóteses

3

Conteúdo

• Fundamentos de testes de hipóteses
• Testes sobre uma população
• Testes sobre duas populações

Christopher Souza: Teste de hipóteses

4

Fundamentos de testes de hipóteses

• Hipótese
• Hipótese nula e alternativa
• Estatística de teste
• Valor crítico
• Valor p
• Decisões e conclusões
• Erro do tipo I e do tipo II
• Poder de um teste

Christopher Souza: Teste de hipóteses

5

Hipótese: nula e alternativa

• Em estatística, hipótese é uma afirmação sobre uma propriedade da população
• Teste de hipótese: teste da afirmação
• Hipótese nula: afirmação em que o valor de um parâmetro é comparado a um valor específico
• H₀: μ=μ₀
• Hipótese alternativa: afirmação que se deseja testar
• H₁: μ≠μ₀, H₁: μ>μ₀, H₁: μ<μ₀

Christopher Souza: Teste de hipóteses

6

Estatística de teste

• Valor usado para tomar decisão sobre a hipótese nula (rejeitá-la ou não)
• Estimativa pela conversão da estatística amostral em um escore (z, t, χ², F), a partir da suposição de que a hipótese nula seja verdadeira

Christopher Souza: Teste de hipóteses

7

Região crítica

• Conjunto de todos os valores da estatística que podem nos fazer rejeitar a hipótese nula
• Definição a partir da escolha do valor crítico, assim como estimado no estudo de intervalos de confiança

Christopher Souza: Teste de hipóteses

8

Intervalos de confiança

Christopher Souza: Teste de hipóteses

9

“Estamos 95% confiantes de que o intervalo ± E contém o valor de θ”

Intervalos de confiança (proporção)

• Requisitos:
• Amostra aleatória simples.
• Condições para a distribuição binomial satisfeitas.
• Haver pelo menos 5 sucessos e 5 fracassos, o que permite aproximar pela distribuição normal
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de proporção esteja inserido no intervalo construído a partir da proporção amostral

Christopher Souza: Teste de hipóteses

10

Intervalos de confiança�(μ, para σ conhecido)

• Requisitos:
• Amostra aleatória simples.
• Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral

Christopher Souza: Teste de hipóteses

11

Intervalos de confiança�(μ, para σ desconhecido)

• Requisitos:
• Amostra aleatória simples.
• Teorema do limite central (Normal se não houver outlier e histograma ~ forma de sino)
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de média esteja inserido no intervalo construído a partir da média amostral

​

​

​

​

• Margem de Erro
• População infinita

​

​

• População finita

Christopher Souza: Teste de hipóteses

12

Intervalos de confiança (σ²)

• Requisitos:
• Amostra aleatória simples.
• Distribuição normal mesmo para grandes amostras
• Associa-se um grau de confiança, e.g. 95%, de que o valor do parâmetro de variância esteja inserido no intervalo construído a partir da variância amostral
• Estima-se desvio amostral a partir da raiz da estimativa do parâmetro de variância

Christopher Souza: Teste de hipóteses

13

Valor P

• Probabilidade de obter, no mínimo, um valor da estatística de teste tão extremo quanto o valor representado pela amostra
• Obtenção de magnitude do valor P permite a decisão de rejeitar ou não a hipótese nula sem definir a priori o valor crítico
• Rejeitar ou não a hipótese depende da ponderação sobre o que se considera crítico e sua relação com o valor P
• Em testes bilaterais, dobra-se a área estimada com a estatística de teste para um dos lados para avaliar se rejeita a hipótese nula (P>α)

Christopher Souza: Teste de hipóteses

14

Decisão e conclusões

• Teste da hipótese nula permite:
• Rejeitá-la
• Deixar de a rejeitar
• Se afirmativa original contiver igualdade e for rejeitada, pode se concluir que:
• Há evidência suficiente para garantir a rejeição de H₀
• Senão
• Não há evidência suficiente para garantir a rejeição de H₀
• Se afirmativa original não contiver igualdade (H₁) e a hipótese nula for rejeitada, pode se concluir que:
• Os dados amostrais apóiam a afirmativa de que H₁
• Senão
• Não há evidência amostral suficiente para apoiar H₁

Christopher Souza: Teste de hipóteses

15

Erros

• Tipo I (α)
• Rejeitar H₀ quando deveria ser aceita
• Tipo II (β)
• Não rejeitar H₀ quando deveria ser rejeitada

​

• Controle de erros: α, β e n estão relacionados

Christopher Souza: Teste de hipóteses

16

Investigações sobre Erro do tipo I

• Supondo:
• α = 0,05
• σ = 0,0625
• n = 64
• H_o: p=0,5
• Tem-se:
• z_α/2=1,96
• p_α/2=0,5 ± 0,1225

​

• Se utilizarmos α=0,01
• z_α/2=2,575
• p_α/2=0,5 ± 0,1609
• Se utilizarmos n=100
• α = 0,05
• σ = 0,05
• z_α/2=1,96
• p_α/2=0,5 ± 0,098

​

Christopher Souza: Teste de hipóteses

17

Investigações sobre Erro do tipo II

• Supondo:
• α = 0,05
• n = 64
• σ = 0,0625
• H_o: p=0,5
• p_α/2=0,5 ± 0,1225
• H_a: p=0,7
• Tem-se:
• z₁ = (0,5-0,1225-0,7) / 0,0625 = -5,16
• z₂= (0,5+0,1225-0,7)/ 0,0625 = -1,24
• β=0,107488

• Se utilizarmos H₁: p=0,55
• z₁=(0,5-0,1225-0,55) / 0,0625 = -2,76
• z₂= (0,5+0,1225-0,55)/ 0,0625 = 1,16
• β=0,877-0,0029=0,8741
• Se utilizarmos n=100
• z₁ = (0,5-0,098-0,7) / 0,05 = -5,96
• z₂= (0,5+0,098-0,7)/ 0,05 = -2,04
• β=0,0207

Christopher Souza: Teste de hipóteses

18

Investigações sobre Erro do tipo II

• Supondo:
• α = 0,05
• n = 64
• σ = 0,0625
• H_o: p=0,5
• p_α/2=0,5 ± 0,1225
• H₁: p=0,7
• Tem-se:
• z₁ = (0,5-0,1225-0,7) / 0,0625 = -5,16
• z₂= (0,5+0,1225-0,7)/ 0,0625 = -1,24
• β=0,107488

• Se utilizarmos α=0,01
• z₁=(0,5-0,1609-0,7) / 0,0625 = -5,77
• z₂= (0,5+0,1609-0,7)/ 0,0625 = -0,625
• β=0,266

Christopher Souza: Teste de hipóteses

19

Resumo de investigações

• Quando n aumenta, os dois erros diminuem
• Quando α diminui, β aumenta
• Erro tipo II mais provável se H_a se aproxima de H₀
• Maior interesse em detectar grandes diferenças entre valores supostos (H₀) e verdadeiros (H_a)

​

Christopher Souza: Teste de hipóteses

20

Poder de um teste

• Poder de apoiar uma hipótese alternativa verdadeira (1-β).

​

Christopher Souza: Teste de hipóteses

21

Testes de hipóteses sobre uma população

Método tradicional

Valor P

• Comparação de estatística de teste, z, t ou χ², com valor crítico para o nível de confiança
• Estatística de teste é estimada como visto nas distribuições de estatísticas amostrais, normal para médias, t e χ²,

• Avaliação de significância da área sob a curva estimada a partir da estatística de teste e da distribuição do parâmetro populacional definido na hipótese nula
• MATLAB: ztest, ttest, vartest

Christopher Souza: Teste de hipóteses

22

Testes de hipóteses sobre uma população

• Método do intervalo de confiança
• Comparação de intervalos de confiança com parâmetro em avaliação na hipótese nula para o nível de significância
• Em testes unilaterais, o intervalo de confiança é construído para nível de confiança de 1-2α
• Se parâmetro em avaliação na hipótese nula estiver fora do intervalo, rejeita-se a hipótese nula

Christopher Souza: Teste de hipóteses

23

Amostra não-normal

• Uma hipótese (a ser testada):
• Estatística de teste = valor obtido da amostra original
• Se distribuição de estatísticas amostrais, seguir normal, t ou χ², valor crítico estimado como antes
• (Dúvida:) Intervalo de confiança da estatística de teste pode ser estimado via bootstrap?

​

Christopher Souza: Teste de hipóteses

24

Inferências sobre duas proporções

• Requisitos:
• Amostras aleatórias simples.
• Condições para a distribuição binomial satisfeitas.
• Haver pelo menos 5 sucessos e 5 fracassos em cada amostra, o que permite aproximar pela distribuição normal
• Proporção amostral combinada:

​

• Estatística de teste:

​

​

​

• Estimativa de intervalo de confiança

Christopher Souza: Teste de hipóteses

25

Inferências sobre duas médias�Amostras independentes, σ conhecido

• Requisitos:
• Amostras aleatórias simples.
• Distribuições normais ou n>30
• Sugestão:
• Analise preliminarmente as amostras

• Estatística de teste:

​

​

​

​

• Estimativa de intervalo de confiança

Christopher Souza: Teste de hipóteses

26

Inferências sobre duas médias�Amostras independentes, σ desconhecido

• Requisitos:
• Amostras aleatórias simples.
• Distribuições normais ou n>30
• Sugestão:
• Analise preliminarmente as amostras
• Para identificar valores críticos:

​

• Estatística de teste:

​

​

​

​

• Estimativa de intervalo de confiança

​

​

​

• MATLAB: ttest2

Christopher Souza: Teste de hipóteses

27

Inferências sobre duas médias�Amostras emparelhadas, σ desconhecido

• Requisitos:
• Amostras aleatórias simples.
• Distribuições normais ou n>30
• Sugestão:
• Analise preliminarmente as amostras
• Dados trabalhados como diferenças de valores emparelhados (d)

​

• Estatística de teste:

​

​

​

​

• Estimativa de intervalo de confiança

​

​

• MATLAB: ttest2

Christopher Souza: Teste de hipóteses

28

Inferências sobre duas variâncias

• Requisitos:
• Amostras aleatórias simples.
• Populações independentes
• Distribuição normal
• std₁>std₂

​

• Estatística de teste:

​

​

​

• MATLAB: vartest2

Christopher Souza: Teste de hipóteses

29

Inferências sobre duas variâncias

• Método Conte Cinco
• Não requer distribuição normal
• Tamanhos amostrais iguais
• Se uma das amostras têm pelo menos cinco dos maiores desvios médios absolutos, sua população tem uma maior variância

• Teste de Levene-Brown-Forsythe
• Transforma-se cada conjunto de dados por meio da subtração de cada dado por sua mediana
• Em seguida, aplica-se o teste t para duas populações

Christopher Souza: Teste de hipóteses

30

Testes não-paramétricos

Vantagens

Desvantagens

• Não exigem que a distribuição seja normal
• São aplicáveis a dados categóricos (qualitativos)
• Cálculos mais simples

• Desperdiçam informação por tratarem dados de forma qualitativa
• Menor eficiência dos testes

Christopher Souza: Teste de hipóteses

31

Eficiência�Teste não-paramétrico vs paramétrico (população normal)

Christopher Souza: Teste de hipóteses

32

Postos

• Número atribuído a um item da amostra de acordo com sua posição na lista ordenada.
• Em caso de empates, aplica-se a média dos postos como valor de posto de cada item com igual valor

• Ex:
• x: [12 10 5 5 4 5 11 12]
• xo: [4 5 5 5 10 11 12 12]
• io: [1 3 3 3 5 6 7,5 7,5]
• i: [7,5 5 3 3 1 3 6 7,5]

Christopher Souza: Teste de hipóteses

33

Testes não-paramétricos

• Sinais
• Igualdade de medianas (pareado)
• Proporção = 50%
• Mediana de uma população
• Soma de Postos de Wilcoxon (igualdade de medianas)
• Pareado
• Homogeneidade – Mann-Whitney
• Kruskal-Wallis – igualdade de medianas de três ou mais populações

• Sequências - Inflexões (Aleatoriedade)
• Wald-Wolfowitz (Independência)
• Correlação de Spearman
• Significância da correlação
• Estacionariedade da série
• Pettitt (Quebra de tendência)
• Grubbs e Beck (Outlier)

Christopher Souza: Teste de hipóteses

34

Teste dos sinais�Pares combinados (igualdade de medianas)

• Procedimento:
• Subtrair cada valor da segunda variável pelo correspondente na primeira
• Posições de diferenças nulas são excluídas
• Série constituída apenas por sinais de diferenças
• Fundamento:
• Se medianas são iguais, número de sinais positivos e negativos são iguais

• Estatística de teste:
• p/ n≤25: x
• p/ n>25:

​

​

• Valor crítico:
• p/ n≤25, buscar x na tabela A-7 do Triola
• p/ n>25, buscar z na tabela A-2 do Triola
• MATLAB: signtest

Christopher Souza: Teste de hipóteses

35

Teste dos sinais�Dados nominais (Proporção = 50%)

• Requisitos
• Amostra aleatória
• Fundamento: teste de freqüência de sinais
• x = número de vezes que ocorreu sinal menos freqüente
• n = número de sinais positivos e negativos combinados
• Cuidado:
• Se dados contradizem H1 nem aplica teste, pois deixa de fazer sentido o teste

• Estatística de teste:
• p/ n≤25: x
• p/ n>25:

​

​

• Valor crítico:
• p/ n≤25, buscar x na tabela A-7 do Triola
• p/ n>25, buscar z na tabela A-2 do Triola

Christopher Souza: Teste de hipóteses

36

Teste dos sinais�Mediana de uma população

• Procedimento:
• Subtrair cada valor da amostra do valor da mediana sugerida em H₀
• Posições de diferenças nulas são excluídas
• Série constituída apenas por sinais de diferenças

• Estatística de teste:
• p/ n≤25: x
• p/ n>25:

​

​

• Valor crítico:
• p/ n≤25, buscar x na tabela A-7 do Triola
• p/ n>25, buscar z na tabela A-2 do Triola
• MATLAB: signtest

Christopher Souza: Teste de hipóteses

37

Soma de postos de Wilcoxon�Diferença de amostras emparelhadas

• Requisito:
• Diferenças tem distribuição aproximadamente simétrica.
• a=soma de valores absolutos dos postos negativos das diferenças d não-nulas (51)
• b=soma dos postos positivos das diferenças d não-nulas (15)
• T=min(a,b)
• Estatística de teste:
• p/ n≤30: T (tab. A-8 para T_α)
• p/ n>30:

Christopher Souza: Teste de hipóteses

38

Soma de postos de Wilcoxon�Duas amostras independentes

• Requisito:
• n>10 para cada amostra
• Trabalha também dados ordinais
• Equivale a Mann-Whitney
• R=soma dos postos de uma das amostras
• Estatística de teste:

​

​

• Onde:

​

​

​

• MATLAB: ranksum

Christopher Souza: Teste de hipóteses

39

Kruskal-Wallis�Igualdade de medianas de três ou mais populações

• Requisito:
• n>5 para cada amostra
• H ~ χ²_k-1
• Equivale a ANOVA
• H grande para amostras muito diferentes (teste unilateral à direita)
• R=soma dos postos de uma das amostras
• Estatística de teste:

​

​

• Onde:

• Para corrigir H em função do alto número de empates (Triola, pg 565), divida H por

​

​

• Onde (m = número de valores com empates e t_i é o número de observações empatadas no próprio grupo):

​

​

• Valor crítico estimado via χ²_k-1
• MATLAB: kruskalwallis

Christopher Souza: Teste de hipóteses

40

Sequências�Aleatoriedade

• Sequência: sucessão de dados com mesma característica
• Ex.: valores acima ou abaixo da mediana
• Trabalha também dados ordinais
• G=número de sequências na amostra
• Aleatoriedade definida se 0<<G<<n
• Estatística de teste:
• G, se n₁<20 e n₂<20 e α=0,05
• senão,

• onde

​

​

​

• n₁ e n₂ representam número de valores de mesma característica
• Para G como estatística de teste, compare com valores críticos apresentados na tabela A-10 do Triola
• MATLAB: runstest

Christopher Souza: Teste de hipóteses

41

Wald-Wolfowitz�Independência

• Séries aleatórias podem não ser independentes
• Influência de contribuições subterrâneas às vazões de rio resulta em maior dependência para intervalos menores de discretização
• Para tanto, calcula-se:

• Estatística de teste:

​

​

​

​

​

​

• onde

Christopher Souza: Teste de hipóteses

42

Significância de correlação de postos de Spearman

• H₀: ρ_s=0
• H₁: ρ_s≠0
• Estatística de teste:
• Se não houver empate para um mesmo conjunto de dados:

​

​

• Se houver empate:

​

​

​

​

• Valores críticos:
• Se n≤30, use tabela A-9 do Triola
• Senão,

Christopher Souza: Teste de hipóteses

43

Estacionariedade

• Teste de correlação de Spearman entre postos de dados e suas respectivas posições na série

Christopher Souza: Teste de hipóteses

44

Teste de Grubbs e Beck�Identificação de outliers

• Limites para consideração de outliers são estimados por:
• Limite superior

​

​

• Limite inferior

​

​

• onde

​

Christopher Souza: Teste de hipóteses

45