Estatística descritiva usando R
bem-vinde ao tidyverse

Objetivo

• Decidir entre H0 e H1 usando apenas a amostra
• H0 é negação de H1 e H1 é negação de H0 (complementares)
• H0 é chamada de hipótese nula
• H1 é chamada de hipótese alternativa

Erros que podemos cometer

• Erro tipo I ou falso positivo: rejeitar H0 quando H0 é verdadeira
• Erro tipo II ou falso negativo: não rejeitar H0 quando H1 é verdadeira

Uso mais comum

• Verificar se o parâmetro mudou de valor em um novo cenário
• Validar uma hipótese científica (modelo ou teoria)
• Checar especificações (do mercado e/ou regulador)

Roteiro para especificar H0 e H1

• H0: valor padrão ou comum (do mercado e/ou do regulador)
• H1: sua hipótese de pesquisa ou pergunta
• Dica prática: igual matemática sempre fica em H0

Testes mais usados (e com nomes especiais).

• Teste bilateral: H0:θ=θ0 contra H1:θ≠θ0
• Teste unilateral superior: H0:θ≤θ0 contra H1:θ>θ0
• Teste unilateral inferior: H0:θ≥θ0 contra H1:θ<θ0

Geralmente θ é: média da população (μ), desvio padrão da população (σ) e proporção de sucesso na população (p).

• Por convenção, o erro mais grave é falso positivo ou erro tipo I
• Estabelecemos H0 e H1 para controlar o falso positivo

Exemplo

Em um julgamento podemos cometer duas hipóteses:

• o réu é culpado
• o réu é inocente

e podemos cometer dois erros:

• o réu é inocente mas o Juiz decide que o réu é culpado (erro mais grave)
• o réu é culpado mas o Juiz decide que o réu é inocente (erro menos grave)

O falso positivo é o réu é inocente⏟H0 mas o Juiz decide que o réu é culpado⏟H1.

• H0: o réu é inocente
• H1: o réu é culpado

Sem provas robustas e convincentes, o juiz não rejeita a inocência do réu, ou seja, o juiz não rejeita H0.

Mas o réu pode ser culpado, você apenas não conseguiu provas e a decisão por H0 é “mais fraca”.

Em um teste de hipóteses, o pesquisador exerce o papel de Juiz, ou seja, os dados precisam fornecer provas robustas e convicentes para rejeitar H0 e se os dados não oferecem provas robustas e convincentes não rejeitamos H0.

• α: Nível de significância, erro α ou tamanho do teste.
  Geralmente usamos α=5%.
• β: erro β.
• 1−β: poder do teste de hipóteses.

Quanto maior a amostra, menor o nível de significânccia e maior o poder do teste.

• X∼N(μ;1,252)
• H0:μ=5 e H1:μ≠5
• Regra de decisão:
  • se 4,80≤ˉx≤5,20, então não rejeitamos H0
  • se ˉx<4,80 ou ˉx>5,20, então rejeitamos H0

Descrição intuitiva

• Vamos chamar a possibilidade ou plausibilidade ou indicação da hipótese alternativa (H1) de estatística do teste.

• O valor-p , p-value em inglês, é a probabilidade de coletar uma outra amostra com estatística do teste igual ou mais extrema do que a amostra observada quando H0 é verdadeira. Lembre que o erro tipo I ou falso positivo é o mais grave.

• Rejeitamos H0 quando o valor-p é pequeno, e usamos como valor de referência o nível de significância α.

• X∼N(0,1)
• H0:μ=0 contra H1:μ≠0
• Algumas vezes decidimos por H0 e outras vezes decidimos por H1 usando o valor-p.

Interpretação

Se H0 for verdade, em 100⋅(1−α)% das amostras vamos decidir por H0.
Se H1 for verdade, em 100⋅(1−β)% das amostras vamos decidir por H1.

Se H0 for verdade, em 100⋅α% das amostras vamos errar o falso positivo.
Se H1 for verdade, em 100⋅β% das amostras vamos errar o falso negativo.

df_amostras <- read_xlsx("data/raw/dados.xlsx", sheet = "p-valor-motivacao")

df_amostras  |>
  group_by(amostras) |>
  summarise(x1 = x[1], x2 = x[2], x3 = x[3], x4 = x[4], x5 = x[5],
            valor_p = ht_1pop_mean(x)$p_value)  |>
  mutate(Decisao = c("H1", "H1", "H0", "H0"))

## # A tibble: 4 × 8
##   amostras     x1    x2    x3    x4    x5 valor_p Decisao
##   <chr>     <dbl> <dbl> <dbl> <dbl> <dbl>   <dbl> <chr>  
## 1 Amostras1 -0.98 -0.29 -0.49 -0.94 -0.59 0.00769 H1     
## 2 Amostras2 -0.36 -0.69 -1.24 -0.61 -1.18 0.00866 H1     
## 3 Amostras3 -2.07  1.02  0.92  0.44  0.85 0.711   H0     
## 4 Amostras4 -0.74  1.11  0.21 -0.4   0.88 0.583   H0

As pessoas são negras são maioria no ENEM na cidade de Salvador?
Decidir usando nível de significânccia α=1%.

• H0:p≤0,5 contra H1:p<0,5

df_enem <- read_xlsx("data/raw/amostra_enem_salvador.xlsx")
df_enem <- clean_names(df_enem)

df_enem <- df_enem |> mutate(raca = dplyr::recode(tp_cor_raca,
  "Preta" = 1, "Parda" = 1, "Amarela" = 0, "Branca" = 0, "Indígena" = 0,
  "Não declarado" = 0
))

ht_1pop_prop(df_enem$raca, proportion = 0.5, alternative = "greater", sig_level = 0.01)

## # A tibble: 1 × 7
##   statistic p_value critical_value critical_region alternative proportion sig_level
##       <dbl>   <dbl>          <dbl> <chr>           <chr>            <dbl>     <dbl>
## 1      33.7       0           2.33 (2.326, Inf)    greater            0.5      0.01

Ao nível de significância 1%, temos evidência para a proporção de pessoas negras na prova do ENEM.

Lula ganhará no primeiro turno na eleição de 2022?
Usaremos dados da pesquisa realizada pelo PoderData: detalhes da pesquisa.
3500 responderam a pesquisa e 1505 afirmaram que votariam em Lula.

• H1:p>0,5 e H0:p≤0,5
  α=5%

ht_1pop_prop(1505, 3500, proportion = 0.5, alternative = "greater", sig_level = 0.05)

## # A tibble: 1 × 7
##   statistic p_value critical_value critical_region alternative proportion sig_level
##       <dbl>   <dbl>          <dbl> <chr>           <chr>            <dbl>     <dbl>
## 1     -8.28       1           1.64 (1.645, Inf)    greater            0.5      0.05