Guia de Estatística para a IYPT – Aula 2 – A Lei dos Números Grandes

Como bom estudante de física, você deve ter alguma intuição a respeito da média: provavelmente, você já deve ter feito várias medidas de algum fenômeno (como o período de um pêndulo) e tirado a média para obter uma estimativa do valor “real”. A Lei dos Números Grandes nos ajudará a formalizar essa intuição.

Como podemos modelar o processo de repetir um experimento $n$ vezes? Bem, cada experimento consiste na medida de uma variável aleatória $X_i$ para $i = 1, ..., n$. Essas variáveis aleatórias, porém, são reproduções do mesmo experimento (pense no exemplo de medir o período do mesmo pêndulo $n$ vezes). Portanto, podemos afirmar algumas coisas interessantes sobre essas variáveis aleatórias. Primeiramente, elas devem ser identicamente distribuídas, ou seja, $X_1, ..., X_n$ devem vir da mesma distribuição, já que estamos medindo a mesma coisa em situações idênticas. Além disso, se nosso procedimento experimental for adequado, as variáveis aleatórias devem ser independentes, já que o resultado de um experimento não deve afetar causalmente o resultado do próximo. (Desprezaremos aqui o desgaste dos materiais do experimento, a fatiga do experimentador, etc.!)

Nossa meta como físicos é reconstruir a distribuição a partir da qual geramos as variáveis aleatórias $X_1, ..., X_n$. Geralmente, porém, estamos medindo coisas (como o período de um pêndulo) que não tem aleatoriedade intrínseca: a discrepância entre os valores obtidos nos $n$ experimentos é fruto de erros experimentais. Consequentemente, estamos mais interessantos em reconstruir o valor esperado (também conhecido como a média) da distribuição do que a forma geral da mesma. Afinal, a média da distribuição dos períodos observados dos pêndulos (desprezando erros sistemáticos) é algo que podemos chamar de “o período do pêndulo”! É claro, queremos ter alguma ideia de quão precisa é a nossa estimativa do período do pêndulo – um bom físico nunca escreve um valor experimental sem uma medidade de erro!

A Lei dos Números Grandes é algo poderoso: nos proporciona uma maneira de estimar o valor esperado de uma distribuição e também nos dá uma maneira de analisar o erro da nossa estimativa. O estimador do valor esperado deve já ser conhecido por você: ele é simplesmente a média aritimética dos resultados experimentais

$\hat{\mu} = \frac{1}{n} \sum_{i = 1}^{n} x_i.$

Note que escrevemos esse estimador com um chapéu para indicar que ele é apenas nosso melhor chute para o valor da média da distribuição μ, que não podemos observar diretamente.

Com esse prelúdio terminado, podemos ir diretamente ao enunciado formal dessa lei!

Teorema. (Lei dos Números Grandes.) Sejam $X_1, ..., X_n$ variáveis aleatórias independentes e identicamente distribuídas. Definimos uma nova variável aleatória X tal que

$X = \frac{1}{n} \sum_{i = 1}^n X_i.$

Para qualquer $\varepsilon \rightarrow 0$ positivo, temos que

$\mathbb{P}(|X - \mu| > \varepsilon) \rightarrow0.$

Dizemos que $X$ converge em probabilidade para $\mu$.

(Note que o estimador da média $\hat{\mu}$ é simplesmente o valor obtido de $X$ para um dado conjunto de experimetos.)

Prova. Primeiramente, mostraremos que $\mathbb{E}(X) = \mu$. Lembrando da linearidade da expectativa, essa parte é quase trivial:

$\mathbb{E}(X) = \mathbb{E}\left(\frac{1}{n} \sum_{i = 1}^n X_i \right) = \frac{1}{n} \sum_{i = 1}^n \mathbb{E}(X_i) = \frac{n \mu}{n} = \mu.$

Agora, precisamos ter uma ideia de quão próximo $X$ está de $\mu$, em geral. Essa ideia é capturada pela variância. Porém, como precisamos de um caso limite, será muito conveniente usar a desigualdade de Chebyshev. Para chegarmos nessa desigualdade de uma maneira fácil, porém, é necessário provarmos a desigualdade de Markov. Pode parecer um caminho tortuoso, mas essas desigualdades não são monstros de sete cabeças! Vamos à desigualdade de Markov:

Lema. (Desigualdade de Markov.) Seja $X$ uma variável aleatória, com valor esperado $\mu$, tal que $X > 0$. Logo, para todo $t > 0$, temos que

$\mathbb{P}(X > t) \leq \frac{\mu}{t}.$

(Essa desigualdade simplesmente afirma que é improvável que uma variável aleatória acabe tendo um valor longe da média.)

Prova do lema. Seja $f_X$ a função densidade de probabilidade associada a $X$. Logo:

$\mu = \mathbb{E}(X) = \int_0^\infty x f_X(x) \, dx = \int_0^t x f_X(x) \, dx + \int_t^\infty x f_X(x) \, dx$

$\implies \mu \geq \int_t^\infty x f_X(x) \, dx \geq t \int_t^\infty f_X(x) \, dx.$

Usamos o fato que ambas as integrais na primeira linha são positivas, já que $X > 0$. Ao notarmos que $\int_t^\infty f_X(x) \, dx = \mathbb{P}(X > t)$, completamos a prova.

Lema. (Desigualdade de Chebyshev.) Seja $\mu = \mathbb{E}(X)$ e $\sigma^2 = \mathbb{V}(X)$. Logo

$\mathbb{P}(|X - \mu| > t) \leq \frac{\sigma^2}{t^2}.$

Prova do lema. Perceba que $|X - \mu| > t$ é equivalente a $(X - \mu)^2 > t^2$, e que a variável aleatória $(X - \mu)^2$ é sempre não-negativa. Logo, podemos aplicar a desigualdade de Markov para $\mathbb{P}[(X - \mu)^2 > t^2]$, o que resulta em

$\mathbb{P}(|X - \mu| > t) \leq \frac{\mathbb{E}[(X - \mu)^2]}{t^2}.$

A identificação da variância com $\mathbb{E}[(X - \mu)^2]$completa a prova.

Agora, está quase tudo pronto para finalizarmos a prova por completo! Basta calcularmos a variância de $X$ para podermos aplicar a desigualdade de Chebyshev e encontrarmos um limite para a probabilidade de $|X - \mu| > \varepsilon$. Pela definição de variância, temos que

$\mathbb{V}(X) = \mathbb{E}[(X - \mu)^2] = \frac{1}{n^2} \mathbb{E}\left[\left(\sum_{i = 1}^n X_i - \mu_i\right)^2\right].$

Notemos que $\mu_i = \mu$para todo valor de $i$, e que, como as variáveis aleatórias $X_1, ..., X_n$ são independentes, os termos mistos do quadrado (isto é, termos da forma $\mathbb{E}[(X_i - \mu)(X_j - \mu)]$ para $i \neq j$) são nulos. Portanto, temos apenas $n$ termos não-nulos; cada um desses termos é simplesmente $\mathbb{E}[(X_i - \mu)^2] = \sigma^2$. Concluímos que a variância de $X$ é $\sigma^2/n$.

Finalmente, substituímos tudo na desigualdade de Chebyshev. Obtemos

$\mathbb{P}(|X - \mu| > \varepsilon) \leq \frac{\sigma^2}{n \varepsilon^2}.$

Claramente, o lado direito dessa desigualdade tende a zero quando $\varepsilon \rightarrow0$. Consequentemente, o lado esquerdo também tem essa tendência e a Lei dos Números Grandes foi provada. Adicionalmente, conseguimos uma expressão que nos permite estimar o nível do erro das nossas medidas (usando o estimador do desvio-padrão

$\hat{\sigma} = \frac{1}{n - 2} \sum_{i = 1}^{n} (x_i - \hat{\mu})^2$

[fórmula que estabeleceremos posteriormente] como nosso melhor chute para o valor real de $\sigma$)! Derivamos um tremendo resultado, de fato!

(Nota: esse limite superior no erro não é o mais prático para uma olimpíada como a IYPT, pois existem expressões mais complexas que nos dão um limite mais apertado. Porém, é uma fórmula muito fácil de se lembrar e calcular, o que pode a tornar útil em uma experimental da OBF ou algo similar.)