확률변수의 평균과 분산

2014년 한양대학교 이상화 교수님의 강의를 보면서 정리한 것입니다.

Introduction

$$
\bar{X}=\frac{X_{1}+X_{2}+\cdots+X_{N}}{N}
$$

$$
\bar{X}=\frac{w_{1} X_{1}+w_{2} X_{2}+\cdots+w_{N} X_{N}}{w_{1}+w_{2}+\cdots+w_{N}}
$$

위 두 가지 방식으로 확률의 평균값을 구할 수 있다. 두 번째 식은 가중치가 있는 것이다.

Expectation

$$
E[X]=\begin{cases}
\sum_{i} x_{i} p_{X}\left(x_{i}\right) \quad X \text { discrete } \\
\int_{-\infty}^{\infty} x f_{X}(x) d x \quad X \text { continuous }
\end{cases}
$$

위와 같은 방식으로 기댓값을 구할 수 있다. 연속에서는 밀도이기 때문에 적분을 하는 것이다.

Example1

$$
p_{K}(k)=\frac{\lambda^{k}}{k !} e^{-\lambda} \quad k=0,1,2, \ldots
$$

• 위와 같은 분포를 poisson distribution이라고 한다. poisson distribution은 정해진 시간 안에 어떤 사건이 일어날 횟수에 대한 기댓값 람다를 RV로 하여서, 그 사건이 k회 일어날 확률을 위 공식을 통해서 구한다.
  • 특징으로는, 평균과 분산이 모두 람다이다. 분산의 경우 교재의 예제 3.7 에서 구하는 것을 보여준다. $E[k^2]$을 계산하고 구한다.
• 예시로는 서버에서 요청이 한번에 엄청 많이 올 확률이 5%인 것을 구할 때 사용한다. 즉, 95%의 확률로 멀쩡하게 돌아가는 것이다.

$$
\begin{array}{c}
E[K]=\sum_{k=0}^{\infty} k p_{K}(k)=\sum_{k=0}^{\infty} k\left(\frac{\lambda^{k}}{k !} e^{-\lambda}\right) \\
=\sum_{k=1}^{\infty} \frac{\lambda^{k}}{(k-1) !} e^{-\lambda} \\
=\lambda e^{-\lambda} \sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1) !} \\
Since, \space \sum_{k=1}^{\infty} \frac{\lambda^{k-1}}{(k-1) !}=\sum_{k=0}^{\infty} \frac{\lambda^{k}}{k !}=e^{\lambda} \\
E[K]=\lambda e^{-\lambda} e^{\lambda}=\lambda
\end{array}
$$

• 4번째 줄에서는 테일러 급수를 활용한 것이다.

Example2

$$
f_{X}(x)=\begin{cases}
\lambda e^{-\lambda_{x}} & x \geq 0 \\
0 & x<0
\end{cases}
$$

• 위와 같은 분포는 exponential distribution이라고 한다.

• 이는 life time, 원소의 반감기와 같은 곳에서 쓰인다고 한다.

• 간단히 적분을 계산해보면 아래와 같다.

$$
E[X]=[u v]_{0}^{\infty}-\int_{0}^{\infty} v d u \\
=\left[-x e^{-\lambda x}\right]_{0}^{\infty}+\int_{0}^{\infty} e^{-\lambda x} d x=0-\left[\frac{e^{-\lambda x}}{\lambda}\right]_{0}^{\infty}
=\frac{1}{\lambda}
$$

• 포아송 분포와 마찬가지로, 기댓값은 람다에 영향을 받는다.

Moments of Random Variables

nth moment

Moment는 사실 평균이라고 할 수 있다. 물리학적으로는 무게 중심같은 것이다.

$$
E\left[X^{n}\right]=\overline{X^{n}}=\begin{cases}
\sum_{i} x_{i}^{n} p_{X}\left(x_{i}\right) & X \text { discrete } \\
\int_{-\infty}^{\infty} x^{n} f_{X}(x) d x & X \text { continuous }
\end{cases}
$$

그냥 확률 변수 값에 n승을 한 것이다. 그래서 $P_X(x_i)$는 동일하다. The n-th moment of the random variable X에서 n이 1이되면 평균이다.

nth central moment

$$
E\left[(X-\bar{X})^{n}\right]=\overline{(X-\bar{X})^{n}}=\begin{cases}
\sum_{i}\left(x_{i}-\bar{X}\right)^{n} p_{X}\left(x_{i}\right) & X \text { discrete } \\
\int_{-\infty}^{\infty}(x-\bar{X})^{n} f_{X}(x) d x & X \text { continuous }
\end{cases}
$$

• 위 식에서 n이 1이면 기댓값은 0이다.

$$
\sigma_{X}^{2}=E\left[(X-\bar{X})^{2}\right]=\overline{(X-\bar{X})^{2}}=\begin{cases}
\sum_{i}\left(x_{i}-\bar{X}\right)^{2} p_{X} \quad X \text { discrete }\left(x_{i}\right) \\
\int_{-\infty}^{\infty}(x-\bar{X})^{2} f_{X}(x) d x \quad X \text { continuous }
\end{cases}
$$

• 위 식과 같이 n=2인 central moment 는 분산이라고 한다. 분산은 예측가능성과 연관해서 이해하면 좋다.

$$
\begin{aligned}
\sigma_{X}^{2} &=E\left[(X-\bar{X})^{2}\right]=E\left[X^{2}-2 X \bar{X}+(\bar{X})^{2}\right]=E\left[X^{2}\right]-2 E[X] \bar{X}+(\bar{X})^{2} \\
&=E\left[X^{2}\right]-2 \overline{X X}+(\bar{X})^{2}=E\left[X^{2}\right]-2(\bar{X})^{2}+(\bar{X})^{2} \\
&=E\left[X^{2}\right]-(\bar{X})^{2}=E\left[X^{2}\right]-(E[X])^{2}
\end{aligned}
$$

• 위와 같은 방식으로 분산을 구할 수 있다. 이는 아래에 있는 기댓값 연산의 Linearity를 이용한 것이다. 외워야 해.

Propositions

• 평균값을 구하는 Expectation연산은 Linear하다. 즉 아래와 같다.

$$
E[ag_1(x)+bg_2(x)]=aE[g_1(X)]+bE[g_2(X)]
$$

• 선형이라는 것은 homogeniety와 superposition을 만족해야 한다. 원점을 통과하는 직선이나 미분, 적분과 같은 연산, 행렬 변환 등의 예시가 있다. 자세한 것은 따로 알아보자.