유튜브 이상엽Math 선생님의 선형대수학을 정리한 것입니다.

행렬의 연산

용어 정리 및 행렬의 연산까지는 아는 내용이 많기 때문에 넘기려고 했으나, 행렬의 곱셉과 함수의 합성이 의미적으로 같다는 것을 보여준 것이 중요한 것 같았다.
$$
f(x,y) = (ax+by,cx+dy)\\
g(x,y) = (px+qy,rx+sy)\\
f \circ g = (apx+aqy+brx+bsy, cpx+cqy+drx+dsy)\\
=((ap+br)x+(aq+bs)y,(cp+dr)x+(cq+ds)y)
$$

$$
F=\left(\begin{array}{cc}
a & b\
c & d
\end{array}\right),
G=\left(\begin{array}{cc}
p & q\
r & s
\end{array}\right)\\
FG=\left(\begin{array}{cc}
ap+br & aq+bs\
cp+dr & cq+ds
\end{array}\right)
$$

행렬의 곱셉은 상당히 자연스러운 정의다. 교환 법칙이 성립하지 않는 것도 자명하게 된다.

행렬의 대각합: tr(A), 행렬의 전치와 같은 연산들도 알아두자.

연립일차방정식

행렬은 연립일차방정식을 풀기 위해서 고안이 된 것이다.

행렬의 표현

행렬은 가우스 조던 소건법을 위한 표현과 역행렬을 이용하기 위한 표현법이 있다. 예를 들어 $\begin{cases} x+2y=5\ 2z + 3y = 8 \end{cases}$ 은 다음과 같이 표현이 가능하다.

1. $\left(\begin{array}{cc}
   1 & 2 & 5\\
   2 & 3 & 8
   \end{array}\right)\\$ 가우스 조던 소거법
2. $\left(\begin{array}{cc} 1 & 2\\ 2 & 3 \end{array}\right) \left(\begin{array}{cc} x\ y \end{array}\right) =\left(\begin{array}{cc} 5\\ 8 \end{array}\right)\\$ 역행렬 이용

가우스 조던 소거법의 행렬을 첨가행렬(augmented matrix)이라고 한다.

역행렬 이용하는 것에서 좌변의 1223 행렬은 계수행렬, 우변의 행렬을 상수행렬이라고 한다.

가우스-조던 소거법

가우스 조던 소거법은 아래의 기본 행 연산을 통해 연립일차방정식의 첨가행렬을 기약 행사다리꼴(reduced row echelon form)으로 변환하여 해를 구한다.

1. 한 행을 상수배한다.
2. 한 행을 상수배하여 다행 행에 더한다.
3. 두 행을 맞바꾼다.

reduced row echelon form만 강의에서 들어봤다. 위 연산들만이 고유의 해를 변화시키지 않으면서 식을 간단하게 만들어 줄 수 있따.

reduced row echelon form이란 다음과 같다.

1. 0이 아닌 원소를 갖는 행에서 맨 처음 나오는 0이 아닌 수는 1이어야 한다. 이것을 leading 1 이라고 부른다.
2. 모든 원소가 0인 행이 있다면 그 행은 행렬의 맨 밑으로 내려가야한다.
3. 0이 아닌 원소를 갖는 연속된 두 행은 밑에 있는 행의 leading 1이 위에 있는 행의 leading 1보다 오른쪽에 있어야한다.
4. leading 1이 있는 열의 나머지 원소들은 모두 0이어야한다.

출처 : https://slideplayer.com/slide/8898171/

행사다리꼴을 만드는 과정 까지를 가우스 소거법이라고 하고, 기약 행 사다리꼴을 만드는 것 까지 하는 것을 가우스 조던 소거법이라고 한다. (조던...!)

해가 무수히 많은 경우에는 일반해(general solution)을 표현해주면 된다.

역행렬 이용

역행렬을 이용해서 다음과 같이 구할 수 있다.

$\left(\begin{array}{cc} 1 & 2\\ 2 & 3 \end{array}\right) \left(\begin{array}{cc} x\\ y \end{array}\right) =\left(\begin{array}{cc} 5\\ 8 \end{array}\right) \Leftrightarrow \left(\begin{array}{cc} x\\ y \end{array}\right) = \left(\begin{array}{cc} 1 & 2\\ 2 & 3 \end{array}\right)^{-1} \left(\begin{array}{cc} 5\\ 8 \end{array}\right) $

이를 하기 위해서는 역행렬이 존재하는지 여부와 역행렬을 연산하는 방법에 대해서 알아야한다. 이를 위해서는 행렬식의 개념이 필요하다.

행렬식

행렬식이란?

정사각행렬 A를 하나의 수로써 대응시키는 특별한 함수이다.

행렬식은 사실 선형대수가 있기 전부터 있었던 매우 유의미한 숫자라고 한다.

표기는 다음과 같다. $detA=|A|$

행렬식 계산법을 표기하는데 드는 시간이 너무 많이든다.

여기서는 간략하게 적고, 이 링크를 참고해주길 바란다. 여기서는 사루스 법칙(전개)를 다룬다. 사루스 법칙은 매우 편하지만, 본질에 가까운건 아래의 공식들이다.
$$
1.\space 0 \times 0 \Rightarrow det() = 0 \\
2.\space 1 \times 1 \Rightarrow det(a) = a\\
3.\space 2 \times 2 \Rightarrow det\left(\begin{array}{cc} a & b\\ c & d \end{array}\right) = ad-bc \\
4.\space 3 \times 3 \Rightarrow det\left(\begin{array}{cc} a_{11} & a_{12} & a_{13}\\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{array}\right) = a_{11}M_{11} - a_{22}M_{22} + a_{33}M_{33} \\
5.\space 4 \times 4 \Rightarrow det(A) = a_{11}M_{11} - a_{12}M_{12} + a_{13}M_{13} - a_{14}M_{14}
$$
여기서 $M_{ij}$는 소행렬(Minor matrix)로 i행과 j열을 지운 matrix이다. 이러한 작업을 하는 것을 여인수 전개라고 한다. 짝수 행 또는 열을 하면 그래서 부호가 음수부터 시작한다.

행렬식을 구할 때 꼭 1행을 훑을 필요는 없다. 1열을 훓어도 되고, 2행을 훑어도 된다. 0이 많은 줄을 골라서 하면 빠르게 계산할 수 있을지도 모른다.

역행렬

행렬식이 0이면 역행렬은 존재하지 않는다(singular). 그리고, 행렬식이 0이 아닌 정사각행렬 A의 역행렬은 다음과 같다.
$$
A^{-1}=\frac{1}{\operatorname{det} A}\left(\begin{array}{ccc}
C_{11} & C_{21} & \cdots \\
C_{12} & C_{22} & \cdots \\
\vdots & \vdots & \ddots
\end{array}\right) = \frac {adjA} {detA}
$$
여기서 $C_{ij}$는 여인수행렬(cofactor matrix)로, $C_{ij} = (-1)^{i+j}M_{ij}$이다.

여기서 여인수 행렬로만 이루어진 행렬을 수반행렬(adjoint matrix)라고 한다.

수반 행렬을 자세히 보면, transpose가 일어나있다는 것을 알 수 있다.

그래서 가장 중요한 공식인 2x2 행렬의 역행렬은 다음과 같다.
$$
\left(\begin{array}{l}
a & b \\
c & d
\end{array}\right)^{-1}=\frac{1}{a d-b c}\left(\begin{array}{c}
d & -b \\
-c & a
\end{array}\right)
$$

크래머 공식

크래머 공식은 연립 일차 방정식을 모두 푸는 것이 아니라, $x_1, x_2, ..., x_k$까지의 변수가 있을 때, 특정한 하나의 변수의 값만 구할 때 쓰인다.

연립일차방정식 AX=B에서, A가 행렬식이 0이 아닌 정사각 행렬일 때,
$$
x_{j}=\frac{\operatorname{det} A_{j}}{\operatorname{det} A}
$$
여기서 $A_j$ 는 A의 j번째 열을 B의 원소로 바꾼 행렬이다.

• approximate : \approx ($\approx$)
• piecewise function
  $$
  \delta(x) =
  \begin{cases}
  0 &\text{if, } x=0\\
  1 &\text{if, } x=1
  \end{cases}
  $$
• combination: \binom ni $\binom ni$

mathpix라는 것을 쓰니까 OCR로 이미지를 LaTeX로 바꿔준다. 한달에 100번만 가능하므로, 아껴써야하나... 다른 계정도 만드는 방식으로 해결해보던가 하자

2014년 한양대학교 이상화 교수님의 강의를 보면서 정리한 것입니다.

Definition of Random Variable(RV, 확률 변수)

• 확률 변수란 그 전까지는 $F(X_1)$ 이런 형태로 나타냈다면, $X(W_i) \to x_i$의 형태로 매핑을 통해 real number를 함수의 변수로 만드는 것이다.
• 간단한 예시로 동전의 앞면이 나오는 사건 $X_1$을 1, 동전의 뒷면이 나오는 사건 $X_2$를 0이라고 하면, $P(X_1) = P(1) = 0.5$ 과 같이 만드는 것이다.
• 동전을 두개 던진다고 할 때에는 동전 앞면이 나오는 횟수에 따라서 0,1,2로 나타낼 수도 있다.

Event Defined by RV

• $A_x$를 event라고 한다면, $A_x = \{ w|X(w) = x \}$라고 한다. 혼돈 그 자체인거 같다.
  • w는 ourcome(시행 결과), X는 사건, x는 RV이다.
  • 앞의 동전 두개의 예시에서 $A_1 = \{HT,TH\}$라고 한다.
  • 그래서, $P(A_x) = P(x)$이다.
  • 나중에는 RV 표기가 엄청 익숙해질 것이라고 한다.

Probability assignment

$$
P(X <= x) = P({w|X(w) <= x})
\\
P(X>x) = 1- P(X<=x)
$$

Distribution Function

• CDF(Cumulative Distribution Function)이란 누적도수분포이다.

$CDF = F_x(x) = P[X<= x] = P({w|X(w)<=x})$

• CDF는 직관적으로 알 수 있는 성질이 있다. 예를 들면 $if \space x_1<x_2, then \space F(x_1) \leq F(x_2)$이나, $P(a < x \leq b) = F(b) - F(a)$등이 있다.

Discrete RV

• 가우시안 함수와 같이 연속적인 RV를 다룰 때는 하나의 점에서의 확률은 0이다. 하지만 이산 RV를 사용하게 되면, 각 점은 특정한 값을 가진다.

• PMF(Probability Mass Function)는 확률 질량 함수이다.

• Discrete RV의 CDF는 step function(계단 모양)으로 나타난다.

Delta function

• 특정 한 값에서 막대 하나만 존재하고, 나머지에선 전부 0인 함수. 컴퓨터 비전에서 푸리에 변환할 때 본거 같다.
  $$
  \delta(x) =
  \begin{cases}
  0 &\text{if, } x=0\\
  1 &\text{if, } x=1
  \end{cases}
  $$
• 동전 2개 던지는 예시에서는 $PMF = P(x) = \frac 14 \delta(x) + \frac 12 \delta(x-1) + \frac 14 \delta(x-2)$이다. CDF는 잘 계산할 수 있을 것이라 생각한다.

2014년 한양대학교 이상화 교수님의 강의를 보면서 정리한 것입니다.

Permutation(순열)

• $n!$

  • n개의 element를 일렬로 나열할 때의 경우의 수

• $ _nP_r = \frac{n!}{(n-r)!}$

  • n개 중에서 r개를 뽑아서 나열하는 경우의 수

• $0! = 1$

  • 아무것도 나열하지 않는 경우의 수는 한개니까 1이다.

• 예시: group permutation(중복이 있는 순열)

  • $n_1 + n_2 + ... +n_k = n, n_k:subgroup \space of \space n$

• $ N_K = \frac{n!}{n_1!n_2!...n_k!} $

  • 중복을 제거해주는 것이다.

Circular Permutation

• 원 순열은 각 element가 한칸씩 이동하여도 같은 것으로 본다. 그래서 $(n-1)!$이다.
  

  

• 위와 같은 상황에서는 원순열에서 5를 곱해주면 된다.

Combination

• n개 중에서 r개를 뽑아내는 것이다. 순서는 고려하지 않는다.
  • $ _n C_r = \binom nk = \frac{_nP_r}{r!} = \frac{n!}{(n-r)!r!} =\space _n C_{n-r}$
• n+m 중에서 k개만큼을 뽑는 방법은 다음과 같다.
  • $\sum_{i=0}^{k} \binom ni \binom {m}{k-i}$
  • 즉, n에서 i개 뽑고, m에서 k-i개를 뽑는데, 0부터 k까지 i를 넣었을 때의 합이다.
  • 남자가 m명, 여자가 n명 있는 조합의 경우의 수 예시.

Binomial Theorem(이항 정리)

• $(a+b)^n = \sum_{k=0}^n \binom nk a^{n-k}b^k$인 것이다.
• 이거는 나중에 이항 분포를 증명할 때 필요하다고 한다.

Stirling's Formula

• $n! \approx \sqrt {2 \pi n}(\frac ne)^n$
• 이게 숫자가 어느정도 커지면 거의 같아진다는데... 계산은 더 빨라서 쓴다는 것 같다.

Reliability Application

• Reliability(신뢰도): 시스템이 유용하게 동작하는 기간
• R(t): 특정 시점 t까지 잘 동작할 확률
• 직렬 연결이면 $R(t) = \Pi_{i=1}^{n}R_i(t)$이다.
• 반대로 병렬 연결이면, $R(t) = 1- \Pi_{i=1}^{n} (1-R_i(t))$이다.
  • 적어도 한개의 module이 동작하면 된다. 전체 확률(1)에서 전부 다 동작하지 않을 확률을 빼면 된다.즉, 병렬 연결을 하면 R(t) 가 높아져서 좋다.
• 직렬과 병렬을 혼합한 복잡한 예제도 있다.

얼마 전부터 adobe acrobat reader가 안된다. 그래서 유용하게 썼던 기능인 색상 반전 기능을 잘 쓰지 못하고 있었다.

강의 노트가 아래와 같이 전부 이미지로 되어있어서 눈이 아팠다.

공부를 하던 중 참을 수가 없어서, 이런 저런 시도를 해보았다. 결국엔 Xodo라는 아주 유용한 PDF Reader를 사용하기로 하였다. Xodo를 활용하면 다음과 같이 변한다.

우선, Foxit Reader라는 것도 사용해봤는데, 역시 이미지는 적당히 까맣게만 해준다. 원래 배경색과 텍스트만 바꿔주는 것이라 그런 것 같다. Foxit Reader의 결과는 아래와 같았다.

그리고 포토샵도 시도해보려고 했는데, 100페이지가 넘는 강의 노트를 하나하나씩 열고 있길래 포기했다. 그래서 찾은 해결책이 Xodo이다.

Xodo는 웹사이트도 있고, windows store에서 다운 받을 수 있는데, 웹사이트는 이 기능이 안된다. store에 검색하면 다음과 같이 나오는데, 첫 번째로 나온 결과가 Xodo Reader이다.

암튼 저거 다운로드 받고 PDF 열고, 아래와 같이 설정하면 된다.

그리고, 결국엔 Xodo는 뭔가 불편한 것 같아서 다음과 같은 고스트 스크립트 코드를 사용해서 pdf 색상 반전을 했다. 

gswin64 -o inverted.pdf -sDEVICE=pdfwrite -c "{1 exch sub}{1 exch sub}{1 exch sub}{1 exch sub} setcolortransfer" -f input.pdf

만족스럽다.

2014년 한양대학교 이상화 교수님의 강의를 보면서 정리한 것입니다.

용어 정리

1. Sample Space: 실험의 결과 하나하나를 모두 모은 것을 뜻하며 S로 표기된다.

2. Events (사건), A: 샘플 공간(S) 의 부분 집합이다.

3. Conditional Probability: 조건부 확률

$$
P(B|A) = \frac {P(B \cap A)} {P(A)} = \frac {P(B \cap A|S)} {P(A|S)}
$$

• 뒤에 Sample Space는 일반적으로 생략한다.
• 조건부 확률의 예시는 날씨가 있다. 어제의 날씨가 맑았으면, 오늘 날씨가 맑을 확률이 높아진다.

4. Total Probability

$$
P(A) = P(A_1) + P(A_2) + ... + P(A_n)\\
P(A_1) = P(A_1 \cap A) = P(A_1|A)\\
P(A) = \sum_i^n P(A|A_i)P(A_i)
$$

5. Priori: 사전 확률

베이즈 정리(Bayesian Theorem)

• 베이즈 정리

$$
P(B|A) = \frac {P(B \cap A)} {P(A)} = \frac {P(A|B)P(B)} {P(A)}\\
P(A|B) = \frac {P(A \cap B)} {P(B)}
$$

• 이를 위의 Total Probability에 적용하면 아래와 같다.

$$
P(A_i|A) = \frac {P(A|A_i)P(A_i)} {P(A)}
$$

독립사건(Independent Events)

• 만약 A와 B가 독립적이라면, $P(B|A) = P(B)$이다.
  • 여기서, $P(B|A) = \frac {P(B \cap A)} {P(A)}$ 이므로, $P(A \cap B) = P(A)*P(B)$이다. 실제로는 뒤에 것만 보이면 독립임을 보이는 것이다.
  • $A$와 $B$가 독립적이라면, $A$와 $B^c$도 독립적이다.
  • 예시로는 주사위를 던지는 것이 있다. 주사위를 던지는 것은 독립적인 시행이다. 그리고, 복원 시행은 독립적인 사건이다.
• Independent와 exclusive는 다른 의미이다.

Combined Experiments

• 두개의 사건 $S_1, S_2$ 가 있을 때, Combined Experiments S 는 $S = S_1 \times S_2$이다.
  • 여기서 $\times$는 cartesian product로, 두 sample space의 순서쌍을 만들어주는 연산이다. 데이터베이스에서도 나온다.
  • 즉, $S =\{(x,y)|x \in S_1, y \in S_2 \}$인거다.
  • 예시로 동전 던지는 것이 있다.

2014년 한양대학교 이상화 교수님의 강의를 보면서 제가 정리한 것으로 내용에는 치명적인 오류가 있을 수 있습니다.