2014년 5월 20일 화요일

LU 분해, LDU분해

정사각행렬 \( \mathbf{A}_{n \times n} \)에 대해서,
  • LU 분해는 유일하지 않지만, LDU 분해는 유일하다.
    • LDU 분해를 통해 LU분해를 구할 수도 있다.(그럴 필요가 없지만)
    • 즉, \( \mathbf{D} \)를 적당히 \( \mathbf{D_{1}D_{2}} \)로 분해하여 \( \mathbf{(LD_{1})(D_{2}U)} \)로 만들 수 있는 방법은 많으니까.
    • 단, LU의 대각성분이 모두 1이면 당연히 유일하다.
  • 0인 pivot이 존재해서 LU 분해가 불가능하면( \(  \begin{pmatrix}0 & 1 \\1 & 0 \end{pmatrix} \) 처럼) PLU 분해 ( \( \mathbf{PA=LU} \) )로 가능하게 할 수 있다. \( \mathbf{P} \)는 permutation matrix이다. MatLab에 있는 lu 함수에 이 기능이 내장되어 있다.

추가정보는 여기로.

2014년 5월 12일 월요일

평균율 음계

음악의 세상에서는 다음과 같은 약속[1]이 되어있다고 한다.

  1. 1옥타브 라 = piano A4 = 440 Hz
  2. 옥타브 한 단계 차이는 또 440 Hz

이 규칙에 따라서 '라'들은,

  • 1옥타브 라 = piano A4 = 440 Hz
  • 2옥타브 라 = piano A5 = 880 Hz
  • 3옥타브 라 = piano A6 = 1760 Hz
  • 4옥타브 라 = piano A7 = 3520 Hz (피아노 끝에서 세번째 흰 건반)

등으로 정의가 되고,

평균율(Equal temperament)을 따르면, 옥타브 안에서 음들은 12단계로 나뉘되, 연속된 두 음의 주파수 비율은 \( 1:\sqrt[12]{2}\)로 모두 같다. A4 에서 A5까지의 음 주파수는 다음과 같다.

  1. A: 440.000
  2. A#: 466.164
  3. B: 493.883
  4. C: 523.251
  5. C#: 554.365
  6. D: 587.330
  7. D#: 622.254
  8. E: 659.255
  9. F: 698.456
  10. F#: 739.989
  11. G: 783.991
  12. G#: 830.609
  13. A: 880.000


그림 1은 위의 음들의 주파수에 자연로그를 취하여 나타낸 것이다. 피아노의 백건에 해당되는 것은 흰색 동그라미로, 흑건에 해당되는 것은 검은색 동그라미로 나타내었다. (그림 2와 함께 보라)

그림 1

음의 한 단계를 반음, 두 단계를 온음이라고 하는데, '시-도'와 '미-파'는 특별하게도 이름이 바뀌는데도 반음 관계이다. 즉 12계 음에서 8개를 취한 '도레미파솔라시도'는 이가 빠진 등비수열같은 것이었다. 하지만 여기에 이미 익숙해져버린 대다수의 사람들에게 '도레파솔라시'의 6음이나 12음을 전부 차례대로 들려주면 '도레미파솔라시도'처럼 자연스럽게 들리지가 않는다.

그림 2
http://toneme.wikispaces.com/file/view/PianoKeys.png/237531691/PianoKeys.png

MatLab code

n=0:12;
r=2.^(n/12);
A4=440;
freq_notes=A4*r;

우리나라의 경우도 똑같이 12음계가 있다.[2][3] 단지 여기에서 보통 적절히 5음계나 6음계를 선택하여 사용하기 때문에 서양보다 음계가 모자라는 것으로 잘못 알고 있는 경우가 있다.

  1. 황종(黃鍾) D# \( \Rightarrow \) 황
  2. 대려(大呂) E
  3. 태주(太簇) F \( \Rightarrow \) 태
  4. 협종(夾鍾) F#
  5. 고선(姑洗) G
  6. 중려(仲呂) G# \( \Rightarrow \) 중
  7. 유빈(柳濱) A
  8. 임종(林鍾) A# \( \Rightarrow \) 임
  9. 이칙(夷則) B
  10. 남려(南呂) C
  11. 무역(無射) C# \( \Rightarrow \) 무
  12. 응종(應鍾) D



[1] 약속은 이렇게 되어있지만 추세가 442 Hz로 바뀌고 있다고도 한다. 특히 피아노가 빠지는 협주에서.
[2] http://www.gugak.go.kr/site/gugak/menu/1417.do?configNo=202&cmd=read&contentNo=62139
[3] http://blog.naver.com/dud83?Redirect=Log&logNo=10180328568

2014년 5월 9일 금요일

양의 정부호 행렬 positive definite matrix

  • 에르미트 행렬(hermitian matrix)[1]은 정부호행렬(definite matrix)이거나 부정부호행렬(indefinite matrix)이다.
    • 정부호행렬에는 네 종류가 있다.
      • 양의 준정부호행렬(positive semi-definite matrix)
      • 양의 정부호행렬(positive definite matrix)
      • 음의 준정부호행렬(negative semi-definite matrix)
      • 음의 정부호행렬(negative definite matrix)
    • 부정부호행렬
이들은 고윳값의 부호들에 의해 판단된다. 다른 부호끼리 섞여있으면 부정부호행렬, 같은 부호끼리만 있으면 정부호행렬, 0이 포함되면 준정부호행렬이 된다.

양의 정부호행렬로 돌아가자면, 다음 명제들은 동치(equivalent)이다.

  • 행렬이 positive definite
  • 모든 eigenvalue가 양수
  • 모든 sub-matrix들의 det.가 양수
  • 모든 pivot들이 양수
에르미트 행렬은 quadratic formula와 연관이 깊은데, 예를 들어 2원2차방정식(bivariate quadratic equation)은 벡터와 행렬로 보기 좋게 표시할 수 있다.

\(
ax_{1}^2+2bx_{1}x_{2}+cx_{2}^2=
\begin{bmatrix}
x_1 & x_2
\end{bmatrix}
\begin{bmatrix}
a & b \\ b &c
\end{bmatrix}
\begin{bmatrix}
x_1 \\ x_2
\end{bmatrix}
=\mathbf{x}^T\mathbf{A}\mathbf{x}=Q(\mathbf{x})
\)

\( Q(\mathbf{x})=1 \) 를 \( \mathbf{A} \)에 따라 그려보면,

그림 1

그림 1을 보면, pivot들의 부호에 따라 곡선의 모양이 결정된다는 것을 알 수 있다. 이것은 함수값이 특정값 ( \(=1 \) )일 때만 본 것이니까, 모든 함수값에 대해서 그림을 그려보면 그림 2와 같게 된다.

그림 2

\(
\mathbf{A}=\begin{bmatrix}
1 & 0 \\ 0 & -1
\end{bmatrix}\Rightarrow\text{hyperbolic paraboloid}, \quad
\mathbf{A}=\begin{bmatrix}
1 & 0 \\ 0 & 0
\end{bmatrix}, \quad
\mathbf{A}=\begin{bmatrix}
1 & 0 \\ 0 & 1
\end{bmatrix}\Rightarrow\text{elliptic paraboloid}
\)

좌측의 부정부호행렬은 hyperbolic paraboloid[2]를,
중앙의 양의 준정부호행렬은 parabolic cylinder를,
우측의 양의 정부호행렬은 elliptic paraboloid를 만들게 된다.

결국 그림 1은 그림 2를 특정 \( x_1 \)─\(x_2 \) 평면으로 자른 단면이다.

에르미트 행렬은 그 특수성으로 쉽사리 보기 힘들다고 생각할 수 있는데, 실은 공분산행렬(covariance matrix)이 그 좋은 예이다. \( d \)차원 데이터의 차원 사이의 분포가 어떤 상관성을 띠는지 나타내거나, 비용함수의 최적해를 찾아낼 때 쓰인다. 예를 들어 비용함수가 elliptic paraboloid 꼴이라면, gradient를 통해서 유일한 극소값을 찾아낼 수 있다.


[1] Charles Hermite은 프랑스 수학자로, 찰스 허밋이 아니라 샤를 에르미트이다. 그러므로 에르미시앙 행렬로 부르는 게 가장 맞겠으나[3],에르미트 행렬로 부른다. 하지만 많은 사람들이 그냥 영어식으로 허미션 매트릭스라고 부른다.
[2] hyperbolic paraboloid은 hyperboloid와 다른 것이니 혼동 주의.
[3] Bayesian theorem도 한국어로는 베이즈 정리라고 한다.

2014년 5월 8일 목요일

치환행렬 permutation matrix

치환행렬 (permutation matrix) 혹은 순열행렬
치환행렬은 기본 행렬(elementary matrix)의 세 종류 중 하나이다.

어떤 행렬에 곱해지면 그 행렬의 행 또는 열의 순서를 바꿔주는 역할을 한다.


성질

  • 행렬의 앞에 곱해지면 원래 행렬의 행 순서를 바꿔주고 \( \mathbf{P}_{n\times n}\mathbf{A}_{n\times m}\)
    행렬의 뒤에 곱해지면 원래 행렬의 열 순서를 바꿔준다. \( \mathbf{A}_{m\times n}\mathbf{P}_{n\times n}\)
  • 치환행렬이 대칭행렬(symmetric matrix)일 거라고 착각하는 경우가 있는데, 그것은 두 행 사이의 상호 행바꿈만 존재할 때만 그렇다. 대칭행렬인 치환행렬끼리 곱해도 치환행렬인데, 대칭행렬이 아닌 경우가 더 많다.
  • 치환행렬의 전치(transpose)는 치환행렬의 역행렬(inverse matrix)과 같다.
    \( \mathbf{P}^{T}=\mathbf{P}^{-1} \Leftrightarrow \mathbf{P}\mathbf{P}^{T}=\mathbf{I} \) (순서를 바꾸고 또 바꾸면 원래대로 돌아오게 되니까)
  • 원래 위의 성질은 직교행렬의 것이다. 즉, 모든 치환행렬은 직교행렬(orthogonal matrix)이다.

더하면 특정값이 되는 순열 수 찾기 문제

문제

순열 \( \begin{pmatrix}a_1, & a_2, & \cdots, & a_N \end{pmatrix} \) 이 있다. 각 원소는 서로 같을 수도 있다.

\( \sum_{i=1}^{N}{a_i}=K \) 가 되는 모든 순열의 수를 구하여라.

단, \( a_i \in \mathbb{Z},\quad a_i \geq 0,\quad a_i \leq B,\quad N,B,K \in \mathbb{N},\quad N \geq 2,\quad K \leq BN \) 을 만족해야 한다.

힌트

\( K=0 \) 이라면 \( N \)에 관계없이 순열의 수는 \( 1 \)개이다.

\( K=1 \) 이라면 순열의 수는 \( N \)개이다.

\( K=2 \) 이라면 \( K  \leq B \) 와 \( K > B \)로 나누어 생각해야 한다.

\( K\geq 3 \) 이라면.. 여기서부터가 진짜 문제이다. 나는 순열의 최대값 원소를 미리 정해놓고 나머지 원소를 찾은 다음에, 가능한 모든 순열의 개수를 계산하는 방법을 사용했다.

2014년 5월 7일 수요일

바이올린 플롯 violin plot

boxplot보다 직관적인 분포 표현 방법


Differential entropy

differential entropy = continuous entropy
왜 이름이 differential인지 도통 모르겠다.


원래 엔트로피는 이산확률일 때 정의되는데,

\( H(X) = \sum_{i} {P(x_i)\,I(x_i)} = -\sum_{i} {P(x_i) \log_b P(x_i)} \)


연속확률일 때로 확장하면,

\( h(X) = -\int_\mathbb{X} f(x)\log f(x)\,dx\)


그런데 엔트로피의 성질을 따르지 않을 수도 있다는 문제가 있다. 균등분포 \( \mathcal{U}(a,b) \)을 가정하고 differential entropy를 구하면,

\( f(x)=\frac{1}{b-a}, \\
h(X)=\int_{a}^{b} \frac{1}{b-a}\ln({b-a}) dx =\ln{(b-a)} \)

이므로, 이 때 \( b-a \) 가 1이거나 그보다 작으면 엔트로피가 0 또는 음수가 되어버리는 이상한 일이 발생한다. 만약 균등분포를 가정하고 엔트로피를 구한다면 \( a,b \)의 편차의 최소값이 항상 \( 1 \)보다 크도록 적당히 측정단위를 바꿔서 써야할 듯 하다.

정규분포 \( \mathcal{N}(\mu,\sigma) \)의 경우에는,

\( h(X)=\ln(\sigma\sqrt{2\pi e})\)

이기 때문에, \( \sigma < \frac{1}{\sqrt{2\pi e}}=0.2419\cdots \) 인 경우에는 엔트로피가 \( 0 \) 이하로 떨어질 수 있으니 역시 조심해야 한다.

다른 연속확률분포의 differential entropy는 여기로.

복소로그함수, 복소수의 로그 complex logarithm

고등학교 교과과정에서의 logarithm

\( \log_{a}{b}=c   \Leftrightarrow a^c = b\ \text{where}\ a,b,c \in \mathbb{R} \ , \ a \neq 1 \ , \ a>0 \,\ b>0 \ , \\
\ln{b}=\log_{e}{b} \,\ e=2.71828\cdots. \)


확장 1

\( b \)가 양수여야 한다는 조건을 삭제하고자 한다면, \( b\ (b > 0) \)에 대해서,

\( \ln(-b)=\ln(b\times (-1))=\ln(b)+\ln(-1) \) 와 같이 결국 \( \ln(-1) \)을 정의하는 문제로 귀결되고,

\( -1=e^{j(2n+1)\pi}\ \text{where}\ n \in \mathbb{Z} \) 를 이용하면, \( \ln(-1)=\ln(e^{j(2n+1)\pi})=j(2n+1)\pi \)로 볼 수 있다. 즉,

\(
\ln{b}=\begin{cases}\ln{b} & b > 0\\ \ln{b}+j(2n+1)\pi & b < 0 \\\text{not defined}\ & b=0\end{cases}
\)

확장 2

\( b \in \mathbb{C}\)로 확장한다면,

\( b=x+jy  \Rightarrow \sqrt{x^2+y^2}\exp(j\ \text{atan2}(y,x)) \) 이므로,

\(
\begin{align}
\ln(x+jy)&=\ln\big(\sqrt{x^2+y^2}\exp(j\ \text{atan2}(y,x))\big) \\
&=\ln(\sqrt{x^2+y^2})+j\ \text{atan2}(y,x) \\
\end{align}
\)

확장 3

\( a \in \mathbb{C}\)로도 확장한다면,

\( \log_{a}{b}=\frac{\ln{b}}{\ln{a}} \)에 의하여 무리없이 전개된다.


확장이 완료된 복소로그함수의 정의

\( \begin{align}
\log_{a}{b}&=c   \Leftrightarrow a^c = b\ \text{where}\ a,b,c \in \mathbb{C} \ , \ a \neq 1 \ , \ a\neq0 \,\ b\neq0 \ , \\
\ln{b}&=\log_{e}{b} \,\ e=2.71828\cdots. \\
\ln{z}&=\ln(\sqrt{x^2+y^2})+j\ \text{atan2}(y,x)\ \text{where}\ z=x+jy\ \text{and}\ x,y\in\mathbb{R}\ \text{and}\ j=\sqrt{-1}.
\end{align}
\)

\( \text{Log}(x+jy) \)의 결과를 그래프로 나타내면,




[1] "복소로그함수 Complex logarithm 와 리만 곡면 Riemann surface"

복소로그함수 Complex logarithm 와 리만 곡면 Riemann surface

복소수 \( z=r e^{j\theta}=x+jy\) 에 대하여 다음과 같이 복소로그(complex logarithm) 함수를 정의한다.

\( \text{Log} z := \ln r + j \theta = \ln(z) + j\ \text{arg}(z)=\ln |z| + j(\theta + 2n\pi) = \text{ln}\sqrt{x^2+y^2} + j\ \text{atan2}(y,x)\ \text{where}\ n\in\mathbf{Z} \)

\( \text{Log} \)는 logarithm 이기는 한데, 이렇게 확장하여 정의했으니 대문자 L을 쓴 것이다. 의미 상으로는 밑이 \( e \) 인 logarithm 맞다.

\( z = 1= e^{j0}\) 이라면,

\( \text{Log}1 := \ln(1) + j\ \text{arg}(1) = \cdots, -j4\pi, -j2\pi, 0, j2\pi, j4\pi, \cdots \)

이렇게 답이 무한개가 나오므로[1], 보통은 답의 범위를 \( [-\pi, \pi) \) 처럼 제한하여 다루었다. 하지만 이렇게 공역을 제한하는 것보다는 정의역을 다르게 정의하는 것이 적절하다. 이것이 바로 리만 곡면 Riemann surface이다. 물론 리만 곡면은 함수에 따라 달라진다. 그림 1은 Log함수의 정의역인 복소곡면을 나타낸다. 이 곡면상의 한 점이 함수의 입력에 해당되고, z축의 꼭대기에서 (전체를 관통하여) 복소평면을 바라보았을 때의 그 점의 위치가 출력에 해당된다.

그림 1

참으로 소용돌이 감자가 먹고 싶어지게 하는 곡면이다.

그림 2[2]

[1] 입력은 하나인데, 출력은 여러 개이므로 이것은 다가함수(multivalued function)이고, 함수의 정의에 의하면 함수라고 할 수 없지만, 통상 함수라고 칭한다.
[2] 출처 http://twistpotatomalaysia.blogspot.kr/2010_07_01_archive.html

원주율에 대한 라이프니츠 공식 Leibniz formula for pi

원주율은 다음과 같이 아름답게도 표현할 수 있다.

\( \frac{1}{1} - \frac{1}{3} + \frac{1}{5} - \frac{1}{7} + \frac{1}{9} - \cdots = \frac{\pi}{4} \)

합 공식으로 나타내면 간단하지만 오히려 아름답지가 않다.

\( \sum_{n=0}^\infty \, \frac{(-1)^n}{2n+1} \;=\; \frac{\pi}{4} \)

또는 변형하여,

\( \frac{\pi}{4} = \sum_{n=0}^{\infty} \bigg(\frac{1}{4n+1}-\frac{1}{4n+3}\bigg) = \sum_{n=0}^{\infty} \frac{2}{(4n+1)(4n+3)} \)

단, 이 공식을 이용하여 \( \pi \)를 구하는 것은 조금 바람직하지 않다. 진짜 \( \pi \)로의 수렴속도가 느리기 때문에.

증명은 여기로.

2014년 5월 6일 화요일

BM3D

BM3D (block-matching and 3-D filtering)

매우 놀라운 성능을 보여주는, 영상에서의 노이즈 제거 방법.
영상에서 (작은 크기로) 반복적으로 관찰되는 부분들을 찾아 마치 포토샵의 stamp tool처럼 노이즈를 제거하는 게 아닐까 싶다. 탐색하는 블록의 크기에 따라 수행시간이 엄청나게 늘어날 수도 있겠지만 성능 면에서는 wow.

http://www.cs.tut.fi/~foi/GCF-BM3D/index.html

레나 이미지 원본 uncompressed Lenna image

영상처리 분야에서 화질비교용 영상으로 많이 사용되는 Lenna 이미지.
512*512 크기이며, 비압축 TIFF 포맷이다.

이론적으로 파일의 정보량은 512 px * 512 px *8 bits * 3 color layers = 6,291,456 bits = 786,432 bytes ..이어야 하지만 헤더 때문인지 파일의 크기는 786,572 bytes 이다. 출처는 [1]


uncompressed Lenna image 512*512 TIF format (color)

아래는 256*256 크기. 출처는 [2]

복소수 신호 Complex signal

복소수 신호(복소 신호)

\( z=a+jb=\sqrt{a^2+b^2}(\frac{a}{\sqrt{a^2+b^2}}+j\frac{b}{\sqrt{a^2+b^2}})=A(\cos\phi+j\sin\phi)=A e^{j\phi} \)


  • 진폭 magnitude: \( A=\sqrt{a^2+b^2} \)
  • 위상 phase: \( \phi=\cos^{-1}\big(\frac{a}{\sqrt{a^2+b^2}}\big)=\sin^{-1}\big(\frac{b}{\sqrt{a^2+b^2}}\big)=\tan^{-1}\frac{b}{a} \)
그래서 복소 신호를 \( A \angle \phi \)로 표현하기도 한다.
복소 신호를 만드는 것은 쉽다. 그렇다면 반대로, 전압계를 이용해서 레코딩한 신호가 복소신호일 수도 있을까?

행렬거듭제곱 matrix exponential

\( e^{\begin{pmatrix}a & b \\c & d \end{pmatrix}} =? \)

\(
\begin{align}
e^x & = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots \\
& = \sum_{n=0}^\infty \frac{x^{n}}{n!}, \\
\end{align}
\)

이므로, \( \mathbf{A} \in \mathbb{C}^{n \times n} \) 에 대해서는,

\( e^{\mathbf{A}} = \mathbf{I}  + \mathbf{A} + \frac{\mathbf{A}^2}{2!} + \frac{\mathbf{A}^3}{3!} + \cdots. \)

로 구할 수 있다.[1][2]


[1] http://dx.doi.org/10.1137/1.9780898717778.ch10
[2] "행렬의 삼각함수 matrix sine and matrix cosine"도 참조

행렬의 삼각함수 matrix sine and matrix cosine

\( \cos \begin{pmatrix}a & b \\c & d \end{pmatrix} =? \)

\(
\begin{align}
\sin x & = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \frac{x^7}{7!} + \cdots \\
& = \sum_{n=0}^\infty \frac{(-1)^n x^{2n+1}}{(2n+1)!}, \\
\cos x & = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \frac{x^6}{6!} + \cdots \\
& = \sum_{n=0}^\infty \frac{(-1)^n x^{2n}}{(2n)!}.
\end{align}
\)

이므로, \( \mathbf{A} \in \mathbb{C}^{n \times n} \) 에 대해서는,

\(
\sin \mathbf{A} = \mathbf{A} - \frac{\mathbf{A}^3}{3!} + \frac{\mathbf{A}^5}{5!} - \frac{\mathbf{A}^7}{7!} + \cdots, \\
\cos \mathbf{A} = \mathbf{I} - \frac{\mathbf{A}^2}{2!} + \frac{\mathbf{A}^4}{4!} - \frac{\mathbf{A}^6}{6!} + \cdots.
\)

로 구할 수 있다.[1] 이로 인해,

\(
e^{i \mathbf{A}}=\cos \mathbf{A} + i \sin \mathbf{A}
\) 도 구할 수 있게 된다.


[1] http://dx.doi.org/10.1137/1.9780898717778.ch12

어떤 수의 허수 거듭제곱

\( i \)는 허수단위(imaginary unit)이다. \( a \in \mathbb{Z}, a>0 \)의 허수거듭제곱은,

\(
a^{i}=a^{i\log_{b} b}=a^{\log_{b} b^i}=b^{i\log_{b} a} \\
\Rightarrow a^{i}=e^{i\ln a} \\
\Rightarrow \cos(\ln a)+i\sin(\ln a)
\)

확장하여, 복소수거듭제곱은,

\( a^w=a^{n+im}=e^{(n+im)\ln a}=e^{n}e^{im\ln a} \\
\Rightarrow e^{n}\big( \cos(m\ln a)+i\sin(m\ln a) \big)
\)

logarithm 때문에 \(  a\leq 0 \) 이면 식이 성립하지 않는다. \( a \in \mathbb{Z}) \)로는 어떻게 확장해야할까?

로그함수를 음수는 물론, 복소수에 대해서도 확장시켜 복소로그함수로 간주하면 된다.[1]

예를 들어 \( -1^{i} \)를 구하고자 한다면,

\(
\begin{align}
    -1^{i} &= -1^{\ln{e^i}}\\
&=e^{i\ln{(-1)}}\\
&=e^{i\times i\pi}\\
&=e^{-\pi}
\end{align}
\)

사실 엄밀히 하자면 \( \ln{(-1)}=i(2n+1)\pi,n\in\mathbb{Z} \) 이므로 이것은 답 중 '하나'에 속하지만, 이 답이 가장 간단하므로 주치(principal value)라고 한다.

[1] "복소로그함수 Complex logarithm 와 리만 곡면 Riemann surface"

2014년 5월 1일 목요일

밑변환 change of base

로그 밑변환 (change of base for logarithms)

\(
\log_{a}{b}=x \\
\Rightarrow a^x=b \\
\Rightarrow \log_{c}(a^x)=\log_{c}{b} \\
\Rightarrow x\log_{c}{a}=\log_{c}{b} \\
\Rightarrow x=\frac{\log_{c}{b}}{\log_{c}{a}}
\Rightarrow \log_{a}{b}=\frac{\log_{c}{b}}{\log_{c}{a}}
\)


지수 밑변환 (change of base for exponents)

\(
a^{\log_{c}{b}}=x \\
\Rightarrow \log_{c}(a^{\log_{c}{b}})=\log_{c}x \\
\Rightarrow \log_{c}{b}\times\log_{c}a=\log_{c}x \\
\Rightarrow \log_{c}(b^{\log_{c}{a}})=\log_{c}x \\
\Rightarrow b^{\log_{c}{a}}=x \\
\Rightarrow b^{\log_{c}{a}}=a^{\log_{c}{b}}
\)

거듭제곱의 확장, 그리고 또 확장

거듭제곱은 \( a^n \) 인데, \( n \)이 자연수일 때는 누구나 직관적으로 이해가 된다.

\( a^n\times a^m = a^{n+m} \cdots (1) \\ (a^n)^m=a^{nm} \cdots (2) \\ n,m\in \mathbb{N}  \)

여기까지도 문제없이 이해 가능하면 아래처럼 그림 1을 그릴 수 있다.

그림 1


하지만 옛날 사람들은 \( a^2 \) 와 \( a^3 \) 사이에도 \( a^{2.5} \) 같은 것이 존재해야만 할 것 같았던 것이다.

\( a^{2.5} \) 는 일단 \( a^{2} \)를 구한 다음에 \( a^{0.5} \)를 곱해야 된다. 이것은 자연적으로 거듭제곱(지수,승수)이 1보다 작을 때 어떻게 계산하는지에 대한 문제가 되었을 것이다. 어떤 수를 \( n \)회 거듭해서 곱한다는 거듭제곱수의 정의와 상충되는 게 아닌가?

하지만 \( (2) \)를 조금 확장하여, \( n=\frac{1}{p} , p\in \mathbb{N}\) 이고, \( m=p\) 인 것을 생각해보면,

\(  (a^{\frac{1}{p}})^p=a \Rightarrow a^{\frac{1}{p}} =\sqrt[p]{a} \)

즉, \( p \)제곱근이 된다. 이걸 처음 알아낸 사람은 얼마나 신났을까?  \( a^{2.5} \)이란,  다름아닌 \( a^{2}\times \sqrt{a} \)였던 것이다!

이제 그렇다면  \( a^{0.000000001} \) 같은 것도 (힘들지만) 구할 수는 있는 것이다. \( 1 \)에 가깝게 나오리란 것쯤은 예측 가능하다. 그리고 아직 증거는 없지만,  \( a^{0} \) 이 1이라고 말할 수 있을 것 같다. 여기까지 구할 수 있다면 그림 2을 그릴 수 있다.

그림 2

하지만 이 곡선이 \( 0 \)에서 끊기는 것은 많이 아쉽다. 음수 영역에서도 자연스럽게 곡선이 이어질 것만 같으니까 말이다.

이번에는 \( (1) \)을 변형하여,

\( a^{n+1}/a^1=a^n  \)

을 생각해보고, \( n\leq 0 \)로 확장하면

\(
a^{0+1}/a^1=a^0=1 \\
a^{-1+1}/a^1=a^{-1}=\frac{1}{a^1} \\
a^{-2+1}/a^1=a^{-2}=\frac{1}{a^2}
\)

가 되므로, 거듭제곱(exponent, power)이 \( 0 \) 일 때 모든 \( a \)에 대해서 그 값은 \( 1 \)이 되는 것이 확인되고, 음수인 거듭제곱 \( n \)은 다름아닌 역수를 만들어내는 것이 동시에 확인된다. 이제 그림 3도 그릴 수 있다.

그림 3

이상을 정리하면, 어떤 수 \( a>0 \)[1]의 유리수거듭제곱은 다음과 같다.

\( a^{\frac{p}{q}}=\sqrt[q]{a^p} \ \text{where}\ p \in \mathbb{I}\ \text{and}\ q \in \mathbb{N} \)

이제 좀 더 많은 경우의 \( a \)에 대하여 그래프를 그려보면, 아래 그림 4와 같이 구할 수 있다.

그림 4

그러나 변수가 \( a \) 와 \( n \)로 2-dim.이니, 그림 5처럼 3차원 그래프로 나타내는 게 관계를 파악하는데 더 좋다.

그림 5

이제 거듭제곱이 유리수라도 문제없이 거듭제곱수를 구할 수 있다.


실수로까지 확장하여 구하고 싶다면 어떻게 구할까? 애당초 무리수의 참값은 알 수 없고, 근사치로만 알고있기 때문에 근사치인 실수를 이용하면 된다.

\( a^n=\lim_{r \rightarrow n}a^r\ \text{where}\ r\in\mathbb{Q}\text{and}\ n \in\mathbb{R} \)

조금 얼렁뚱땅이기는 하지만 이렇게 거듭제곱이 실수인 경우까지 구할 수 있게 되었다.


이번에는 복소수까지 확장해보자. [2]에 의하여,

\( a^{n+jm}=e^{(n+jm)\ln a} \)

로 변형될 수 있고, 오일러의 공식 \( e^{jx}=\cos(x)+j\sin(x) \)에 의해 자연상수\( e \)의 허수인 거듭제곱을 계산할 수 있다. 당연하게도 결과는 복소수로 나오게 된다. 그림 6은 \( 2^{n+im} \)에 대하여 그 결과를 색상으로 나타낸 것이다. 애석하게도 실수부와 허수부를 한번에 나타낼 수는 없으므로, 두 그래프로 나누어 나타내었다.

그림 6



[1] \( a=0 \)인 경우에 대해서는 "............"을 참조
[2] "밑변환 change of base"에서 지수 밑변환을 잠조

가장 아름다운 공식, 오일러의 등식 Euler's identity, Euler's equation

오일러의 등식 Euler's identity, Euler's equation

\( e^{j\pi}+1=0 \)

\( e \)는 자연상수,
\( j \)는 허수,(\( i \)로 쓰기도 한다.)
\( \pi \)는 원주율
\( 0 \)과 \( 1 \)은 중요한 숫자.

자연상수에다가 허수와 파이를 곱한 만큼 거듭제곱[1]을 하고 1을 더하니 오묘하게 0이 되었다? 정말로 아름답지 아니할 수 없다.

물론 우연히 나온 결과가 아니라,

\( e^{jx}=\cos(x)+j\sin(x) \)

라는 오일러의 공식 Euler's formula에서 \( x \)가 \( \pi \)인 특이한 경우이다.

이를 복소평면상에서 해석하자면,

\( e^{j\pi}+(1+j0)=(0+j0) \ \Rightarrow \begin{pmatrix} \cos(\pi) \\ \sin(\pi) \end{pmatrix}+\begin{pmatrix} 1 \\ 0 \end{pmatrix}=\begin{pmatrix} 0 \\ 0 \end{pmatrix} \)

작성중..

[1] 거듭제곱을 자연수가 아닌 수로 어떻게 하는지(가능한지) 궁금하면 "거듭제곱의 확장, 그리고 또 확장"을 참조

자연로그의 밑, 자연상수 e

\( \lim_{n \rightarrow \infty} \left(1+\frac{1}{n}\right)^n \)

\( \sum_{n=0}^\infty \frac{1}{n!} \)

황금비 golden ratio

\( \varphi=\frac{1+\sqrt5}{2}=1.61803398874989\cdots=1 + \cfrac{1}{1 + \cfrac{1}{1 + \cfrac{1}{1 + \ddots}}} \)

이 수가 재미있는 것은 한 두 가지가 아니지만,

  • 1을 빼면 역수 \( \varphi-1=\frac{1}{\varphi} \)
  • 1을 더하면 제곱 \( \varphi+1=\varphi^2 \)

으로 특징을 외우기 참 쉽다는 것에 관심이 간다.

황금비 본연의 의미(황금사각형 golden rectangle)에 입각해 말하자면,

"어떤 직사각형의 긴 변쪽에 정사각형을 붙여 만든 새로운 직사각형은 원래의 것과 닮아있어야 한다."


여기서부터는 사족
  • 이 황금비에 따라 많은 건축물들이 만들어졌다..라고 하는데 나는 다소 회의적이다. 많은 (고대) 건축물들의 가로세로 비율이 황금비와 유사한 것은 맞지만, 정확하지는 않다.[1] 차라리, 많은 건축물들 중 황금비를 따르는 건축물들만 찾아낸 것이 아닐까?
  • 수학적으로는 아름다운 게 분명하긴 한데, 심미적으로 황금사각형이 아름다운지에 대해서도 조금 회의적이다. 선험적인 것일까, 아니면 학습된 것일까.
  • 하지만 만약에 외계문명이 있다면, 거기에서도 황금비 사각형은 쓰일 것이라 확신한다.
  • 자연계에서 황금비가 발견되는 것은 확실하다. 그러나 엄밀히 말하자면 피보나치 수열[2]이 발견되는 것이지, 정확한 황금비가 발견되는 것은 아니다. 아무래도 오차가 있기 마련이다. 암모나이트같은 경우도 개체별로 차이가 있다.
  • 컴퓨터 모니터의 비율은 전통적으로 3:4였다. 이는 황금비와 너무나도 다른데, 모니터 비율은 영화필름의 비율에서, 영화필름의 비율은 (사진)필름의 비율에서 따왔기 때문이다. 초기에 코닥에서 정한 비율이 3:4이다. 이는 렌즈를 통해 맺히는 상은 원형인데, 황금비를 따르면 위아래로 잘리는 상의 크기가 너무 커지기 때문에 적당히 3:4로 타협한 게 아닌가 추측된다.


[1] 국기의 비율 2:3=1:1.5, 신용카드 비율 5.35:8.6=1:1.607 도 황금비라고 칭하는데, 솔직히 너무 오차가 크지 않은가?
[2] 피보나치 수열에서 앞 숫자와 뒷 숫자의 비율은 황금비로 수렴한다.

무리수의 무리수거듭제곱이 유리수가 되는 경우

\( (\sqrt[p]m)^{\log_{m}(n^p)}=(n^p)^{\log_{m}(\sqrt[p]m)}=n\ \text{where}\ m,n,p \in \mathbb{N} \)

위 명제는 참[1]이고, '무리수의 무리수거듭제곱'이라는 조건을 만족하려면, \( m,n,p\neq 1\ \text{and}\  \sqrt[p]m \in \mathbb{I}\ and \frac{m}{n}\not\in\mathbb{N} \)이라는 조건이 추가되어야 된다. 그러면, \( \sqrt[p]{m}, \log_{m}(n^p) \in \mathbb{I} \)가 되기 때문이다.

예를 들어, \( (\sqrt{5})^{\log_{5}(9)}=9^{\log_{5}(\sqrt{5})}=3 \)가 성립한다.

\( 5 \)는 거듭제곱수가 아니므로 \( \sqrt{5} \)는 무리수이고, \( \log_{5}{(9)} \)는 자연수가 아니므로, 무리수이다.[2]

아예 다른 조건으로 특이한 경우로는,

\( {\left( \sqrt{2}^{\sqrt{2}} \right)}^{\sqrt{2}}=\sqrt{2}^{2}=2 \)
가 성립한다. 단, \( \sqrt{2}^{\sqrt{2}} \)가 무리수임을 증명해야 하는데 쉽지 않다.[3][4]


[1] "밑변환 change of base"
[2] "자연수의 거듭제곱근은 자연수이거나 무리수"
[3] Gelfond–Schneider theorem를 이용하여 이것이 초월수임을 보이면 된다. 모든 초월수는 무리수이기 때문이다.
[4] 사실 유리수여도 문제를 푸는 데 있어서 상관없기는 하다. 애초에 \( \sqrt{2} \)가 무리수니까.

2014년 4월 30일 수요일

mathjax를 블로그에서 사용하기

블로그처럼 웹사이트 상에서 수식을 표현할 때 만약 그림파일을 사용한다면,

  • 고정된 해상도
  • 그림파일의 용량
  • 배경색과의 어울림
  • 수식의 편집 불가

등의 문제가 있을 것이다. mathjax[1]라는 곳에서 이런 문제를 해결해놨다. 수식은 매우 universal하게 사용되는 latex 문법을 따른다.

사용법

  1. 블로그 스킨의 기본 html를 사용자가 수정할 수 있는 메뉴가 들어가서 <head>와 </head> 사이에 다음 문구만 삽입하면 준비 끝.

    <script src='http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML' type='text/javascript'/>

  2. html모드가 아닌 보통의 글쓰기 모드에서, latex 문법으로 쓰여진 수식을 ₩( 와 ₩) 사이에 넣는다.[2]

    ₩( \mathbf{A}=\mathbf{B}^{-1} ₩)


결과

\( \mathbf{A}=\mathbf{B}^{-1} \)


[1] jax는 ajax에서 따왔을텐데, 발음을 어떻게 해야 할지 모르겠다. ajax만 해도 발음에 있어서 여러 논의가 있다.
[2] 백슬래시 backslash를 표현할 때 이 포스트에서는 억지로 특수문자를 사용했지만 실제로는 키보드에 있는 것을 써야한다.

선형대수학 linear algebra

선형대수만 배워서는 쓸데가 없다. 왜 중요한지도 모른다. 예를 들어 행렬식(det., determinant)을 구하는 방법을 배운 다음에, 그게 무엇인지 의미를 스스로 생각해보려고 하면 깨달음을 얻기도 힘들 뿐더러, 아무것도 배운 것 같지 않은 느낌만 남는다. 차라리 실제적인 문제를 푸는데 있어서 행렬식을 모르면 안 풀리는 상황을 가져다놓고, 스스로 궁금해하게 한 다음에 가르치는 게 더 의미있지 않을까 싶다.

선형대수학만 배운다는 것은, 펜을 잡는 법만 배우고 글씨는 한번도 안 써보는 것과 같다.

0의 0제곱(미작성)

미작성

자연수의 거듭제곱근은 자연수이거나 무리수

"2의 제곱근과 3의 제곱근이 무리수임을 증명하기"를 좀더 확장해서 생각해보면, 어떤 소수(prime number)의 제곱근은 모두 무리수일 것만 같다. 예를 들어 \( \sqrt{7} \)이 무리수(irrational number)인 것을 증명해본 사람은 거의 없겠지만, 그 값을 유리수(rational number)로 표현해본 사람도 없을 것이다. 무리수 맞다.

하지만 '소수의 제곱근은 무리수'가 참이라고 해서, '소수가 아닌 자연수의 제곱근은 유리수'인 것은 절대 아니다. 너무나 간단한 예가 있는데, \( \sqrt{6}=\sqrt{2}\sqrt{3} \)부터가 무리수 아니던가. 거꾸로 생각해보면, 애당초 자연수의 제곱근이 무리수가 아닌 경우는 매우 제한적이다. 그것도, 그냥 유리수가 아닌 자연수로만 나오게 된다. 그말은,

제곱수가 아닌 자연수의 제곱근은 무리수이다.

이며, 확장하면,

거듭제곱수가 아닌 자연수의 거듭제곱근은 무리수이다.

가 된다. 수식으로 표현한다면,

\( \sqrt[b]{a} \in \mathbb{I},\text{where}\ a, b\in \mathbb{N} \ \text{and}\ \sqrt[b]{a} \not\in \mathbb{N} \)

이 말은 다른 말로,

자연수의 거듭제곱근은 자연수이거나 무리수이다.


수 체계(number set)의 표기법이 익숙하지 않다면 [1]을 참조.

수 체계 표기법

수 체계(number set)는 다음의 표기로 통용된다.

\( \mathbb{C} \): 복소수(complex number)
\( \mathbb{R} \): 실수(real number)
\( \mathbb{I} \): 무리수(irrational number)[1]
\( \mathbb{Q} \): 유리수(rational number)[1]
\( \mathbb{Z} \): 정수(integer)
\( \mathbb{N} \): 자연수(natural number)
\( \mathbb{P} \): 소수(素數 prime number)[2]


[1] 무리수(無理數)는 무비수(無比數)로, 유리수(有理數)는 유비수(有比數)로 바로잡아야 한다고 엔하위키에 나와있는데, 나는 두 가지 상반된 견해로 비판하고 싶다. 첫 번째로, 理에는 다스리다 supervise, manage라는 뜻도 있으므로, 분수로써 다스릴 수(표현할 수) 있느냐 없느냐에 따라 有理/無理로 분류하는 것이 꽤 이치에 맞는 듯 하다. 두 번째로는, 만약 理가 오역에 의한 것이라면, 有比/無比로 개정하는 것은 어색하지 않을 수 없다. 비율이 없다기보다는, 비율로써 나타낼 수 없는 것이니까, 비수(比數)/불비수(不比數)가 더 낫지 않을까?
[2] 소수(小數)와 한국어 표기법이 같아 혼동될 수 있다. 옛날 책을 보면 솟수라고 불리었던 것 같은데, 1988년 맞춤법 규정에 따라 한자어 중 사이시옷이 허용되는 경우[3]에 포함되지 않았다.
[3] 딱 여섯가지 단어만 허용된다. (곳간, 셋방, 숫자, 찻간, 툇간, 횟수) 국문학자들이 수학을 잘 몰랐나보다. 혹시 장음 단음으로 구분하라는 걸까?

2014년 4월 29일 화요일

2의 제곱근과 3의 제곱근이 무리수임을 증명하기


\( \sqrt{2} \)가 무리수(irrational number)임을 증명

만약 \( \sqrt{2} \)가 유리수라면, 서로소(relative prime)인 정수 \( a \)와 \( b \)로 표현 가능하다.
\( \sqrt{2} =\frac{b}{a} \)
\(2=\frac{b^2}{a^2} \longrightarrow 2{a^2} ={b^2} \)

따라서 \( b^2 \)는 짝수. \( b \) 역시 짝수. 따라서 \( b \)를 \( 2c \)라 한다면,
\( 2a^2 =4c^2 \longrightarrow a^2 = 2c^2 \)

따라서 \( a^2 \)는 짝수. \( a \) 역시 짝수.
\( a \) 와 \( b \)가 모두 짝수라면 서로소가 아니어서 가정에 모순되므로, \( \sqrt{2} \)는 유리수가 아니다.


\( \sqrt{3} \)이 무리수임을 증명

만약 \( \sqrt{3} \)이 유리수라면, 서로소인 \( a \)와 \( b \)로 표현 가능하다.
\( \sqrt{2} =\frac{b}{a} \)
\(3=\frac{b^2}{a^2} \longrightarrow 3{a^2} ={b^2} \)

만약 \( a \)가 짝수라면, \( a^2 \)도 짝수다. 그렇다면 \( b^2 \)도 짝수이고, \( b \)도 짝수가 된다. 죄다 짝수면 서로소가 아니니까 \( a \)가 짝수이면 안 되나보다.
즉 \( a \)는 홀수이고, \( a^2 \)도 홀수다. 그렇다면 \( b^2 \)도 홀수이고, \( b \)도 홀수가 된다.

\( a=2m+1 \)로 두고,
\( b=2n+1 \)로 두자. (\( m \)과 \( n \)은 정수)

앞의 식에 다시 대입하면,

\( 3(4m^2+2m+1) =4n^2+2n+1 \)

정리하면
\( 6m^2+6m+1 =2n^2+n \)

\( 6m^2+6m \)는 짝수이고, 1을 더했으니 좌변은 홀수가 된다. 그러나 우변은 짝수다. 이것은 불능이므로, 이를 만족하는 \( a \)와 \( b \)는 없게 되어 \( \sqrt{3} \)이 유리수라는 가정은 틀렸다.


이렇게 명제의 부정을 가정한 뒤, 모순을 이용하여 원래 명제가 참임을 증명하는 것을 귀류법(proof by contradiction)이라 한다.

신호처리 (관련) 분야 이론들 - 수정중

  • Identity matrix: diagonal이 1, off-diagonal이 0인 행렬
  • Toeplitz matrix: diagonal-constant matrix
  • Hermitian matrix: conjugate transpose가 자기 자신과 같은 행렬
  • orthogonal matrix: 각 열(행)끼리 서로 직교한 행렬. 자기 자신과 transpose를 곱하면 identity matrix가 된다.(사실 직교하기만 한다고 해서 norm이 1인 것은 아니나, 보통 이런 의미로 쓰나보다) 즉, transpose가 역행렬이다.
    • orthonormal matrix: orthogonal하면서 normal하기까지 한 행렬. 그러나 orthogonal과 혼용되어 쓰이는 듯.
    • unitary matrix: orthogonal의 complex version. Hermitian을 취하면 역행렬이다.
      • positive semi-definite matrix
      • positive definite matrix
      • negative semi-definite matrix
      • negative definite matrix
      • indefinite matrix
  • similar matrix (=matrix similarity≠similarity matrix): 정방행렬 A의 왼쪽에 정방행렬 P의 역행렬을, 오른쪽에 P를 곱해줘서 나온 행렬 B. A와 B는 rank, det, trace, eigenvalue(그러나 eigenvector는 제외)를 공유한다. 그러나 eigenvalue를 공유한다고 해서 두 행렬이 similar하다는 것은 보장하지 못한다.

  • linear transform: 어떤 vector space를 다른 vector space로 변환하는데 있어서 linear operator(=matrix)를 사용
    • unitary transform: 그 matrix가 unitary하기까지 할 때. 사실 우리가 알고있는 많은 transform들이 거의 unitary transform이다.
      • orthogonal transform: unitary 행렬인데 실수로만 이루어져있을 때
  • Laplace transform: FT가 신호 자체를 해석하는 데 적합하다면, Laplace transform은 입력과 출력 관계를 다루는데 적합하다..고 한다. 이렇게 볼 수 도 있다. 신호에 감쇠함수 exp(-sigma*t)를 곱한 뒤 FT한 것이 바로 Laplace transform이다.
  • FT (Fourier transform): 신호에 exp(-jwt)를 곱하고 t에 대하여 -inf에서 inf까지 적분.
    • DFT (discrete Fourier transform): FT의 discrete version. 신호가 유한길이니까 inf번의 연산을 할 수 없고, 결과물도 최대 신호의 길이만큼밖에 될 수 없다는 것에 유의.
      • FFT (fast Fourier transform): DFT의 중복연산을 건너뛰어 빠르게 연산하는 방법. 이게 끝이 아니고 빠르게 연산하는 방법들이 여러 개 있다.
    • Z-transform: DFT랑 완전히 똑같다고 보면 된다. DFT는 신호에 exp(-jwn)을 곱하는데 Z-transform은 exp(jw)를 z로 치환한 것 뿐.
  • FRFT (fractional Fourier transform): FT의 generalized version. FT는 시간축과 orthogonal한 축으로 보내는 변환인데 비하여, FRFT는 orthogonal하지 않을 수도 있는 degree의 축으로 보낼 수 있다.
  • Spectrogram: method가 아니라 개념이다. spectrum과 달리, 시변신호의 특성을 보기 위하여 2차원(시간축, 주파수축)으로 확인한다. spectrogram을 만들기 위하여 여러 method가 사용된다.
    • STFT (short-time Fourier transform): FT를 시간대별로 구한다. 윈도우 크기와 오버랩의 특성을 많이 탄다.
    • WVD (Wigner–Ville distribution or Wigner distribution): STFT와 비슷하다고 볼 수 있지만 물리적 의미가 다름. conti.에서 정의된다. 잘 모름.
      • PWD (pseudo Wigner distribution): the windowed version of WVD.
      • Choi–Williams distribution: WVD와 비슷한 것으로 생각되나 잘 모름.
  • Hilbert transform
  • cepstrum: spectrum에 log를 취하고 다시 IFT한 것. speech에 쓰인다고 한다.
  • bi-spectrum: third-order cumulant-generating function의 FT 결과

classification; pattern recognition
  • maximum a posterior (MAP): Bayesian 정리에 의한 사전/사후 확률의 관계를 이용하여 사후확률을 최대로 만드는 클래스를 추정하는 방법.
  • EM (expectation maximization) algorithm: 반복 계산을 통해 MAP나 ML의 파라미터를 추정해나가는 방법. GMM (Gaussian mixture model)의 좋은 예가 있다.
  • SVM (support vector machine): 각 class에 대한 perpendicular distance를 동등하게 만들어주는 hyperplane를 설정하여 분류
  • ROC curve (Receiver operating characteristic curve): 가로축이 false positive(진짜가 아닌데 진짜로 판명된 경우), 세로축이 true positive(진짜가 진짜로 판명된 경우)를 나타내고, 이 곡선이 위로 많이 휘어있을 수록 좋다.

  • Shannon entropy
    • self information
  • conditional entropy
  • mutual information
  • relative entropy (Kullback-Leibler divergence): 두 확률분포의 차이를 계산. 그러나 asymmetric하므로 metric이라고 하기는 어렵다.
  • cross entropy
  • entropy rate
  • transfer entropy
  • Gaussian distribution
  • Poisson distribution
  • exponential distribution
  • binomial distribution
  • Bernoulli distribution

adaptive filter: 보통의 필터는 freq. resp.를 지정하고 설계하게 되나, 적응필터는 (cost func.를 최소화 하는) optimum performance를 만드는 데 초점이 있다. 원신호와 노이즈 신호에 대해서 완벽하게 알고 있다면 opt. filter coeff.를 구할 수 있으나, 그런 경우는 practical하게는 불가능하기 때문에 거의 모든 경우에 iteration을 통해 estimate한다.
  • Wiener filter: LTI system에서 additive noise가 stationary할 때, corrupted signal과 noise의 통계적 특성을 이용하여 opt. filter coeff.를 구한다. 단, 다음과 같은 방법들이 필요하다.
    • LMS (least mean square) filter: error signal의 mean square를 최소로 하기 위한 filter coeff.를 찾는 방법. LTI 가정 하에서 Wierner filter와 동일하다고 봐도 된다.
      • NLMS (normalized least mean square): filter coeff.의 update시 사용되는 vector의 scaling를 통해 더 빠른 수렴을 도모한다. normalized라고 해서 vector의 크기를 줄이는 게 아니라, 오히려 늘리는 것이 핵심임에 조심.
  • minimum mean square error (MMSE): LMS와의 관계?

2014년 4월 22일 화요일

MatLab (미작성)

MatLab에 대한 내용도 추가 예정