(선형대수학) 7-1. Inner Product(내적)과 Norm

이번 챕터에서는 이미 쉽게 알고 있을 벡터의 내적(Inner Product)과 Norm에 대해서 살펴보자.

 

먼저, 벡터의 내적(Inner Product)에 대해서 정의하자.

대부분 이 글을 보는 사람들은 이미 내적에 대해서 알 것 같아서 착각을 막기 위해서 설명을 더 해보자면...

이것은 내적의 정의(Definition)이 아니라는 것이다! => 단지, 정의에서 나온 계산방법일 뿐이다.

(심지어 이것도 "실수벡터"인 경우만 성립한다...)

 

---

(Inner Product)

내적은 두 개의 복소수를 받아서 복소수를 내뱉는 연산(함수)이고, 

 

아마 복소수를 성분으로 가지는 벡터는 거의 보질 못해서 이해가 약간 어려울 수도 있는데, 

1번 성질은 => 그냥 실수벡터라면 => 대칭성(교환법칙)을 말한다.

그러나, 복소수에서는 저렇게 그냥 교환법칙이 일어나지 않고, "에르미트(Hermitian)" 성질을 가지게 된다. => 아주 나중에 에르미트 행렬에 대해서 다룰 예정이다!

 

2번 성질은 첫번째 성분에 대한 선형성인데, => 실수벡터로 생각해보면 1번성질에 의해서 그냥 두번째 성분도 선형성이 만족된다.

 

3번 성질은... 너무나 당연해서 Pass!

 

어쨌든, 이 3개의 성질을 만족하는 연산(dot)을 내적이라고 한다.

또한, 이 "내적"이 존재하는 공간을 "내적공간(Inner Product Space)"라고 한다.

---

1. x,y가 실수벡터일 때,

이런 식으로 정의된 연산은, 당연히 위의 3가지 성질을 만족하므로 내적!

 

---

2. x,y가 복소수벡터일 때,

이렇게 정의된 연산을 살펴보면... (위의 bar는 켤레복소수(Conjugate) 표현)

1. 에르미트성

=> 성립!

2. 첫째성분 선형

=> 성립!

3. Positive?

=> 성립!

그러므로, 위의 연산은 (복소수벡터공간에서) "내적"이다!

 

(NOTE)

첫째성분만 선형인게 약간 이상하게 보일 수 있는데, 1번과 2번 성질을 이용해보면...

=> 둘째 성분은 "켤레"가 붙어서 나온다! -> 켤레 선형성

---

그리고, 벡터의 Norm에 대해서 정의하자.

이번에도, 착각을 막기 위해서 설명을 더 해보면...

벡터의 Norm은 그냥 "길이" 아닌가??? 라고 생각할 수 있고, 아래 내용이 복잡하다면 그렇게 생각하는 것도 상관은 없지만

=> 더 정확히 설명하자면

=> Norm은 "집합의 원소의 크기를 유니크하게 결정짓는 것!"이라고 생각하는 게 좋다.

 

이 말이 무엇인가 이해하는데 가장 좋은 설명은 아무래도

=> Norm은 하나가 아니다!

라는 것이다.

=> 위키나 다른 곳에서 조금만 자세히 검색을 해보면, 그냥 "길이"라는 설명치고 되게 긴 설명이 따라붙는데, 예시를 들어보면서 무슨 말인지 살펴보자.

 

=> 자세한 설명은 아래 "더보기" 참고!

ex)

예를 들어 자연수의 크기를 "비교"하는데에는 전혀 문제가 없다.

(1<3, 1000> 100, 10 = 10)

-> 그런데, 차원이 올라가면 (2D, 3D,... .=> Vector???) 크기를 비교하기 상당히 곤란해진다.

-> 간단한 예로 복소수가 있다.

( i < 2i ???) -> 만약에 맞다면... ( i*i=-1 < 2i*2i = -4...???) => 즉, 애초에 크기 비교가 안된다!

(1,2,3,4) > (4,3,1,1) ??? -> 이 것도 크기 비교하는 게 말이 안된다!!! (정확히 얘기하면, 크기 비교의 기준이 필요하다!)

---

이를 위해서 Norm이란 개념을 가져온다... Norm은 다음 조건을 만족하는 함수를 말한다.

즉,

1. 상수배 조건

2. 삼각부등식

3. 영벡터에 대한 조건을 만족하는 함수가 Norm이다.

 

더 나아가면

=> 어떤 "집합"에 있는 원소도 Norm을 통하면 => 실수로 변환이 되어서 => 대소 비교가 가능하다!

라고 생각할 수 있다.

 

(Note)

벡터에서... (물론, 행렬도 비슷한 방식으로 Norm을 정할 수 있다.)

1. Lp-norm => L1-norm, L2-norm.....

그래서, 자주 사용하는 Norm은

1-1. L1-norm

1-2. L2-norm

1-3. L-infinity norm

 

우리가 여기서 사용할 Norm은 가장 "직관적"인 2-norm을 사용한다.

(선형대수학 파트에선 따로 언급이 없다면 항상 L2-norm을 사용합니다!!!)

---

(Norm for vector)

또한, 이 Norm이 정의된 공간을 Norm Space(Norm 공간)라고 한다.

---

(내적공간과 Norm 공간)

여기서 하나 알아두면 좋은 것은... Norm을 정의할 때, 내적을 이용해도 될 것 같다는 느낌이다.

=> 실제로 가능하다.

=> 내적공간이면, Norm을 정의할 수 있으므로 내적공간이면 Norm 공간이 된다!

 

---

(내적과 각도관계)

코사인법칙을 이용해버리면, 내적과 각도 관계를 바로 도출해버릴 수 있다!

(참고로 코사인법칙이 성립하기 위해선 -> 삼각형 on 평면 필요 (예를 들어서 곡면에서는 성립할 수 없다!))

=> 즉, n차원 벡터가 되도 벡터공간에서는 크게 문제가 없다! (두 개의 벡터 + 차벡터로 삼각형 만들면 => 평면!)

(여기서 눈 여겨 보아야 할 건... => 저 전치행렬(Transpose) 꼴의 표현은 오직 "실수벡터"만 성립한다는 점이다!)

(=> 복소수의 경우엔 Transpose + 켤레표현도 같이 작성되어야 한다! (Hermitian 표현으로 바꾸면 된다!))

 

그러므로, 내적, 각도, Norm과의 관계는 다음과 같다.

특히, 두 벡터가 이루는 각도가 직교(90도)가 된다면

게다가, 여기서 알 수 있는 또 하나의 성질은,

---

(Cauchy-Schwartz Inequality)(코시-슈바르츠 부등식)

내적과 Norm이 등장하면 꼭 나오는 부등식이므로 꼭 체크하자!

 

(증명)

위의 내적과 cos관계를 이용해도 사실 상관은 크게 없어보이지만, 문제는 "유한 실수 벡터"만 가능한 적용이라는 것이다.

(애초에 복소수벡터만 되도, 각도라는게 상당히 애매해지고, 무한차원으로 가면, 삼각형을 정의하는 것과, 평면이라는 것도 살짝 애매해진다.)

이를 보완하기 위해서 아래 방법을 소개한다! => 즉, 무한 복소수 벡터에서도 성립!

 

복소수인 경우로 한꺼번에 증명해보자. 학교 다니면서 그냥 외워버렸던 증명 중 하나이다!

여기서 a,b는 주어진 벡터(바꿀 수 없음)이고, t는 그냥 마음대로 잡은 복소수이다.

저 t를 Polar Coordinate(극좌표계)로 바꾸고, t의 크기를 r로 놓으면 => 2차식 => 판별식 이용!

 

그런데, 위에서 애초에 t 자체를 마음대로 잡아놓은 것이었으므로, theta도 내 맘대로 잡아보자...

저기서 Real Term이 사실 내적 값의 제곱이면 바로 증명이 끝나니, theta를 그렇게 되도록 잡자.

 

(NOTE)

그런데 여기서 다음과 같이 생각할 수도 있다...

e^{i theta}가 절댓값이 1이어야 하는 거 아닌가??? -> 맞다!! 직접 체크해보자! 저 e^{i theta}는 절댓값이 1이므로 전혀 문제가 없다!!

 

---

이번챕터에서는

내적과 Norm의 정의와 따라오는 "기하학적 의미", 그리고 "코시-슈바르츠 부등식"에 대해서 꽤 심도있게 알아보았다.

 

다음챕터에서

이를 지금까지 배워왔던 "Subspace"에 어떻게 적용이 되는지 살펴보자!