(해석학) 15-1. 다변수벡터함수를 위한 선형대수1 (Linear Algebra for MIMO Function -> Linear Transformation)

(미적분학 참고링크)

(미적분학) 6-1. 한때는 어려웠던 행렬...과 선형대수의 시작(Matrix, Linear Algebra): https://0418cshyun.tistory.com/10

(미적분학) 6-2. 이상하게 계속 보이는 선형사상 개념(Linear Mapping, Matrix): https://0418cshyun.tistory.com/12

(미적분학) 7-1. 역행렬을 위한 선형대수 기본 지식 (Linear Combination / Independence): https://0418cshyun.tistory.com/15

(미적분학) 7-2. 역행렬 계산이 왜 이렇게 복잡하지? (Determinant): https://0418cshyun.tistory.com/16

 

(참고로 본 블로그의 미적분학에서 설명할 때, 다변수함수와 다변수벡터함수를 동시에 설명하느라, 둘 사이의 용어 정리가 깔끔하게 되지는 않았다!!(특히 다변수벡터함수를 그냥 다변수함수라고 많이 했다...) )

---

이번 챕터에선, 다변수벡터함수를 이용하기 위해 필요한 지식인 선형대수에 관해서, 위의 미적분학보단 약간 더 나아간 내용으로 접근을 할 것이다.

물론, 가장 좋은 것은 선형대수를 보고 오는 것이므로, 선형대수 내용을 보고 오는 것을 추천하긴 한다!

 

일단, 용어 정리부터 하고 들어가자.

 

(Input - Output 관계에 따른 함수의 분류) -> SISO, MIMO 등의 축약어는 사실 함수에 쓰는 용어는 아니지만, 편의상 쓴다...

1. 일변수함수(Single-Input-Single-Output 혹은 줄여서 SISO)

우리가 가장 많이 생각하는 바로 그 관계이다.

 

2. 다변수함수(Multiple-Input-Single-Output 혹은 MISO)

약간 애매하긴 하지만,

만약에 저 벡터 x를 하나의 변수로 본다면, 그냥 일변수라고 생각할 수도 있지만, 벡터 하나하나의 성분을 각 변수로 본다면 다변수라고 생각할 수 있다.

 

3. 일변수벡터함수(Single-Input-Multiple-Output 혹은 SIMO)

예를 들어 우리가 미적분학에서 본 Curve가 있다.

 

4. 다변수벡터함수(Multiple-Input-Multiple-Output 혹은 MIMO)

예를 들어 미적분학에서 본 Vector Field(벡터장)이 있다.

 

---

(Vector Space)

즉, 덧셈과 상수배에 대해서 닫혀있는 공간(집합)을 Vector Space라고 한다.

-> 그냥 유클리드 공간에서는 우리가 아는 벡터가 나오지만

-> 뒤에서, 행렬에 대해서도 확장 가능하다!

 

(Linear Combination)

즉, 주어진 n개의 벡터와 상수에 대해서 저런식으로 결합된 x를 Linear combination이라고 한다.

 

(Span)

예시를 들어보면 바로 알 수 있다.

만일, 2차원 평면(R^2)에서 S={(1,1)} 이라면 E는 y=x위의 모든 점이 될 것이다.

또, S={(1,0),(0,1)} 이라면 E는 평면 위의 모든 점이 될 것이다!

(Linear Independence)

즉, 저렇게 n개의 벡터가 주어져 있을 때, 해가 (0,0,...,0) 밖에 안 나올 때 (Trivial 해), 저 n개의 벡터들을 linearly independent라고 한다.

 

(Dimension of Vector Space)

벡터공간 X가 가질 수 있는 최대의 linearly independent 벡터의 개수

 

예를 들어서, 2차원 평면(R^2)의 경우에는 2개의 linearly independent 벡터가 최대이고, 3개면 무조건 linearly dependent가 된다.

 

(Basis of Vector space)

그러니까 X 전체로 Span이 되는 X의 부분집합을 basis라고 한다.

예를 들어

위의 예시에서 보는 것처럼, basis는 Vector space마다 유일한 것이 아니다!

특히 standard basis는 다음과 같이 정의된다.

---

이를 이용하면 다음과 같은 성질들을 얻을 수 있는데, 자세한 증명은 추후에 선형대수학 카테고리를 참고하자..

 

1. r개의 벡터로 Span 될 수 있는 Vector Space X의 dimension은

간단히 설명하면, 만일, dim X>r이면, r개의 벡터로 Span될 수 없을 것이다...(물론, linearly (in)dependence 따져야 하지만...)

 

2. dim X=n이고, E는 n개의 벡터로 이루어진 X의 부분집합이다. 이 때,

3. dim X=n이면, X의 모든 basis는 n개의 벡터로 이루어져 있다.

4. dim X=n이고, 

 

결국에 말하고 싶은 것은, linear independent는 차원을 확장시키고, linear dependent는 차원을 확장시킬 수 없다는 것이다!

예를 들어서, 

(1,0),(2,0)은 linearly dependent한 벡터이다. -> 방향이 같기 때문에 아무리 선형결합(Span)을 해보았자 x축 위이다...

그러나, (1,0),(3,5)는 linearly independent한 벡터이다. -> 방향이 다르니까 2차원 평면 전체로 Span 가능하다!

 

결국엔 n차원에서 좌표를 지정하기 위해선 꼭 n개의 (다른 정보를 가진) 원소(basis)가 필요하다는 것을 생각해보면 된다!

-> n개의 변수, n개의 식을 가진 연립방정식에서 식들이 같은 정보를 가지지 않았다면, n개의 변수를 하나로 딱 집어 구할 수 있다!

-> Solution is Unique....

---

이제부턴 Linear Mapping(Linear Transformation)에 대해서 알아보자!

(Linear Transformation)

1과 2를 만족하면 그 아래의 식도 만족한다!

 

(NOTE)

1. 물론, 미적분학에서 보아서 알겠지만, T가 행렬이라는 것이 중요한데, 이 때의 행렬이 그냥 숫자만 들어가있는 것이 아니라, 함수가 들어가 있는 꼴로 생각해야 한다는 것이다!!!! (사실, 필자가 맨날 까먹는게 이거...)

 

2. 또한, 만일 벡터공간이 "무한"차원이라면...?(이미 우리는 함수공간이 무한차원공간이라는 것을 대충 확인했다!)

-> 무한개의 열과 행을 가진 행렬...? -> 뭔가 문제가 있음을 알 수 있다.

 

(Linear Operator)

X에서 X로(자기자신으로 가는) Linear Transformation을 Linear Operator(선형 연산자)라고 한다.

 

(Invertible)

만일 Linear Transformation T가 Inverse Transformation가 존재하는 경우 T가 Invertible이라고 한다.

 

T를 그냥 Mapping으로 생각한다면, T가 1대1 대응인 경우(즉, 역함수가 존재하는 조건과 동일) invertible일 것이다.

-> (해석학 2-1 참고)

T가 행렬 꼴이면, invertible이란 말은 역행렬이 존재함을 뜻한다.

 

여기서 선형대수 내용을 알고 있다면

(n by n)행렬에서 역행렬이 존재하려면 항상 (Full Rank)=n를 가져야 한다는 것을 알고 있을 것이다.

이는, 역행렬에 의해서 차원이 낮춰지는 경우가 없다는 말을 뜻한다. (즉, n차원 -> n차원!)

그러므로, 만일 이 행렬이 Linear operator(T: X->X)이고, 역행렬을 가진다면 -> Range of T=X가 될 것이다!

또한, 이 역도 성립한다.

 

---

이번챕터에서는 다변수벡터함수를 위해서 여러 가지 선형대수 내용들을 끌어왔는데, 미적분학 카테고리에 작성된 선형대수 내용과 합쳐보면서 이해를 하길 바란다.

특히, 선형변환과 행렬과의 관계, 역행렬에 대한 이야기는 미적분학 카테고리에서 꼭 읽어보길 추천한다.

 

다음 챕터에선 이번 시간에 다루지 못한, 미적분학 카테고리에서 다루지 못한 선형대수 내용들이 추가되어 나올 것이다.