본문 바로가기

Mathematics/선형대수학

(선형대수학) 부록 2-4. Dual Problem 보다 정확한 내용은 추후 "최적화문제" 카테고리에서 다룰 예정입니다! 지난 시간에는 예시를 들어서 Dual Problem을 설명했다면, 이번에는 약간 이론적으로 접근해보자. (라그랑주 승수법 혹은 KKT Condition에 대한 내용: https://0418cshyun.tistory.com/40) 이번에는 "일반적인 Nonlinear Case"부터 출발한다. 먼저, Primal Problem이 다음처럼 주어져 있다고 하자. (Primal Problem) 그러면, 이 문제에 대한 Lagrangian은 다음처럼 정의할 수 있다. (Lagrangian of Primal Problem) 라그랑주 승수법에서 보았던 것처럼, 저 lambda와 nu는 추가로 더해진 변수이다. 이를 Dual Variables(혹은 l.. 더보기
(선형대수학) 부록 2-3. Example of Dual Problem 다시 16-1의 Optimization Problem으로 돌아와서 문제를 살펴보자! 이번에는 다른 예시를 하나 더 살펴보자. (문제) 시험을 보기 위해서 인강을 보자! A 인강을 한번 보는데 10000원을 내고, 성적이 10점 오른다. B 인강을 한번 보는데 4000원을 내고 , 성적이 2점 오른다. 현재 시험을 보면 0점이라고 하자. 100점을 맞기 위해서 비용을 최소로 하고 싶을 떄, 비용은 얼마나 들까??? 당연히 A 인강만 보는 것이 가장 싸게 먹히겠지만(즉, A만 10번 보고 10만원 지출!), 이를 최적화 문제로 살펴보자. x: A 인강을 보는 횟수, y: B 인강을 보는 횟수 1. 조건: 2. Cost(시간(분)): 선형대수학 파트이니 저 조건과 Cost를 행렬표현으로 심플하게 써보도록 하자.. 더보기
(선형대수학) 부록 2-2. Linear Programming & Simplex Dual Problem으로 들어가기 전에, 한가지 더 짚고 넘어가야 할 부분이 있다. "최적화 문제의 조건영역(Feasible Set) 그리고 Cost는 언제나 선형으로 표현이 되는가????" -> 결론은 "아니다" 사실 당연한 것이 조건과 Cost는 상황따라, 잡는 사람마다 달라질 것이다... 특히, Cost가 선형(Linear)인 경우 Linear Programming(LP)이라고 하고, 만일 Quadratic Form이면 Quadratic Programming(QP)이라고 한다. 그러나, 우리는 "선형"대수학 카테고리에서 최적화 문제를 보는 것이므로 Feasible Set과 Cost가 "선형"으로 표현되는 것에만 국한할 것이다. (NOTE) Quadratic Form의 경우 "미분"이 가능한 영역에.. 더보기
(선형대수학) 부록 2-1. Beginning of Optimization Problem ***** 추가적으로 "최적화 문제"에 대한 카테고리를 만들 예정입니다!!! 지금부턴 우리가 배웠던 내용들을 이용해서 최적화 문제(Optimization Problem)의 기본적인 내용들을 생각해보자. 먼저, 최적화 문제(Optimization Problem)이 무엇인지 알아보자. ex) 재료 A와 B를 이용해서 제품 1과 2를 만들 수 있다고 하자. 다음은 각각 제품 1, 2 1kg를 만들기 위해서 필요한 재료 A, B의 무게를 나타낸 것이다. 재료 A 재료 B 제품 1 5 1 제품 2 1 6 재료 A의 재고는 100kg, B의 재고는 60kg 남아있다고 하자. 그리고 제품 1을 1kg를 팔면 5만원, 제품 2를 1kg를 팔면 8만원을 벌 수 있다고 하자. 그러면, 가장 수익을 많이 내기 위해서는 각각.. 더보기
(선형대수학) 16. Matrix Norm(행렬 Norm) 이번시간에는 Matrix의 Norm에 대해서 알아보자. 선형대수학에서 벡터의 Norm을 정의(7-1 참고!!)했던 것을 참고 바란다. 행렬에서도 벡터에서와 같게 Norm을 "집합의 원소의 크기를 유니크하게 결정짓는 것!"이라고 생각하는 게 좋다. 물론 선형대수학에서는 대부분 편의상 L2-norm을 사용하지만, 여러 Norm이 있다는 것을 꼭 인지하고 가야 한다!!! 먼저, 벡터 Norm을 살펴보자! (Vector Norm) 1. Lp-norm => L1-norm, L2-norm..... 그래서, 자주 사용하는 Norm은 1-1. L1-norm 1-2. L2-norm 1-3. L-infinity norm 그러면, 여기서 행렬의 norm으로 확장해보자!! 일단, 우리가 아는 것은 벡터의 Norm 정의이므로,.. 더보기
(선형대수학) 부록 1. 자세표현 -> SO(n), SU(n) (NOTE) 본 내용은 수학적인 내용보다는 공학적인 내용에 조금 더 초점을 맞추고 있습니다. 그리고 추상대수학의 "군(Group)"에 대한 내용이 나오는데 이는 추후에 추상대수학 카테고리에서 자세히 다룰 예정이고, 여기서는 다루지 않을 예정입니다. 최대한 빠르게 추상대수학 카테고리 내용을 업로드하도록 하겠습니다! 우리는 앞에서 Orthogonal Matrix(복소수에서는 Unitary Matrix)를 보았다. 물론 Spectral Theorem을 사용하기 위해서라도, Orthogonality가 아주 중요한 개념이 되기는 하지만, 이를 다른 방면으로 응용할 수도 있다. 먼저, Orthogonal Matrix(혹은, Unitary Matrix)를 선형변환(Linear Transformation)으로 보았을 .. 더보기
(선형대수학) 15-2. Singular Value Decomposition을 이용해보자! 1. Diagonalization과의 관계 Singular Value Decomposition가 "정사각행렬이 아닌 행렬"의 Diagonalization과 비슷하다는 것은 저번시간의 내용을 통해 충분히 알 수 있을 것이다. Diagonalization은 Eigenvalue Problem과 관계가 있었다. 그러면 역으로 SVD는 어떤식과 관련이 있을까?? 즉, 다음 문제와 관련이 있음을 알 수 있다!! 2. Eigenvalue와 Singular Value와의 관계 지난 시간의 증명을 보면, A의 Singular Value와 A^TA(혹은 AA^T)의 Eigenvalue와의 관계는 다음과 같다. 이것을 보면, Singular Value는 양수와 음수 => 둘 다 가져버릴 수 있다! 그러므로, A를 Decom.. 더보기
(선형대수학) 15-1. Intro. of Singular Value Decomposition 이번시간에는 Singular Value Decompostion에 대해서 알아보자. 먼저, 우리가 지금까지 계속 해왔던 Diagonalization(혹은 Jordan Form)은 모두 정사각행렬에 대해서만 적용이 되었다. 이를 확장해서 임의의 모양을 가진 행렬에 대해서도 적용을 시킬 수 있을까??? 그 전에 알아두면 좋은 Lemma를 소개하고 넘어간다. (Lemma 1) 만일 A가 정사각행렬이고, Diagonalization이 가능한 경우, 0이 아닌 eigenvalue의 개수가 A의 rank와 동일하다! 즉, 0인 eigenvalue의 개수가 Null Space의 Dimension과 일치한다! (증명) 더보기 간단히 설명하자면, eigenvalue가 0인 경우에는 => 거기에 해당되는 eigenvecto.. 더보기

티스토리툴바