(선형대수학) 8-2. Weighted Least Squares

Least Square Method를 이용할 때, 우리는 다음과 같은 최적화 문제를 푸는 것으로 생각했다.

에러를 성분별로 생각해보자면

즉, Least Square Method를 조금 더 포괄적으로 생각해본다면...

1. 일반적으로는, Error Vector를 줄이는 Optimization Problem

2. 그런데, Error Vector를 수치화하기 위해서(실수로 끌어오기 위해서) L2-norm을 이용 => Least Square Method

라고 생각할 수 있을 것이다.

 

=> 1번은 문제의 목표이니 조작할 수 없겠지만

=> 2번은 L1-norm(절댓값 합)이나, Inf-norm(벡터성분 최댓값)으로 생각할 수도 있다!

 

게다가, 성분별로 생각한다면....

=> 더 빨리 줄어드는 성분이 필요한 경우도 응용할 수 있다. ( Ex) 세번째 성분이 다른 성분보다 더 빠르게 줄어드는 것을 원할 경우)

=> Weight를 주어서 다른 것보다 더 민감하게 반응하게 만들면 된다!! (휴리스틱하게 Weight를 줄 수 있다!)

---

Ex) 세번째 성분이 다른 성분보다 더 빠르게 줄어드는 것을 원할 경우

위에서 세번째 성분의 w 때문에 => w>1이라면 (-3x_1-x_2-3)이 더 빠르게 줄어든다!!

 

---

이러한 작업을 모든 성분에 적용한다면...(모든 성분에 Weight를 준다면)

여기서 Weight 벡터의 Norm을 나누는 이유는

=> Weight로 인해서 Error의 Order가 바뀌는 것을 막기 위함!!

그러므로, Error Vector를 정확히 말한다면...

 

위의 Error Vector E_w를 이용해서 다시 "원래의" Optimization 문제로 돌려놓는다면

그러면 Least Square Method를 이 상황에서 쓰게 된다면

 

이렇게 Weight Matrix를 고려한 Least Square Method를 Weighted Least Square Method라고 한다.

 

---

(NOTE)

여기서 Weighted Matrix를 Diagonal Matrix로 잡았는데, 만일 Error 성분끼리 서로 연관되어 있는 상황(Coupling)을 만들려면

=> Error의 i번째 성분, j번째 성분이 Coupling =>  W_ij=W_ji를 고치면 된다!

=> Covariance Matrix!

=> W는 당연히 Symmetric Matrix! 

---

 

(응용을 확인하려면)

(Advanced) 1-1. Continuous LQR Controller (Dynamic Programming 접근방법): https://0418cshyun.tistory.com/160

(Advanced) 1-1. Continuous LQR Controller (Dynamic Programming 접근방법)

(여기선 개념만 살펴보는 거로...)