Orthogonal Complement

Orthogonality는 10장에서 기하학 관점에서의 linear dimensionality reduction(선형 차원 축소)에 대해 논의할 때 중요한 역할을 합니다.

D-차원의 vector space $V$ 와 M-차원의 subspace $U \subseteq V$ 에 대해, orthogonal complement $U^\perp$ 는 (D-M)-차원인 $V$ 의 subspace 이며, $U$ 의 모든 벡터에 직교하는 $V$ 의 모든 벡터를 포함합니다. 그리고, $U \cap U^\perp = \lbrace\boldsymbol{0}\rbrace$ 이므로 $V$ 의 모든 벡터 $\boldsymbol{x} \in V$ 는 다음의 형태로 분해될 수 있고 유일합니다.

\[\boldsymbol{x} = \sum_{m=1}^M\lambda_m\boldsymbol{b}_m + \sum_{j=1}^{D-M}\psi_j\boldsymbol{b}_j^\perp, \quad \lambda_m, \psi_j \in \mathbb{R} \tag{3.36}\]

여기서, $(\boldsymbol{b}_1, \dotsc,\boldsymbol{b}_M)$ 은 $U$ 의 basis 이고, $(\boldsymbol{b}_1^\perp, \dotsc, \boldsymbol{b}_{D-M}^\perp)$ 는 $U^\perp$ 의 basis 입니다.

따라서, 3차원 vector space에서 orthogonal complement는 2차원 subspace인 평면(plane) $U$ 를 설명하는데 사용될 수 있습니다. 조금 더 구체적으로 말하자면, plane $U$ 에 직교하면서 $\|\boldsymbol{\omega}\| = 1$ 인 벡터 $\boldsymbol{\omega}$ 는 $U^\perp$ 의 basis vector 입니다. 아래 그림은 이를 보여줍니다.

위 그림에서 $\boldsymbol{w}$ 에 직교하는 모든 벡터들은 반드시 plane $U$ 상에 놓여 있습니다. 그리고 벡터 $\boldsymbol{w}$ 를 $U$ 의 normal vector 라고 부릅니다.

일반적으로 orthogonal complements는 n-차원 벡터와 affine spaces의 hyperplanes(초평면)을 설명하는데 사용됩니다.