Inner Products

Inner Products(내적)은 벡터의 길이나 두 벡터 간의 각도 또는 거리 등과 같은 직관적인 기하학적 개념을 도입하기 위한 것이며, 내적의 주요 목적은 벡터가 서로 직교(orthogonal)인지 확인하는 것입니다.

Dot Product

내적의 타입 중 하나인 scalar product/dot product 는 $\mathbb{R}^n$ 에서 다음과 같이 주어집니다.

\[\boldsymbol{x}^\top\boldsymbol{y} = \sum_{i=1}^n x_iy_i \tag{3.5}\]

교재에서는 이러한 타입의 내적을 dot product라고 칭합니다. 내적에는 더 일반적인 개념이 있는데 아래에서 살펴보도록 하겠습니다.

General Inner Products

bilinear mapping $\Omega$ 는 두 인자(arguments)에 대한 mapping 이며, 각 인자에 대해 linear 합니다. 즉, vector space $V$ 와 모든 $\boldsymbol{x}, \boldsymbol{y}, \boldsymbol{z} \in V$ 와 $\lambda, \psi \in \mathbb{R}$ 에 대해서 다음이 성립합니다.

\[\begin{align*} \Omega(\lambda\boldsymbol{x} + \psi\boldsymbol{y}, \boldsymbol{z}) &= \lambda\Omega(\boldsymbol{x},\boldsymbol{z}) + \psi\Omega(\boldsymbol{x}, \boldsymbol{z}) \tag{3.6} \\ \Omega(\boldsymbol{x}, \lambda\boldsymbol{y} + \psi\boldsymbol{z}) &= \lambda\Omega(\boldsymbol{x}, \boldsymbol{y}) + \psi\Omega(\boldsymbol{x}, \boldsymbol{z}) \tag{3.7} \end{align*}\]

식 (3.6)은 첫 번째 인자에 대해 $\Omega$ 가 linear한 지 확인하고, 식 (3.7)은 두 번째 인자에 대해서 linear한 지 확인합니다.

Definition 3.2
$V$ 를 vector space라 하고, $\Omega : V \times V \rightarrow \mathbb{R}$ 을 두 개의 벡터를 인자로 취해 하나의 실수로 매핑하는 bilinear mapping이라고 할 때, 다음과 같습니다.

• 모든 $\boldsymbol{x}, \boldsymbol{y} \in V$ 에서 $\Omega(\boldsymbol{x}, \boldsymbol{y}) = \Omega(\boldsymbol{y}, \boldsymbol{x})$ 이라면, 즉, 인자들의 순서가 상관이 없다면, $\Omega$ 를 symmetric 이라고 부릅니다.
• 만약 다음이 성립한다면,

\[\forall\boldsymbol{x} \in V\backslash\lbrace\boldsymbol{0}\rbrace : \Omega(\boldsymbol{x}, \boldsymbol{x}) > 0, \quad \Omega(\boldsymbol{0}, \boldsymbol{0}) = 0 \tag{3.8}\]

$\Omega$ 를 positive definite 라고 부릅니다.

Definition 3.3
Definition 3.2를 바탕으로 inner product는 다음과 같이 정의됩니다.

• Positive definite이면서 symmetric bilinear mapping $\Omega : V \times V \rightarrow \mathbb{R}$ 을 $V$ 에서의 inner product 라고 부릅니다. 일반적으로 $\Omega(\boldsymbol{x}, \boldsymbol{y})$ 대신 $\langle\boldsymbol{x}, \boldsymbol{y}\rangle$ 로 씁니다.
• $(V, \langle\cdot,\cdot\rangle)$ 을 inner product space 또는 (real) vector space with inner product 라고 부릅니다. 만약 (3.5)에 정의된 dot product를 사용한다면, $(V, \langle\cdot,\cdot\rangle)$ 를 Euclidean vector space 라고 부릅니다.

교재에서는 위의 spaces를 inner product spcaes라고 칭합니다.

Example 3.3 (Inner Product That Is Not the Dot Product)
$V = \mathbb{R}^2$ 가 있을 때, 다음과 같이 정의하면

\[\langle\boldsymbol{x},\boldsymbol{y}\rangle := x_1y_2 - (x_1y_2 + x_2y_1) + 2x_2y_2 \tag{3.9}\]

$\langle\cdot,\cdot\rangle$ 은 inner product 이지만 dot product와는 다릅니다.

Symmetric, Positive Definite Matrices

Symmetric, positive definite 행렬은 머신러닝에서 중요한 역할을 담당합니다. 그리고 이들은 inner product를 통해 정의됩니다.

Inner product $\langle\cdot,\cdot\rangle : V \times V \rightarrow \mathbb{R}$ 인 n-차원 vector space $V$ 와 $V$ 의 ordered basis $B = (\boldsymbol{b}_1, \dotsc, \boldsymbol{b}_n)$ 가 있다고 합시다. 2.6.1장에서 $V$ 의 모든 vector $\boldsymbol{x}, \boldsymbol{y}$ 는 basis vectors의 linear combination으로 표현할 수 있으므로, 다음과 같습니다.

\[\boldsymbol{x} = \sum_{i=1}^n \psi_i\boldsymbol{b}_i \in V, \quad \boldsymbol{y} = \sum_{j = 1}^n\lambda_j\boldsymbol{b}_j \in V\]

Inner product의 bilinearity 때문에 모든 $\boldsymbol{x}, \boldsymbol{y} \in V$ 에 대해 다음이 성립합니다.

\[\langle\boldsymbol{x},\boldsymbol{y}\rangle = \left\langle \sum_{i=1}^n\psi_i\boldsymbol{b}_i, \sum_{j=1}^n\lambda_j\boldsymbol{b}_j \right\rangle = \sum_{i=1}^n\sum_{j=1}^n\psi_i\langle\boldsymbol{b}_i, \boldsymbol{b}_j\rangle\lambda_j = \hat{\boldsymbol{x}}^\top\boldsymbol{A}\hat{\boldsymbol{y}} \tag{3.10}\]

여기서 $A_{ij} := \langle\boldsymbol{b}_i, \boldsymbol{b}_j\rangle$ 이며, $\hat{\boldsymbol{x}}, \hat{\boldsymbol{y}}$ 는 basis $B$ 에 대한 $\boldsymbol{x}, \boldsymbol{y}$ 의 좌표입니다. 이는 inner product $\langle\cdot,\cdot\rangle$ 은 $\boldsymbol{A}$ 를 통해 유일하게 결정된다는 것을 의미합니다.

Inner product의 symmetry는 또한, $\boldsymbol{A}$ 가 symmetric 하다는 것을 의미합니다. 게다가 inner product의 positive definiteness는 다음이 성립한다는 것을 의미합니다.

\[\forall\boldsymbol{x} \in V\backslash\lbrace\boldsymbol{0}\rbrace : \boldsymbol{x}^\top\boldsymbol{Ax} > 0 \tag{3.11}\]

Definition 3.4 (Symmetric, Positive Definite Matrix)
(3.11)을 만족하는 symmetric matrix $\boldsymbol{A} \in \mathbb{R}^{n \times n}$ 을 symmetric, positive definite, 또는 단순히 positive definite 라고 부릅니다. 만약 (3.11)에서 항등식 $\geq$ 가 성립하면, $\boldsymbol{A}$ 를 symmetric, positive semidefinite 라고 부릅니다.

Example 3.4 (Symmetric, Positive Definite Matrices)
다음의 두 행렬이 있다고 합시다.

\[\boldsymbol{A}_1 = \begin{bmatrix}9&6\\6&5\end{bmatrix}, \quad \boldsymbol{A}_2 = \begin{bmatrix}9&6\\6&3\end{bmatrix} \tag{3.12}\]

$\boldsymbol{A}_1$ 은 symmetric 하고, $\boldsymbol{0}$ 을 제외한 모든 $\boldsymbol{x} \in V\backslash\lbrace\boldsymbol{0}\rbrace$ 에 대하여 다음의 식이 성립하기 때문에,

\[\begin{align*} \boldsymbol{x}^T\boldsymbol{A}_1\boldsymbol{x} &= \begin{bmatrix}x_1&x_2\end{bmatrix}\begin{bmatrix}9&6\\6&5\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix} \tag{3.13a} \\ &= 9x_1^2 + 12x_1x_2 + 5x_2 = (3x_1 + 2x_2)^2 + x_2^2 > 0 \tag{3.13b} \end{align*}\]

$\boldsymbol{A}_1$ 은 positive definite matrix (양의 정부호 행렬) 입니다.

이와 반대로, $\boldsymbol{A}_2$ 는 symmetric 하지만, $\boldsymbol{x}^\top\boldsymbol{A}_2\boldsymbol{x} = 9x_1^2 + 12x_1x_2+3x_2^2 = (3x_1 + 2x_2)^2 - x_2^2$ 가 $\boldsymbol{x} = \lbrack2, -3\rbrack^\top$ 에서 0보다 작을 수 있기 때문에 positive definite가 아닙니다.

$\boldsymbol{A} \in \mathbb{R}^{n \times n}$ 이 symmetric, positive definite 라면,

\[\langle\boldsymbol{x},\boldsymbol{y}\rangle = \hat{\boldsymbol{x}}^\top\boldsymbol{A}\hat{\boldsymbol{y}} \tag{3.14}\]

는 ordered basis $B$에 대해 inner product를 정의합니다. 여기서 $\hat{\boldsymbol{x}}, \hat{\boldsymbol{y}}$ 는 basis $B$ 에 대한 $\boldsymbol{x}, \boldsymbol{y}$ 의 좌표입니다.

Theorem 3.5
실수(real-valued)이면서 유한한 차원(finite-dimensional)의 vector space $V$ 와 $V$ 의 ordered basis $B$ 가 있을 때, (3.14)를 만족하는 symmetric, positive definite matrix $\boldsymbol{A} \in \mathbb{R}^{n \times n}$ 이 존재한다면 $\langle\cdot,\cdot\rangle : V \times V \rightarrow \mathbb{R}$ 은 inner product 입니다.

$\boldsymbol{A} \in \mathbb{R}^{n \times n}$ 이 symmetric, positive definite 라면, 다음의 성질들이 성립합니다.

• $\boldsymbol{A}$ 의 null space (kernel) 는 오직 $\boldsymbol{0}$ 으로만 구성됩니다 ($\boldsymbol{x} \neq \boldsymbol{0}$ 이 아닌 모든 $\boldsymbol{x}$ 에 대해 $\boldsymbol{x}^\top\boldsymbol{Ax} > \boldsymbol{0}$ 이기 때문). 이를 통해 $\boldsymbol{x} \neq \boldsymbol{0}$ 일 때, $\boldsymbol{Ax} \neq \boldsymbol{0}$ 이라는 것을 알 수 있습니다.
• $\boldsymbol{A}$ 의 대각 성분(diagonam elements) $a_{ii} = \boldsymbol{e}_i^\top\boldsymbol{Ae}_i > 0$ 이므로, $a_{ii}$ 는 positive 입니다.