Norms
기하학적 벡터, 즉, 원점에서 시작하면서 방향이 있는 line을 생각했을 때, 벡터의 길이는 직관적으로 원점으로부터 그 직선의 끝까지의 거리입니다. 이러한 벡터의 길이에 대한 개념을 norm의 개념을 사용하여 논의해보도록 하겠습니다.
Definition 3.1 (Norm). Vector space $V$ 에서 norm 은 다음의 함수와 같습니다.
\[\begin{align*} \|\cdot\| : &V \rightarrow \mathbb{R}, \tag{3.1} \\ &\boldsymbol{x} \mapsto \|\boldsymbol{x}\| \tag{3.2} \end{align*}\]위 함수는 각 벡터 $\boldsymbol{x}$ 를 그 벡터의 길이 $\|\boldsymbol{x}\| \in \mathbb{R}$ 로 매핑합니다. 그리고 모든 $\lambda \in \mathbb{R}$ 과 $\boldsymbol{x}, \boldsymbol{y} \in V$ 인 경우, 아래의 성질들이 성립합니다.
- Absolutely homogeneous: $\|\lambda\boldsymbol{x}\| = |\lambda|\|\boldsymbol{x}\|$
- Triangle inequality: $\|\boldsymbol{x} + \boldsymbol{y}\| \leq \|\boldsymbol{x}\| + \|\boldsymbol{y}\|$
- Positive definite: $\|\boldsymbol{x}\| \geq 0$ and $\|\boldsymbol{x}\| = 0 \Longleftrightarrow \boldsymbol{x} = \boldsymbol{0}$
기하학적 용어로, triangle inequality는 어떠한 삼각형에 대해서 두 변의 길이의 합은 나머지 변의 길이보다 크거나 같아야 함을 의미합니다. Definitiion 3.1은 general vector space $V$ 에 대한 것이지만, 교재에서는 오직 유한한 차원의 vector space $\mathbb{R}^n$ 에 대해서만 고려합니다.
Example 3.1 (Manhattan Norm)
\[\|\boldsymbol{x}\|_1 := \sum_{i=1}^n |x_i| \tag{3.3}\]
$\boldsymbol{x} \in \mathbb{R}^n$ 에 대한 Manhattan norm은 다음과 같이 정의됩니다.Figure 3.3의 왼쪽 그래프에서 모든 벡터 $\boldsymbol{x} \in \mathbb{R}^2$ 의 Manhattan norm은 $\|\boldsymbol{x}\| = 1$ 입니다. Manhattan norm은 $l_1$ norm 이라고도 부릅니다.
Example 3.2 (Euclidean Norm)
\[\|\boldsymbol{x}\|_2 := \sqrt{\sum_{i=1}^n x_i^2} = \sqrt{\boldsymbol{x}^\top\boldsymbol{x}} \tag{3.4}\]
$\boldsymbol{x} \in \mathbb{R}^n$ 에 대한 Euclidean norm은 다음과 같이 정의됩니다.그리고, 계산된 거리를 Euclidean distance 라고 합니다. Figure 3.3의 오른쪽 그래프는 모든 벡터 $\boldsymbol{x} \in \mathbb{R}^2$ 에서 $\|\boldsymbol{x}\|_2 = 1$ 이라는 것을 보여줍니다. Euclidean norm은 $l_2$ norm이라고도 부릅니다.