Matrices
행렬은 선형대수학에서 매우 중요한 역할을 담당하며, 연립선형방정식을 간결하게 표현하는데 사용할 수 있습니다.
Definition 2.1 (Matrix)
($m, m \in \mathbb{N}$ 은 자연수) (m, n) matrix $\boldsymbol{A}$ 는 m,n-튜플로 표현되는 실수 $a_{ij} (i = 1, \dotsc, m, j = 1, \dotsc, n)$ 를 요소로 가지며 m행(rows)과 n열(columns)로 구성됩니다.
\[\boldsymbol{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \tag{2.11}\]이때, (1, n)-행렬을 행(rows)라고 하며 (m, 1)-행렬을 열(columns)라고 합니다. 또한, 행 벡터 또는 열 벡터라고도 부릅니다.
$\mathbb{R}^{m \times n}$ 는 모든 (m, n) 행렬의 집합입니다. $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 은 행렬의 모든 열을 일렬로 쌓아서 하나의 긴 벡터 $a \in \mathbb{R}^{mn}$ 으로 표현할 수 있습니다 (아래 그림 참조).
Matrix Addition and Mulitplication
두 행렬 $\boldsymbol \in \mathbb{R}^{m \times n}, \boldsymbol{B} \in \mathbb{R}^{m \times n}$ 의 합은 element-wise sum으로 정의되며, 다음과 같습니다.
\[\boldsymbol{A} + \boldsymbol{B} := \begin{bmatrix} a_{11} + b_{11} & \cdots & a_{1n} + b_{1n} \\ \vdots & & \vdots \\ a_{m1} + b_{m1} & \cdots & a_{mn} + b_{mn} \end{bmatrix} \tag{2.12}\]행렬 $\boldsymbol \in \mathbb{R}^{m \times n}, \boldsymbol{B} \in \mathbb{R}^{n \times k}$ 이 있을 때, 두 행렬의 곱 $\boldsymbol{C} = \boldsymbol{AB} \in \mathbb{R}^{m \times k}$ 의 요소 $c_{ij}$ 는 다음과 같이 계산됩니다.
\[c_{ij} = \sum_{l=1}^n a_{il}b_{lj}, \quad i = 1, \dotsc, m, \quad j = 1, \dotsc, k \tag{2.13}\]즉, $c_{ij}$ 는 $\boldsymbol{A}$ 의 i번째 행의 요소와 $\boldsymbol{B}$ 의 j번째 열의 요소들을 곱해서 더한 것과 같습니다. 3.2절에서 언급하는데, 이를 내적(dot product)이라고 합니다. 내적이라는 것을 명시적으로 표시해야 하는 경우에는 $\boldsymbol{A}\cdot\boldsymbol{B}$ 과 같이 표기하여 나타냅니다.
행렬 곱에 대해서는 잘 알고 있을 것이라 생각되기 때문에 책에서 언급하는 예시는 생략하도록 하겠습니다.
Definition 2.2 (Identity Matrix)
단위 행렬(identity matrix)는 $\mathbb{R}^{n \times n}$ 에서 대각 성분이 모두 1이고, 나머지 요소들은 모두 0인 $n \times n$ 행렬입니다.
\[\boldsymbol{I}_n := \begin{bmatrix} 1 & 0 & \cdots & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots & \ddots & 0 \\ 0 & 0 & \cdots & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots & \ddots & 0 \\ 0 & 0 & \cdots & 0 & \cdots & 1 \end{bmatrix} \in \mathbb{R}^{n \times n} \tag{2.17}\]
다음은 행렬의 성질인 결합 법칙, 분배 법칙, 단위 행렬과의 연산을 보여줍니다.
- Associativity (결합 법칙)
- Distributivity (분배 법칙)
- Multiplication with the identity matrix:
Inverse and Transpose
Definition 2.3 (Inverse)
$\boldsymbol{A}$ 행렬이 $n \times n$ 인 정사각 행렬일 때,
\[\boldsymbol{AB} = \boldsymbol{I}_n = \boldsymbol{BA}\]를 만족하는 $n \times n$ 행렬 $\boldsymbol{B}$ 를 $\boldsymbol{A}$ 의 역행렬이라고 하고 $\boldsymbol{A}^{-1}$ 로 표기합니다. ($\boldsymbol{A}, \boldsymbol{B} \in \mathbb{R}^{n \times n}$)
다만, 모든 행렬에서 역행렬이 존재하는 것은 아닙니다. 역행렬이 존재하는 행렬을 regular/invertible/nonsingular라고 부르며, 역행렬이 존재하지 않는 행렬은 singular/noninvertible이라고 부릅니다. 역행렬이 존재할 때 역행렬은 유일합니다.
아래와 같은 행렬 $\boldsymbol{A}$ 이 있을 때,
\[\boldsymbol{A} := \begin{bmatrix} a_{11} & b_{12} \\ a_{21} & b_{22} \end{bmatrix} \in \mathbb{R}^{2 \times 2} \tag{2.21}\]다음의 행렬 $\boldsymbol{B}$ 를 곱하면,
\[\boldsymbol{B} := \begin{bmatrix} a_{22} & -b_{12} \\ -a_{21} & b_{11} \end{bmatrix} \in \mathbb{R}^{2 \times 2} \tag{2.22}\]다음의 결과를 얻을 수 있습니다.
\[\boldsymbol{AB} = \begin{bmatrix} a_{11}a_{22} - a_{12}a_{21} & 0 \\ 0 & a_{11}a_{22} - a_{12}a_{21} \end{bmatrix} = (a_{11}a_{22} - a_{12}a_{21})\boldsymbol{I} \tag{2.23}\]따라서, 오직 $a_{11}a_{22} - a_{12}a_{21} \neq 0$ 일 때, 역행렬이 존재하며 $\boldsymbol{A}$ 의 역행렬은 다음과 같습니다.
\[\boldsymbol{A}^{-1} = \frac{1}{a_{11}a_{22} - a_{12}a_{21}} \begin{bmatrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{bmatrix} \tag{2.24}\]$a_{11}a_{22} - a_{12}a_{21}$ 는 $2\times2$ 행렬의 determinant(행렬식)라고 합니다(2.4장).
Definition 2.4 (Transpose)
$\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 인 행렬에 대하여 $\boldsymbol{B} \in \mathbb{R}^{n \times m}$ 이고, $b_{ij} = a_{ji}$ 인 행렬 $\boldsymbol{B}$ 를 $\boldsymbol{A}$ 의 전치(transpose) 라고 합니다. 이를 $\boldsymbol{B} = \boldsymbol{A}^\top$ 로 표기합니다.
$\boldsymbol{A}^\top$ 은 $\boldsymbol{A}$ 의 열을 행으로 바꿔서 얻을 수 있습니다.
다음은 역행렬과 전치행렬의 중요한 속성들을 보여줍니다.
\[\begin{align*} \boldsymbol{AA}^{-1} &= \boldsymbol{I} = \boldsymbol{A}^{-1}\boldsymbol{A} \tag{2.26} \\ (\boldsymbol{AB})^{-1} &= \boldsymbol{B}^{-1}\boldsymbol{A}^{-1} \tag{2.27} \\ (\boldsymbol{A} + \boldsymbol{B})^{-1} &\neq \boldsymbol{A}^{-1} + \boldsymbol{B}^{-1} \tag{2.28} \\ (\boldsymbol{A}^\top)^\top &= \boldsymbol{A} \tag{2.29} \\ (\boldsymbol{A} + \boldsymbol{B})^\top &= \boldsymbol{A}^\top + \boldsymbol{B}^\top \tag{2.30} \\ (\boldsymbol{AB})^\top &= \boldsymbol{B}^\top \boldsymbol{A}^\top \tag{2.31} \end{align*}\]Definition 2.5 (Symmetric Matrix)
$\boldsymbol{A} = \boldsymbol{A}^\top$ 을 만족할 때, 행렬 $\boldsymbol{A}$ 를 symmetric 하다고 표현하고, symmetric matrix(대칭 행렬)라고 부릅니다.
오직 (n, n) 행렬만 symmetric할 수 있고, 일반적으로 같은 수의 행과 열에 대해서만 성립하기 때문에 대칭 행렬은 정사각 행렬입니다. 또한, $\boldsymbol{A}$ 의 역행렬이 존재하면, $\boldsymbol{A}^\top$ 의 역행렬도 존재하며 $(\boldsymbol{A}^{-1})^\top = (\boldsymbol{A}^\top)^{-1} =: \boldsymbol{A}^{-\top}$ 이 성립합니다.
참고로, 두 행렬 $\boldsymbol{A}, \boldsymbol{B} \in \mathbb{R}^{n \times n}$ 이 대칭 행렬이더라도 이 행렬들의 곱도 항상 대칭인 것은 아닙니다.
Multiplication by a Scalar
스칼라 값 $\lambda \in \mathbb{R}$ 와 행렬 $\boldsymbol{A} \in \mathbb{R}^{m \times n}$ 를 곱하면 그 결과는 다음과 같습니다.
\[\lambda \boldsymbol{A} = \boldsymbol{K}, \quad K_{ij} = \lambda a_{ij}\]두 스칼라 값 $\lambda, \psi$ 에 대해서 다음의 속성들을 만족합니다.
- Associativity (결합 법칙)
$(\lambda \psi)\boldsymbol{C} = \lambda(\psi \boldsymbol{C}), \quad \boldsymbol{C} \in \mathbb{R}^{m \times n}$
$\lambda(\boldsymbol{BC}) = (\lambda\boldsymbol{B})\boldsymbol{C} = \boldsymbol{B}(\lambda\boldsymbol{C}) = (\boldsymbol{BC})\lambda, \quad \boldsymbol{B} \in \mathbb{R}^{m \times n}, \boldsymbol{C} \in \mathbb{R}^{n \times k}$
$(\lambda\boldsymbol{C})^\top = \boldsymbol{C}^\top \lambda^\top = \boldsymbol{C}^\top \lambda = \lambda\boldsymbol{C}^\top$
- Distributivity (분배 법칙)
$(\lambda + \psi)\boldsymbol{C} = \lambda\boldsymbol{C} + \psi\boldsymbol{C}, \quad \boldsymbol{C} \in \mathbb{R}^{m \times n}$
$\lambda(\boldsymbol{B} + \boldsymbol{C}) = \lambda\boldsymbol{B} + \lambda\boldsymbol{C}, \quad \boldsymbol{B}, \boldsymbol{C} \in \mathbb{R}^{m \times n}$
Compact Representations of Systems of Linear Equations
다음과 같은 연립선형방정식이 있을 때,
\[\begin{align*} 2x_1 + 3x_2 + 5x_3 = 1 \\ 4x_1 - 2x_2 - 7x_3 = 8 \\ 9x_1 + 5x_2 - 3x_3 = 2 \end{align*} \tag{2.35}\]행렬의 곱셈 법칙을 사용하면 다음과 같이 간략한 형태로 작성할 수 있습니다.
\[\begin{bmatrix} 2 & 3 & 5 \\ 4 & -2 & -7 \\ 9 & 5 & -3 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} = \begin{bmatrix} 1 \\ 8 \\ 2 \end{bmatrix} \tag{2.36}\]여기서 행렬의 첫 번째 열이 $x_1$ 과 곱해지고, 두 번째 열이 $x_2$ 와, 세 번째 열이 $x_3$ 과 곱해집니다.
일반적으로 모든 연립선형방정식은 $\boldsymbol{Ax} = \boldsymbol{b}$ 의 형태로 표현할 수 있습니다.