Differentiation of Univariate Functions

들어가기에 앞서 고등학교 과정에서 배웠을 변수가 하나인 함수에 대한 미분을 간단하게 다시 살펴보도록 하겠습니다.

Definition 5.1 (Difference Quatient).
Difference Quotient (차분 몫) 는 다음과 같이 계산할 수 있으며,

\[\frac{\delta y}{\delta x} := \frac{f(x+\delta x) - f(x)}{\delta x} \tag{5.3}\]

이는 $f$ 의 그래프 상 두 점을 지나가는 할선(secant line)의 기울기(slope)를 계산합니다. 아래 그림은 $x_0$ 과 $x_0 + \delta x$ 두 점에 대한 slope 계산을 보여줍니다.

$f$ 가 linear function이라고 가정한다면, $x$ 와 $x + \delta x$ 사이의 difference quotient는 average slope로 간주할 수 있습니다. 이때 $\delta x \rightarrow 0$ 에 대한 극한에서, $x$ 에서의 $f$ 의 tangent(접선)를 얻을 수 있습니다 ($f$ 가 미분가능할 때). 이때 tangent는 $x$ 에서 $f$ 의 derivative(도함수) 입니다.

Definition 5.2 (Derivative).
$h > 0$ 에 대해, $x$ 에서 $f$ 의 derivative 는 다음의 극한으로 정의됩니다.

\[\frac{\mathrm{d}f}{\mathrm{d}x} := \lim_{h\rightarrow 0} \frac{f(x+h) - f(x)}{h} \tag{5.4}\]

이때, secant(할선)은 tangent(접선)이 됩니다.

$f$ 의 derivative는 $f$ 의 가장 가파른 상승 방향을 가리킵니다.

Example 5.2 (Derivative of a Polynomial)
$f(x) = x^n, \quad n \in \mathbb{N}$ 의 derivative를 계산해봅시다. 아마 정답은 $nx^{n-1}$ 이라는 것을 이미 알 것 입니다. 그러나 위에서 살펴본 정의를 통해서 어떻게 이 결과가 유도되는지 간단히 살펴보겠습니다.

식 (5.4)를 통해 우리는 다음의 식들을 얻을 수 있습니다.

\[\begin{align*} \frac{\mathrm{d}f}{\mathrm{d}x} &= \lim_{h\rightarrow 0} \frac{ {\color{blue}f(x+h)} - {\color{orange}f(x)}}{h} \tag{5.5a} \\ &= \lim_{h\rightarrow 0} \frac{ {\color{blue}(x+h)^n} - {\color{orange}x^n}}{h} \tag{5.5b} \\ &= \lim_{h\rightarrow 0} \frac{ {\color{blue}\sum_{i=0}^{n}\binom{n}{i}x^{n-i}h^{i}} - {\color{orange}x^n}}{h} \tag{5.5c} \end{align*}\]

여기서 ${\color{orange}{x^n}} = \binom{n}{0}x^{n-0}h^0$ 이므로, sum을 1부터 시작하도록 식을 변경하여 $x^n$ -term을 제거할 수 있습니다. 따라서, 다음과 같습니다.

\[\begin{align*} \frac{\mathrm{d}f}{\mathrm{d}x} &= \lim_{h\rightarrow 0}\frac{\sum_{i=1}^{n}\binom{n}{i}x^{n-i}h^i}{h} \tag{5.6a} \\ &= \lim_{h\rightarrow 0}\sum_{i=1}^{n}\binom{n}{i}x^{n-i}h^{i-1} \tag{5.6b} \\ &= \lim_{h\rightarrow 0}\left(\binom{n}{1}x^{n-1} + \underbrace{\sum_{i=2}^n \binom{n}{i}x^{n-i}h^{i-1}}_{\rightarrow 0 \text{ as } h\rightarrow 0} \right) \tag{5.6c} \\ &= \frac{n!}{1!(n-1)!}x^{n-1} = nx^{n-1} \tag{5.6d} \end{align*}\]

Taylor Series

Taylor series는 함수 $f$ 를 어떤 항의 무한한 합으로 표현하는 것입니다. 여기서 어떤 항은 $x_0$ 에서 계산된 $f$ 의 derivatives에 의해 결정됩니다.

Definition 5.3 (Taylor Polynomial).
$x_0$ 에서 $f : \mathbb{R}\rightarrow\mathbb{R}$ 의 n차 Taylor polynomial 은 다음과 같이 정의됩니다.

\[T_n(x) := \sum_{k=0}^{n} \frac{f^{(k)}(x_0)}{k!}(x-x_0)^k \tag{5.7}\]

위 식에서 $f^{(k)}(x_0)$ 는 $x_0$ 에서 $f$ 의 k차 도함수($k$ th derivative) 이고, $\frac{f^{(k)}(x_0)}{k!}$ 는 다항식의 계수(coefficients) 입니다.

Definition 5.4 (Taylor Series).
Smooth function $f \in \mathcal{C}^\infty, f : \mathbb{R}\rightarrow\mathbb{R}$ 에 대해, $x_0$ 에서 $f$ 의 Taylor series 는 다음과 같이 정의됩니다.

\[T_\infty(x) = \sum_{k=0}^\infty \frac{f^{(k)}(x_0)}{k!}(x-x_0)^k \tag{5.8}\]

$x_0 = 0$ 일 때, Taylor series의 special instance인 Maclaurin series 를 얻을 수 있습니다. 만약 $f(x) = T_\infty(x)$ 라면, $f$ 를 analytic 이라고 부릅니다.
($f\in\mathcal{C}^\infty$ 는 $f$ 가 연속적으로 무한히 미분 가능하다는 것을 의미합니다.)

Example 5.3 (Taylor Polynomial)
다음과 같은 다항식에 대해 $x_0 = 1$ 에서의 Taylor polynomial $T_6$ 를 찾아보도록 하겠습니다.

\[f(x) = x^4 \tag{5.9}\]

먼저 $k=0,\dotsc,6$ 일 때의 계수 $f^{(k)}(1)$ 의 값을 계산하면 다음과 같습니다.

\[\begin{align*} f(1) &= 1 \tag{5.10} \\ f'(1) &= 4 \tag{5.11} \\ f''(1) &= 12 \tag{5.12} \\ f^{(3)}(1) &= 24 \tag{5.13} \\ f^{(4)}(1) &= 24 \tag{5.14} \\ f^{(5)}(1) &= 0 \tag{5.15} \\ f^{(6)}(1) &= 0 \tag{5.16} \end{align*}\]

따라서, 구하고자 하는 Taylor polynomial은 다음과 같습니다.

\[\begin{align*} T_6(x) &= \sum_{k=0}^6\frac{f^{(k)}(x_0)}{k!}(x-x_0)^k \tag{5.17a} \\ &= 1 + 4(x-1) + 6(x-1)^2 + 4(x-1)^3 + (x-1)^4 + 0 \tag{5.17b} \end{align*}\]

위 식을 풀어서 다시 정리하면, 다음의 식을 얻을 수 있습니다.

\[\begin{align*} T_6(x) &= (1-4+6-4+1) + x(4-12+12-4) \\ &\quad+x^2(6-12+6) + x^3(4-4) + x^4 \tag{5.18a} \\ &= x^4 = f(x) \tag{5.18b} \end{align*}\]

즉, original function와 정확히 같은 표현을 얻는다는 것을 확인할 수 있습니다.

Example 5.4 (Taylor Series)

위 그림과 같이 주어지는 함수에 대해 $x_0 = 0$ 일 때의 Taylor series expansion을 찾아보도록 하겠습니다.

\[f(x) = \sin(x) + \cos(x) \in \mathcal{C}^\infty \tag{5.19}\]

$x_0 = 0$ 일 때의 Taylor series 이므로, 이는 $f$ 의 Maclaurin series expansion이라고도 합니다. 먼저 다음과 같이 도함수를 계산할 수 있습니다.

\[\begin{align*} f(0) &= \sin(0) + \cos(0) = 1 \tag{5.20} \\ f'(0) &= \cos(0) -\sin(0) = 1 \tag{5.21} \\ f''(0) &= -\sin(0) -\cos(0) = -1 \tag{5.22} \\ f^{(3)}(0) &= -\cos(0) + \sin(0) = -1 \tag{5.23} \\ f^{(4)}(0) &= \sin(0) + \cos(0) = f(0) = 1 \tag{5.24} \\ \vdots \end{align*}\]

$f^{(k+4)}(0) = f^{(k)}(0)$ 의 패턴이 있습니다.
따라서, full taylor series expansion은 다음과 같이 주어집니다.

\[\begin{align*} T_\infty (x) &= \sum_{k=0}^\infty \frac{f^{(k)}(x_0)}{k!}(x-x_0)^k \tag{5.25a} \\ &= 1 + x - \frac{1}{2!}x^2-\frac{1}{3!}x^3+\frac{1}{4!}x^4+\frac{1}{5!}x^5 - \cdots \tag{5.25b} \\ &= {\color{orange}1-\frac{1}{2!}x^2+\frac{1}{4!}x^4 \mp \cdots} + {\color{blue}x - \frac{1}{3!}x^3 + \frac{1}{5!}x^5 \mp \cdots} \tag{5.25c} \\ &= {\color{orange}\sum_{k=0}^\infty (-1)^k \frac{1}{(2k)!}x^{2k}} + {\color{blue}\sum_{k=0}^\infty (-1)^k\frac{1}{(2k+1)!}x^{2k+1}} \tag{5.25d} \\ &= {\color{orange}\cos(x)} + {\color{blue}\sin(x)} \tag{5.25e} \end{align*}\]

위 식에서는 다음과 같은 power series representations (멱급수) 를 사용했습니다.

\[\begin{align*} \cos(x) &= \sum_{k=0}^\infty (-1)^k\frac{1}{(2k)!}x^{2k} \tag{5.26} \\ \sin(x) &= \sum_{k=0}^\infty (-1)^k\frac{1}{(2k+1)!}x^{2k+1} \tag{5.27} \end{align*}\]

Example 5.4 처음에 봤던 그림에서는 $n =0,1,5,10$ 일 때의 Taylor polynomial $T_n$ 을 보여주고 있습니다.

\[f(x) = \sum_{k=0}^\infty a_k(x - c)^k \tag{5.28}\]

위의 식은 멱급수를 나타내며, $a_k$ 는 계수, $c$ 는 상수입니다. 테일러 급수에서 이 계수와 상수는 Definition 5.4에서 논의한 것과 같이 정의됩니다.

Differentiation Rules

기본적인 differentiation rules는 다음과 같습니다.

\[\begin{align*} &\text{Product rule : }\quad (f(x)g(x))' = f'(x)g(x) + f(x)g'(x) \tag{5.29} \\ &\text{Quotient rule : }\quad \left(\frac{f(x)}{g(x)}\right)' = \frac{f'(x)g(x) - f(x)g'(x)}{(g(x))^2} \tag{5.30} \\ &\text{Sum rule : }\quad (f(x) + g(x))' = f'(x) + g'(x) \tag{5.31} \\ &\text{Chain rule : }\quad (g(f(x)))' = (g\circ f)'(x) = g'(f(x))f'(x) \tag{5.32} \end{align*}\]

여기서 $g\circ f$ 는 $x\mapsto f(x) \mapsto g(f(x))$ 를 의미합니다.

Example 5.5 (Chain Rule)
Chain rule을 사용하여 $h(x) = (2x + 1)^4$ 의 derivative를 계산해보도록 하겠습니다. 우선 다음과 같이 함수를 분해합니다.

\[\begin{align*} h(x) &= (2x+1)^4 = g(f(x)) \tag{5.33} \\ f(x) &= 2x + 1 \tag{5.34} \\ g(f) &= f^4 \tag{5.35} \end{align*}\]

여기서 $f$ 와 $g$ 의 derivatives는 다음과 같이 계산됩니다.

\[\begin{align*} f'(x) &= 2 \tag{5.36} \\ g'(f) &= 4f^3 \tag{5.37} \end{align*}\]

그리고 $h$ 의 derivative는 chain rule을 사용하여 다음과 같이 구할 수 있습니다.

\[h'(x) = g'(f)f'(x) = (4f^3)\cdot2 \overset{(5.36)}= 4(2x+1)^3\cdot2 = 8(2x+1)^3 \tag{5.38}\]