机器学习的数学基础（上）

[]{#_Toc405731550 .anchor}

目录

机器学习的数学基础 1

高等数学 1

线性代数 9

概率论和数理统计 19

机器学习的数学基础 {#机器学习的数学基础 .58}

高等数学

1.导数定义：

导数和微分的概念

f′(x0)=lim⁡Δx→0f(x0+Δx)−f(x0)Δxf'(x_{0}) = \\lim_{\\Delta x \\rightarrow 0}\\,\\frac{f(x_{0} + \\Delta x) - f(x_{0})}{\\text{Δx}}f′(x0​)=limΔx→0​Δxf(x0​+Δx)−f(x0​)​
（1）

或者：f′(x0)=lim⁡x→x0f(x)−f(x0)x−x0f'(x_{0}) = \\lim_{x \\rightarrow x_{0}}\\,\\frac{f(x) - f(x_{0})}{x - x_{0}}f′(x0​)=limx→x0​​x−x0​f(x)−f(x0​)​
（2）

2.左右导数导数的几何意义和物理意义

函数$f(x)$在x0x_{0}x0​处的左、右导数分别定义为：

左导数：f′−(x0)=lim⁡Δx→0−f(x0+Δx)−f(x0)Δx=lim⁡x→x0−f(x)−f(x0)x−x0,(x=x0+Δx){f'}_{-}(x_{0}) = \\lim_{\\Delta x \\rightarrow 0^{-}}\\,\\frac{f(x_{0} + \\Delta x) - f(x_{0})}{\\text{Δx}} = \\lim_{x \\rightarrow x_{0}^{-}}\\,\\frac{f(x) - f(x_{0})}{x - x_{0}},(x = x_{0} + \\Delta x)f′−​(x0​)=limΔx→0−​Δxf(x0​+Δx)−f(x0​)​=limx→x0−​​x−x0​f(x)−f(x0​)​,(x=x0​+Δx)

右导数：f′+(x0)=lim⁡Δx→0+f(x0+Δx)−f(x0)Δx=lim⁡x→x0+f(x)−f(x0)x−x0{f'}_{+}(x_{0}) = \\lim_{\\Delta x \\rightarrow 0^{+}}\\,\\frac{f(x_{0} + \\Delta x) - f(x_{0})}{\\text{Δx}} = \\lim_{x \\rightarrow x_{0}^{+}}\\,\\frac{f(x) - f(x_{0})}{x - x_{0}}f′+​(x0​)=limΔx→0+​Δxf(x0​+Δx)−f(x0​)​=limx→x0+​​x−x0​f(x)−f(x0​)​

3.函数的可导性与连续性之间的关系

Th1:
函数$f(x)$在x0x_{0}x0​处可微$\iff f(x)$在x0x_{0}x0​处可导。

Th2:若函数在点x0x_{0}x0​处可导，则$y=f(x)$在点x0x_{0}x0​处连续，反之则不成立.即函数连续不一定可导。

Th3:f′(x0)f'(x_{0})f′(x0​)存在⇔f′−(x0)=f′+(x0)\\Leftrightarrow {f'}_{-}(x_{0}) = {f'}_{+}(x_{0})⇔f′−​(x0​)=f′+​(x0​)

4.平面曲线的切线和法线

切线方程 : y−y0=f′(x0)(x−x0)y - y_{0} = f'(x_{0})(x - x_{0})y−y0​=f′(x0​)(x−x0​)

法线方程：y−y0=−1f′(x0)(x−x0),f′(x0)≠0y - y_{0} = - \\frac{1}{f'(x_{0})}(x - x_{0}),f'(x_{0}) \\neq 0y−y0​=−f′(x0​)1​(x−x0​),f′(x0​)=0

5.四则运算法则

设函数$u=u(x),v=v(x)$在点$x$可导，则：

(1) (u±v)′=u′±v′\\left( u \\pm v \\right)^{'} = u^{'} \\pm v^{'}(u±v)′=u′±v′ \\text{\\ \\ \\ \\ }    

(2) (uv)′=uv′+vu′(\\text{uv})' = \\text{uv}' + \\text{vu}'(uv)′=uv′+vu′
$d(\text{uv})=\text{udv}+\text{vdu}$

(3) (uv)′=vu′−uv′v2(v≠0)(\\frac{u}{v})' = \\frac{\\text{vu}' - \\text{uv}'}{v^{2}}(v \\neq 0)(vu​)′=v2vu′−uv′​(v=0)
d(uv)=vdu−udvv2d(\\frac{u}{v}) = \\frac{\\text{vdu} - \\text{udv}}{v^{2}}d(vu​)=v2vdu−udv​

6.基本导数与微分表

(1) $y=c$（常数） 则： y′=0y^{'} = 0y′=0 $\text{dy}=0$

(2) y=xαy = x^{\\alpha}y=xα($\alpha$为实数) 则： y′=αxα−1y' = \\alpha x^{\\alpha - 1}y′=αxα−1
dy=αxα−1dx\\text{dy} = \\alpha x^{\\alpha - 1}\\text{dx}dy=αxα−1dx

(3) y=axy = a^{x}y=ax 则： y′=axln⁡ay' = a^{x}\\ln ay′=axlna dy=axln⁡adx\\text{dy} = a^{x}\\ln\\text{adx}dy=axlnadx
特例: (ex)′=ex(e^{x})' = e^{x}(ex)′=ex d(ex)=exdxd(e^{x}) = e^{x}\\text{dx}d(ex)=exdx

(4) y′=1xln⁡ay' = \\frac{1}{x\\ln a}y′=xlna1​ 则：dy=1xln⁡adx\\text{dy} = \\frac{1}{x\\ln a}\\text{dx}dy=xlna1​dx
特例:$y=lnx$ (lnx)′=1x(lnx)' = \\frac{1}{x}(lnx)′=x1​ d(lnx)=1xdxd(lnx) = \\frac{1}{x}\\text{dx}d(lnx)=x1​dx

(5) $y=sinx$ 则：y′=cosxy' = cosxy′=cosx $d(sinx)=cos\text{xdx}$

(6) $y=cosx$ 则：y′=−sinxy' = - sinxy′=−sinx $d(cosx)=-sin\text{xdx}$

(7) $y=tanx$ 则： y′=1cos⁡2x=sec⁡2xy^{'} = \\frac{1}{\\cos^{2}x} = \\sec^{2}xy′=cos2x1​=sec2x
d(tanx)=sec⁡2xdxd(tanx) = \\sec^{2}\\text{xdx}d(tanx)=sec2xdx

(8) $y=cotx$ 则：y′=−1sin⁡2x=−csc⁡2xy' = - \\frac{1}{\\sin^{2}x} = - \\csc^{2}xy′=−sin2x1​=−csc2x
d(cotx)=−csc⁡2xdxd(cotx) = - \\csc^{2}\\text{xdx}d(cotx)=−csc2xdx

(9) $y=secx$ 则：y′=secxtan⁡xy' = secx\\tan xy′=secxtanx $d(secx)=secx\tan \text{xdx}$

(10) $y=cscx$ 则：y′=−cscxcot⁡xy' = - cscx\\cot xy′=−cscxcotx $d(cscx)=-cscx\cot \text{xdx}$

(11) $y=arcsinx$ 则：y′=11−x2y' = \\frac{1}{\\sqrt{1 - x^{2}}}y′=1−x2​1​
d(arcsinx)=11−x2dxd(arcsinx) = \\frac{1}{\\sqrt{1 - x^{2}}}\\text{dx}d(arcsinx)=1−x2​1​dx

(12) $y=arccosx$ 则：y′=−11−x2y' = - \\frac{1}{\\sqrt{1 - x^{2}}}y′=−1−x2​1​
d(arccosx)=−11−x2dxd(arccosx) = - \\frac{1}{\\sqrt{1 - x^{2}}}\\text{dx}d(arccosx)=−1−x2​1​dx

(13) $y=arctanx$ 则：y′=11+x2y' = \\frac{1}{1 + x^{2}}y′=1+x21​
d(arctanx)=11+x2dxd(arctanx) = \\frac{1}{1 + x^{2}}\\text{dx}d(arctanx)=1+x21​dx

(14) $y=arccotx$ 则：y′=−11+x2y' = - \\frac{1}{1 + x^{2}}y′=−1+x21​
d(arccotx)=−11+x2dxd(arccotx) = - \\frac{1}{1 + x^{2}}\\text{dx}d(arccotx)=−1+x21​dx

(15) $y=sx$ 则：y′=cxy' = cxy′=cx $d(sx)=cxdx$

(16) $y=cx$ 则：y′=sxy' = sxy′=sx $d(cx)=sxdx$

7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法

(1) 反函数的运算法则:
设$y=f(x)$在点$x$的某邻域内单调连续，在点$x$处可导且f′(x)≠0f'(x) \\neq 0f′(x)=0，则其反函数在点$x$所对应的$y$处可导，并且有dydx=1dxdy\\frac{\\text{dy}}{\\text{dx}} = \\frac{1}{\\frac{\\text{dx}}{\\text{dy}}}dxdy​=dydx​1​

(2)
复合函数的运算法则:若$\mu =\phi (x)$在点$x$可导,而$y=f(\mu )$在对应点$\mu$($\mu =\phi (x)$)可导,则复合函数$y=f(\phi (x))$在点$x$可导,且y′=f′(μ)⋅φ′(x)y' = f'(\\mu) \\cdot \\varphi'(x)y′=f′(μ)⋅φ′(x)

(3) 隐函数导数dydx\\frac{\\text{dy}}{\\text{dx}}dxdy​的求法一般有三种方法：

1)方程两边对$x$求导，要记住$y$是$x$的函数，则$y$的函数是$x$的复合函数.例如1y\\frac{1}{y}y1​，y2y^{2}y2，$\text{lny}$，eye^{y}ey等均是$x$的复合函数.
对$x$求导应按复合函数连锁法则做。

2)公式法.由$F(x,y)=0$知
dydx=−F′x(x,y)F′y(x,y)\\frac{\\text{dy}}{\\text{dx}} = - \\frac{{F'}_{x}(x,y)}{{F'}_{y}(x,y)}dxdy​=−F′y​(x,y)F′x​(x,y)​,其中，F′x(x,y){F'}_{x}(x,y)F′x​(x,y)，
F′y(x,y){F'}_{y}(x,y)F′y​(x,y)分别表示$F(x,y)$对$x$和$y$的偏导数。

3)利用微分形式不变性

8.常用高阶导数公式

（1）KaTeX parse error: Got group of unknown type: 'internal'

（2）KaTeX parse error: Got group of unknown type: 'internal'

（3）KaTeX parse error: Got group of unknown type: 'internal'

（4）KaTeX parse error: Got group of unknown type: 'internal'

（5）KaTeX parse error: Got group of unknown type: 'internal'

（6）莱布尼兹公式：若$u(x),v(x)$均$n$阶可导，则：
(uv)(n)=∑i=0ncniu(i)v(n−i){(\\text{uv})}^{(n)} = \\sum_{i = 0}^{n}{c_{n}^{i}u^{(i)}v^{(n - i)}}(uv)(n)=∑i=0n​cni​u(i)v(n−i)，其中u(0)=uu^{(0)} = uu(0)=u，v(0)=vv^{(0)} = vv(0)=v

9.微分中值定理，泰勒公式

Th1:(费马定理)

若函数$f(x)$满足条件：

(1)函数$f(x)$在x0x_{0}x0​的某邻域内有定义，并且在此邻域内恒有
f(x)≤f(x0)f(x) \\leq f(x_{0})f(x)≤f(x0​)或f(x)≥f(x0)f(x) \\geq f(x_{0})f(x)≥f(x0​),

(2) $f(x)$在x0x_{0}x0​处可导,则有 f′(x0)=0f'(x_{0}) = 0f′(x0​)=0

Th2:(罗尔定理)

设函数$f(x)$满足条件：

(1)在闭区间$[a,b]$上连续；
(2)在$(a,b)$内可导；(3)$f\left(a\right)=f\left(b\right)$

则在$(a,b)$内$\exists$一个$\xi$，使 f′(ξ)=0f'(\\xi) = 0f′(ξ)=0

Th3: (拉格朗日中值定理)

设函数$f(x)$满足条件：

(1)在$[a,b]$上连续；(2)在$(a,b)$内可导；

则在$(a,b)$内存在一个$\xi$，使 f(b)−f(a)b−a=f′(ξ)\\frac{f(b) - f(a)}{b - a} = f'(\\xi)b−af(b)−f(a)​=f′(ξ)

Th4: (柯西中值定理)

设函数$f(x)$，$g(x)$满足条件：

(1) 在$[a,b]$上连续；(2)
在$(a,b)$内可导且f′(x)f'(x)f′(x)，g′(x)g'(x)g′(x)均存在，且g′(x)≠0g'(x) \\neq 0g′(x)=0

则在$(a,b)$内存在一个$\xi$，使
f(b)−f(a)g(b)−g(a)=f′(ξ)g′(ξ)\\frac{f(b) - f(a)}{g(b) - g(a)} = \\frac{f'(\\xi)}{g'(\\xi)}g(b)−g(a)f(b)−f(a)​=g′(ξ)f′(ξ)​

10.洛必达法则

法则Ⅰ(00\\frac{\\mathbf{0}}{\\mathbf{0}}00​型不定式极限)

设函数$f\left(x\right),g\left(x\right)$满足条件：
lim⁡x→x0f(x)=0,lim⁡x→x0g(x)=0\\lim_{x \\rightarrow x_{0}}\\, f\\left( x \\right) = 0,\\lim_{x \\rightarrow x_{0}}\\, g\\left( x \\right) = 0limx→x0​​f(x)=0,limx→x0​​g(x)=0;
$f\left(x\right),g\left(x\right)$在x0x_{0}x0​的邻域内可导
(在x0x_{0}x0​处可除外)且g′(x)≠0g'\\left( x \\right) \\neq 0g′(x)=0;

lim⁡x→x0f′(x)g′(x)\\lim_{x \\rightarrow x_{0}}\\,\\frac{f'\\left( x \\right)}{g'\\left( x \\right)}limx→x0​​g′(x)f′(x)​存在(或$\infty$)。

则：
lim⁡x→x0f(x)g(x)=lim⁡x→x0f′(x)g′(x)\\lim_{x \\rightarrow x_{0}}\\,\\frac{f\\left( x \\right)}{g\\left( x \\right)} = \\lim_{x \\rightarrow x_{0}}\\,\\frac{f'\\left( x \\right)}{g'\\left( x \\right)}limx→x0​​g(x)f(x)​=limx→x0​​g′(x)f′(x)​

法则I′\\mathbf{I'}I′
(00\\frac{\\mathbf{0}}{\\mathbf{0}}00​型不定式极限)

设函数$f\left(x\right),g\left(x\right)$满足条件：
lim⁡x→∞f(x)=0,lim⁡x→∞g(x)=0\\lim_{x \\rightarrow \\infty}\\, f\\left( x \\right) = 0,\\lim_{x \\rightarrow \\infty}\\, g\\left( x \\right) = 0limx→∞​f(x)=0,limx→∞​g(x)=0;存在一个$X>0$,当$\left|x\right|>X$时,$f\left(x\right),g\left(x\right)$可导,且g′(x)≠0g'\\left( x \\right) \\neq 0g′(x)=0;lim⁡x→x0f′(x)g′(x)\\lim_{x \\rightarrow x_{0}}\\,\\frac{f'\\left( x \\right)}{g'\\left( x \\right)}limx→x0​​g′(x)f′(x)​存在(或$\infty$)。

则：
lim⁡x→x0f(x)g(x)=lim⁡x→x0f′(x)g′(x).\\lim_{x \\rightarrow x_{0}}\\,\\frac{f\\left( x \\right)}{g\\left( x \\right)} = \\lim_{x \\rightarrow x_{0}}\\,\\frac{f'\\left( x \\right)}{g'\\left( x \\right)}.limx→x0​​g(x)f(x)​=limx→x0​​g′(x)f′(x)​.

法则Ⅱ(∞∞\\frac{\\mathbf{\\infty}}{\\mathbf{\\infty}}∞∞​型不定式极限)

设函数$f\left(x\right),g\left(x\right)$满足条件：
lim⁡x→x0f(x)=∞,lim⁡x→x0g(x)=∞\\lim_{x \\rightarrow x_{0}}\\, f\\left( x \\right) = \\infty,\\lim_{x \\rightarrow x_{0}}\\, g\\left( x \\right) = \\inftylimx→x0​​f(x)=∞,limx→x0​​g(x)=∞;
$f\left(x\right),g\left(x\right)$在x0x_{0}x0​ 的邻域内可
导(在x0x_{0}x0​处可除外)且g′(x)≠0g'\\left( x \\right) \\neq 0g′(x)=0;lim⁡x→x0f′(x)g′(x)\\lim_{x \\rightarrow x_{0}}\\,\\frac{f'\\left( x \\right)}{g'\\left( x \\right)}limx→x0​​g′(x)f′(x)​存在(或$\infty$)。

则：
lim⁡x→x0f(x)g(x)=lim⁡x→x0f′(x)g′(x).\\lim_{x \\rightarrow x_{0}}\\,\\frac{f\\left( x \\right)}{g\\left( x \\right)} = \\lim_{x \\rightarrow x_{0}}\\,\\frac{f'\\left( x \\right)}{g'\\left( x \\right)}.limx→x0​​g(x)f(x)​=limx→x0​​g′(x)f′(x)​.

同理法则II′II'II′(∞∞\\frac{\\infty}{\\infty}∞∞​型不定式极限)仿法则I′I'I′可写出

11.泰勒公式

设函数$f(x)$在点x0x_{0}x0​处的某邻域内具有$n+1$阶导数，则对该邻域内异于x0x_{0}x0​的任意点$x$，在x0x_{0}x0​与$x$之间至少存在一个$\xi$，使得：

f(x)=f(x0)+f′(x0)(x−x0)+12!f′′(x0)(x−x0)2+⋯f(x) = f(x_{0}) + f'(x_{0})(x - x_{0}) + \\frac{1}{2!}f''(x_{0}){(x - x_{0})}^{2} + \\cdotsf(x)=f(x0​)+f′(x0​)(x−x0​)+2!1​f′′(x0​)(x−x0​)2+⋯
+f(n)(x0)n!(x−x0)n+Rn(x)+ \\frac{f^{(n)}(x_{0})}{n!}{(x - x_{0})}^{n} + R_{n}(x)+n!f(n)(x0​)​(x−x0​)n+Rn​(x)

其中
Rn(x)=f(n+1)(ξ)(n+1)!(x−x0)n+1R_{n}(x) = \\frac{f^{(n + 1)}(\\xi)}{(n + 1)!}{(x - x_{0})}^{n + 1}Rn​(x)=(n+1)!f(n+1)(ξ)​(x−x0​)n+1称为$f(x)$在点x0x_{0}x0​处的$n$阶泰勒余项。

令x0=0x_{0} = 0x0​=0，则$n$阶泰勒公式：

f(x)=f(0)+f′(0)x+12!f′′(0)x2+⋯+f(n)(0)n!xn+Rn(x)f(x) = f(0) + f'(0)x + \\frac{1}{2!}f''(0)x^{2} + \\cdots + \\frac{f^{(n)}(0)}{n!}x^{n} + R_{n}(x)f(x)=f(0)+f′(0)x+2!1​f′′(0)x2+⋯+n!f(n)(0)​xn+Rn​(x)……

(1) 其中
Rn(x)=f(n+1)(ξ)(n+1)!xn+1R_{n}(x) = \\frac{f^{(n + 1)}(\\xi)}{(n + 1)!}x^{n + 1}Rn​(x)=(n+1)!f(n+1)(ξ)​xn+1，$\xi$在0与$x$之间。(1)式称为麦克劳林公式

常用五种函数在x0=0x_{0} = 0x0​=0处的泰勒公式 ：

ex=1+x+12!x2+⋯+1n!xn+xn+1(n+1)!eξe^{x} = 1 + x + \\frac{1}{2!}x^{2} + \\cdots + \\frac{1}{n!}x^{n} + \\frac{x^{n + 1}}{(n + 1)!}e^{\\xi}ex=1+x+2!1​x2+⋯+n!1​xn+(n+1)!xn+1​eξ
或 =1+x+12!x2+⋯+1n!xn+o(xn)= 1 + x + \\frac{1}{2!}x^{2} + \\cdots + \\frac{1}{n!}x^{n} + o(x^{n})=1+x+2!1​x2+⋯+n!1​xn+o(xn)

sin⁡x=x−13!x3+⋯+xnn!sin⁡nπ2+xn+1(n+1)!sin⁡(ξ+n+12π)\\sin x = x - \\frac{1}{3!}x^{3} + \\cdots + \\frac{x^{n}}{n!}\\sin\\frac{\\text{nπ}}{2} + \\frac{x^{n + 1}}{\\left( n + 1 \\right)!}\\sin\\left( \\xi + \\frac{n + 1}{2}\\pi \\right)sinx=x−3!1​x3+⋯+n!xn​sin2nπ​+(n+1)!xn+1​sin(ξ+2n+1​π)

或
=x−13!x3+⋯+xnn!sin⁡nπ2+o(xn)= x - \\frac{1}{3!}x^{3} + \\cdots + \\frac{x^{n}}{n!}\\sin\\frac{\\text{nπ}}{2} + o\\left( x^{n} \\right)=x−3!1​x3+⋯+n!xn​sin2nπ​+o(xn)

cos⁡x=1−12!x2+⋯+xnn!cos⁡nπ2+xn+1(n+1)!cos(ξ+n+12π)\\cos x = 1 - \\frac{1}{2!}x^{2} + \\cdots + \\frac{x^{n}}{n!}\\cos\\frac{\\text{nπ}}{2} + \\frac{x^{n + 1}}{(n + 1)!}cos(\\xi + \\frac{n + 1}{2}\\pi)cosx=1−2!1​x2+⋯+n!xn​cos2nπ​+(n+1)!xn+1​cos(ξ+2n+1​π)