阶的估计I 无穷小量与强函数1 基本概念 无穷小量与强函数的运算法则
写在前面
阶的估计是一个大家从学数分/高数开始到未来研究工作中出现频率都会非常高的一个词语,特别是对于从事数值计算/理论研究的工作者而言。结合我个人学习与研究经历来说,阶的估计就是尝试用毕生所学分析技巧去计算一个极限/积分/级数或者找它们的上下界的过程,并且这些极限/积分/级数看起来都非常不一般,比如我在科研中遇到过的:
f ( y ) = ∫ y e y 2 2 ( 1 + u − 2 τ 2 ) 1 u 2 + ( u ln ( u − 2 ) ) 2 d u f(y)=\int ye^{\frac{y^2}{2(1+u^{-2}\tau^2)}} \frac{1}{u^2+(u\ln(u^{-2}))^2}du f(y)=∫ye2(1+u−2τ2)y2u2+(uln(u−2))21du
目标是估计 f ( y ) f(y) f(y)这个函数关于 y y y在 0 0 0处的阶,也就是找到一个 α \alpha α使得
lim ∣ y ∣ → 0 y − α f ( y ) = c o n s t \lim_{|y| \to 0} y^{-\alpha}f(y)=const ∣y∣→0limy−αf(y)=const
这个积分拥有让人一看就想放弃的魔力,但它和贝叶斯统计理论中的一个小问题的一种可行解的稳健性有关,所以我们又不得不尝试搞一下这个积分。
阶的估计的应用非常广泛:数值计算中估计算法的误差/收敛速率,机器学习中估计算法的收敛速率/运算时间/最少样本量,理论统计中计算随机元的concentration、证明估计量的一致性/计算估计量的收敛速率等。并且这些领域有一个共同的特点,那就是这是一个机器无法替代的工作!无法被替代的原因很简单,机器虽然能做数值逼近,但它处理不了无穷这个概念。这是一个好事,说明我们理论工作者在短时间内还是不可或缺的,但这也是一个坏事,意味着我们不得不与这些奇形怪状的极限/积分/级数战斗。所以这个系列的博客就是总结一些大家数分/高数/复变/实变都学过的关于收敛性与阶的判断技巧,希望对大家的学习与科研带来一些帮助。
定义1.1 无穷小量
假设 lim x → x 0 f ( x ) = 0 \lim_{x \to x_0}f(x)=0 x→x0limf(x)=0
称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时是无穷小量,记为 f ( x ) = o ( 1 ) f(x)=o(1) f(x)=o(1);如果
lim x → x 0 f ( x ) g ( x ) = 0 \lim_{x \to x_0}\frac{f(x)}{g(x)}=0 x→x0limg(x)f(x)=0
称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时关于 g ( x ) g(x) g(x)是无穷小量,记为 f ( x ) = o ( g ( x ) ) f(x)=o(g(x)) f(x)=o(g(x)),它的含义是在 x → x 0 x \to x_0 x→x0时, f ( x ) f(x) f(x)比 g ( x ) g(x) g(x)更快趋近于0;
定义1.2 等价
如果
lim x → x 0 f ( x ) g ( x ) = 1 \lim_{x \to x_0}\frac{f(x)}{g(x)}=1 x→x0limg(x)f(x)=1称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时关于 g ( x ) g(x) g(x)是等价的,记为 f ( x ) ∼ g ( x ) f(x)\sim g(x) f(x)∼g(x);这个等价的定义也的确是一个等价关系,它满足对称性、自反性与传递性。
定义1.3 强函数
g ( x ) > 0 g(x)>0 g(x)>0,如果 ∃ M > 0 \exists M>0 ∃M>0,
∣ f ( x ) ∣ ≤ M g ( x ) , ∀ x ∈ ( a , b ) |f(x)| \le Mg(x),\forall x \in (a,b) ∣f(x)∣≤Mg(x),∀x∈(a,b)
则称 g ( x ) g(x) g(x)在 ( a , b ) (a,b) (a,b)上是 f ( x ) f(x) f(x)的强函数,记为 f ( x ) = O ( g ( x ) ) f(x)=O(g(x)) f(x)=O(g(x));
定义1.4 同阶无穷小量
如果 f ( x ) = o ( 1 ) , g ( x ) = o ( 1 ) f(x)=o(1),g(x)=o(1) f(x)=o(1),g(x)=o(1),并且 ∃ A , B > 0 \exists A,B>0 ∃A,B>0,
lim sup x → x 0 f ( x ) g ( x ) ≤ A , lim sup x → x 0 g ( x ) f ( x ) ≤ B \limsup _{x \to x_0} \frac{f(x)}{g(x)} \le A,\limsup _{x \to x_0} \frac{g(x)}{f(x)} \le B x→x0limsupg(x)f(x)≤A,x→x0limsupf(x)g(x)≤B
称 f ( x ) , g ( x ) f(x),g(x) f(x),g(x)在 x → x 0 x \to x_0 x→x0时是同阶无穷小量,记为 f ( x ) ≍ g ( x ) f(x) \asymp g(x) f(x)≍g(x)(latex: \asymp)
说明 O O O与 o o o以及其他几个表示渐近性质的符号被称为渐近记号或者Bachmann–Landau notation。
例1.1 假设 ϵ > 0 \epsilon>0 ϵ>0, A A A是任意常数,则 ∀ ϵ > 0 \forall \epsilon>0 ∀ϵ>0,当 x → ∞ x \to \infty x→∞时
- x A = o ( ( 1 + α ) ϵ x ) x^A = o((1+\alpha)^{\epsilon x}) xA=o((1+α)ϵx)
- ( log x ) A = o ( x ϵ ) (\log x)^A = o(x^{\epsilon}) (logx)A=o(xϵ)
- ( f ( x ) ) A = o ( e ϵ f ( x ) ) (f(x))^A = o(e^{\epsilon f(x)}) (f(x))A=o(eϵf(x)), f ( x ) f(x) f(x)单调递增且是无穷大量(极限为无穷)
这个例子想表达的意思是指数函数增长贼快;先证明第一个式子,根据定义,我们需要说明
lim x → ∞ x A ( 1 + α ) ϵ x = 0 = lim x → ∞ ϵ A x A ( 1 + α ) ϵ x = y = ϵ x lim y → ∞ y A ( 1 + α ) y \lim_{x \to \infty} \frac{x^A}{(1+\alpha)^{\epsilon x}} = 0 = \lim_{x \to \infty} \frac{\epsilon^Ax^A}{(1+\alpha)^{\epsilon x}}=_{y = \epsilon x} \lim_{y \to \infty}\frac{y^A}{(1+\alpha)^y} x→∞lim(1+α)ϵxxA=0=x→∞lim(1+α)ϵxϵAxA=y=ϵxy→∞lim(1+α)yyA
针对 ( 1 + α ) y (1+\alpha)^y (1+α)y,我们可以将其离散化后用二项式定理展开做放缩,取 y → ∞ y \to \infty y→∞的一个子列 { n } n ∈ N \{n\}_{n \in \mathbb{N}} {
n}n∈N,用二项式定理,
( 1 + α ) n = ∑ i = 0 n C n i α n (1+\alpha)^n=\sum_{i=0}^n C_n^i \alpha^n (1+α)n=i=0∑nCniαn
假设 m = [ A ] + 1 m=[A]+1 m=[A]+1, [ A ] [A] [A]表示不大于 A A A的最大整数,既然我们要考虑 n → ∞ n \to \infty n→∞的情况,不妨假设 n ≥ 2 m + 1 n \ge 2m+1 n≥2m+1,则
∑ i = 0 n C n i α n ≥ C n 2 m + 1 α m + 1 ≥ α m + 1 ( m + 1 ) ! ( n − m ) m + 1 ≥ α m + 1 ( m + 1 ) ! ( n 2 ) m + 1 = α m + 1 2 m + 1 ( m + 1 ) ! n m + 1 \sum_{i=0}^n C_n^i \alpha^n \ge C_n^{2m+1}\alpha^{m+1} \ge \frac{\alpha^{m+1}}{(m+1)!}(n-m)^{m+1} \\ \ge \frac{\alpha^{m+1}}{(m+1)!}\left( \frac{n}{2}\right)^{m+1} = \frac{\alpha^{m+1}}{2^{m+1}(m+1)!}n^{m+1} i=0∑nCniαn≥Cn2m+1αm+1≥(m+1)!αm+1(n−m)m+1≥(m+1)!αm+1(2n)m+1=2m+1(m+1)!αm+1nm+1
所以
n A ( 1 + α ) n ≤ 2 m + 1 ( m + 1 ) ! α m + 1 1 n = o ( 1 ) \frac{n^A}{(1+\alpha)^n} \le \frac{2^{m+1}(m+1)!}{\alpha^{m+1}} \frac{1}{n} = o(1) (1+α)nnA≤αm+12m+1(m+1)!n1=o(1)
因此 x A = o ( ( 1 + α ) ϵ x ) x^A = o((1+\alpha)^{\epsilon x}) xA=o((1+α)ϵx);
取 α = ϵ − 1 , x = ϵ log y \alpha=\epsilon-1,x=\epsilon \log y α=ϵ−1,x=ϵlogy,可以由1得到2;取 x = e f ( y ) x=e^{f(y)} x=ef(y)可以由2得到3。
定理1.1 无穷小量与强函数的运算法则
- 有界函数关于无穷大量是无穷小量: x → x 0 x \to x_0 x→x0时, f ( x ) f(x) f(x)是无穷大量, ϕ ( x ) = O ( 1 ) \phi(x)=O(1) ϕ(x)=O(1),则 ϕ ( x ) = o ( f ( x ) ) \phi(x)=o(f(x)) ϕ(x)=o(f(x))
- 强函数的传递性: f = O ( ϕ ) , ϕ = O ( ψ ) f = O(\phi),\phi = O(\psi) f=O(ϕ),ϕ=O(ψ),则 f = O ( ψ ) f=O(\psi) f=O(ψ)
- 某函数的强函数是无穷小量,则它本身也是无穷小量: f = O ( ϕ ) , ϕ = o ( ψ ) f=O(\phi),\phi = o(\psi) f=O(ϕ),ϕ=o(ψ),则 f = o ( ψ ) f=o(\psi) f=o(ψ)
- 强函数可和: O ( f ) + O ( g ) = O ( f + g ) O(f)+O(g) = O(f+g) O(f)+O(g)=O(f+g)
- 强函数可积: O ( f ) O ( g ) = O ( f g ) O(f)O(g)=O(fg) O(f)O(g)=O(fg)
- 无穷小量与强函数的积是无穷小量: o ( 1 ) O ( f ) = o ( f ) O ( 1 ) = o ( f ) o(1)O(f)=o(f)O(1)=o(f) o(1)O(f)=o(f)O(1)=o(f)
- 无穷小量与强函数的和是强函数: O ( f ) + o ( f ) = O ( f ) O(f)+o(f)=O(f) O(f)+o(f)=O(f)
- 无穷小量可和: o ( f ) + o ( g ) = o ( ∣ f ∣ + ∣ g ∣ ) o(f)+o(g)=o(|f|+|g|) o(f)+o(g)=o(∣f∣+∣g∣)
- 无穷小量可积: o ( f ) o ( g ) = o ( f g ) o(f)o(g)=o(fg) o(f)o(g)=o(fg)
- 强函数可乘幂: [ O ( f ) ] k = O k ( f k ) [O(f)]^k = O_k(f^k) [O(f)]k=Ok(fk), O k O_k Ok说明强函数定义的不等式中的常数与 k k k有关
- 无穷小量可乘幂: [ o ( f ) ] k = o ( f k ) [o(f)]^k=o(f^k) [o(f)]k=o(fk)
- 等价不受无穷小量的影响: f = o ( g ) f=o(g) f=o(g), g ∼ ψ g \sim \psi g∼ψ,则 g ∼ ψ ± f g \sim \psi \pm f g∼ψ±f
说明
- 为了便于查找使用,关于强函数与无穷小量的运算法则都在这里了,后续的定理/例题中会经常用到这些运算法则。
- 虽然我们用 O , o O,o O,o这样的符号定义强函数与无穷小量,并且用等号进行运算,但我们一定要牢记, O O O的本质是一个不等式, o o o的本质是一个极限。
这些运算法则的证明非常简单,基本上就是使用定义进行验证即可,比如第六条,在 x → x 0 x \to x_0 x→x0时,假设 ϕ = o ( 1 ) \phi=o(1) ϕ=o(1), g ( x ) > 0 g(x)>0 g(x)>0, ∃ M > 0 \exists M>0 ∃M>0, ∣ f ( x ) ∣ < M g ( x ) , ∀ x ∈ ( a , b ) , x 0 ∈ ( a , b ) |f(x)|<Mg(x),\forall x \in (a,b),x_0 \in (a,b) ∣f(x)∣<Mg(x),∀x∈(a,b),x0∈(a,b),根据极限的保号性,
0 ≤ lim x → x 0 ∣ ϕ ( x ) f ( x ) g ( x ) ∣ ≤ M lim x → x 0 ∣ ϕ ( x ) ∣ = 0 0 \le \lim_{x \to x_0} \left| \frac{\phi(x)f(x)}{g(x)} \right| \le M \lim_{x \to x_0}|\phi(x)|=0 0≤x→x0lim∣∣∣∣g(x)ϕ(x)f(x)∣∣∣∣≤Mx→x0lim∣ϕ(x)∣=0
因此 ϕ ( x ) f ( x ) = o ( g ( x ) ) \phi(x)f(x)=o(g(x)) ϕ(x)f(x)=o(g(x))。