整理一下数值分析的笔记~
目录:
1. 误差
2. 多项式插值与样条插值
3. 函数逼近(THIS)
4. 数值积分与数值微分
5. 线性方程组的直接解法
6. 线性方程组的迭代解法
7. 非线性方程求根
8. 特征值和特征向量的计算
9. 常微分方程初值问题的数值解
1. 基本概念
令
δi=y(xi)−yi在回归分析中称为残差,一般使用
∣∣δ∣∣22=∑i=0mδi2=∑i=0m(y(xi)−yi)2作为衡量标准称为平方误差,回归分析中称为残差平方和。
在函数类
φ中选取一个函数
S∗(x),计算如下:
S∗(x)=j=0∑najφj(x)=a0∗φ0(x)+...+an∗φn(x)∣∣δ∗∣∣22=i=0∑m(S∗(xi)−yi)2=minS(x)∈φ(S(xi)−yi)2,其中S(x)=j=0∑majφj(x)为φ中的任意函数。
称
S∗(x)=∑j=0naj∗φj(x)为最小二乘解;
称
S(x)=∑j=0najφj(x)为拟合函数;
称
aj(j=0,1,...,n)为拟合系数;
称
∣∣δ∗∣∣22为最小二乘解的平方误差。
确定拟合函数后如何确定拟合系数?
2. 法方程组
如何求任意方程组
Am×nx=b的最小二乘解?
记
xˉ是最小二乘解则满足
(b−Axˉ)⊥{
Ax,x∈Rn},则
(Ax)T(b−Axˉ)=0,x∈Rn,推出
xT(ATb−ATAxˉ)=0,x∈Rn,可得
ATAxˉ=ATb,称为法方程,也称正规方程,它的解就是最小二乘解。
例:
求解不相容方程组⎝⎛1111−11⎠⎞(x1x2)=⎝⎛213⎠⎞
解:由
ATAxˉ=ATb得法方程:
(111−111)⎝⎛1111−11⎠⎞(x1x2)(111−111)⎝⎛213⎠⎞
解得
(x1x2)=(7/43/4)r=b−Axˉ=⎝⎛213⎠⎞−⎝⎛1111−11⎠⎞(7/43/4)=⎝⎛−0.500.5⎠⎞∣∣r∣∣2=0.52+02+0.52
=0.707
例:找出可以最优拟合点集(1,2),(-1,1),(1,3)的直线。
解:将点(1,2),(-1,1),(1,3)代入直线
y=c1+c2x中有:
⎩⎪⎨⎪⎧c1+c2=2c1−c2=1c1+c2=3,⎝⎛1111−11⎠⎞(c1c2)=⎝⎛213⎠⎞,由公式ATAxˉ=ATb得法方程,求解得不相容方程,得直线y=47+43
{持续更新}
欢迎扫描二维码关注微信公众号 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读,算法和其他互联网技能的学习,概率论、线性代数等高等数学知识的回顾]