模型降阶方法之张量方法

简介

POD 方法的介绍如下所示：
https://blog.csdn.net/lusongno1/article/details/125944587

经典的 POD 方法无法处理非线性项，所以发展了很多的方法，比如 DEIM：
https://blog.csdn.net/lusongno1/article/details/125955245

如果我们要考虑的方程里面有一组参数，不同的参数都能获得一个 Matrix，那么我们应该如何把多组参数下的得到的数据放在一块作为先验，来给新到来的一组参数做模型降阶呢？这就是这篇文章要考虑的问题，即高阶的张量分解，和参数维度上的插值。简单地说，就是如果已经有了一组参数下的快照，那么新来一个参数，它之下的 SVD 分解不需要重新找快照，只需要由原来的参数插值得到。

这篇博客有点难理解，可以大概看看，再去看一些文章。我们略去一些约定俗成的符号的含义的解释，不理解的符号含义可以看一下参考文献。我们只介绍方法，证明分析和实验，可以阅读论文。

基础知识

我们先介绍一些基础的定义。一个代数张量空间中的张量可以写为 elementary 张量的线性组合：
$$v=\sum _{i=1}^m{v}_i^{(1)}\otimes \cdots \otimes v_i^{(d)}$$

注意到这里其实是没有组合系数的。

一个已知张量的最小子空间，它是一组空间。它是 $v\in {⨂}_{v=1}^d{U}_v$ 中，$U_{\nu }$ 的极小化。也就说，能够包住 $v$ 的最最小的空间分量。

一个二阶张量的秩，是最小的 $r$ 使得满足：
$$u=\sum _{i=1}^r{s}_i\otimes v_i$$

对于二阶张量，奇异值分解一般是这么写的：
$$u=\sum _{i=1}^n{\sigma }_i{s}_i\otimes v_i$$

对于高阶张量，它的 Canonical 秩就是二阶张量秩的推广，即最小的 $r$ 使得，
$$v=\sum _{i=1}^r{v}_i^{(1)}\otimes \cdots \otimes v_i^{(d)}$$
所谓的 $\alpha$ 值得是最小子空间的维数，$\alpha$ 表示索引，
$${\mathrm{rank}}_{\alpha }(v)=\dim \left(U_{\alpha }^{\min }(v)\right).$$

Tucker Rank 其实是一个向量，它是用最小子空间的维数来定义的。即一个具有 Tucker Rank $r={\left(r_{\nu }\right)}_{v\in D}$ 的张量集合，它满足在所有的指标集合里，对应的最小子空间的维数是限定的，即：
$${\mathcal{T}}_r=\left\{v\in X:{\mathrm{rank}}_v(v)=\dim \left(U_v{}^{\min }(v)\right)\le r_{\nu },v\in D\right\},$$
那么 Tucker 张量里面的一个元素就可以写成：
$$v=\sum _{i_1=1}^{r_1}\dots \sum _{i_d=1}^{r_d}{C}_{i_1,\dots ,i_d}{v}_{i_1}^{(1)}\otimes \cdots \otimes v_{i_d}^{(d)}$$

Tree-Based Rank 指的是，我们现在不限定单个的指标对应的分量最小子空间的维数，我们限定给定指标集的对应的张量分解空间的张成的空间的维数，即
$$\mathcal{B}{\mathcal{T}}_r=\left\{v\in X:{\mathrm{rank}}_{\alpha }(v)=\dim \left(U_{\alpha }^{\min }(v)\right)\le r_{\alpha },\alpha \in T_D\right\}.$$

注意到这里，一个指标集合，就给一个限定，有多少个指标集合，就给多少个限定。Tucker Rank 是它去每个指标集合单个指标的时候的特例。

TT（Tensor-train） Rank 也是 Tree-Based Rank 的一种特例。它取得指标集是有序的，从尾巴开始增长的一组指标集合，即
T T r = { v ∈ X : rank ⁡ { k + 1 , … , d } ( v ) ≤ r k } \mathscr{T} \mathscr{T}_{r}=\left\{v \in X: \operatorname{rank}_{\{k+1, \ldots, d\}}(v) \leq r_{k}\right\} TTr​={ v∈X:rank{ k+1,…,d}​(v)≤rk​}

下面简单介绍一下高阶奇异值分解（HOSVD）。给定一个指标集合 $\alpha$，可以把 vector 空间分为两部分。一般的截断 SVD 可以写为：
$u_{\alpha ,r_{\alpha }}={\sum }_{i=1}^{r_{\alpha }}{\sigma }_i^{(\alpha )}{u}_i^{(\alpha )}\otimes u_i^{\left({\alpha }^c\right)}$

HOSVD 在 Tucker 格式和 tree-based Tucker 格式，都是基于投影来实现的，具体就不说了。

参数化问题和传统的 POD 方法

假设我们求解的问题如下，
$${\mathbf{u}}_t=F(t,\mathbf{u},\mathbf{\alpha }),t\in (0,T),\text{ and }{\mathbf{u}|}_{t=0}={\mathbf{u}}_0$$
我们把这个问题的解一列一列地排成一个矩阵，叫做 snapshots，
$${\Phi }_{\text{pod }}(\mathbf{\alpha })=\left[{\mathbf{\varphi }}_1(\mathbf{\alpha }),\dots ,{\mathbf{\varphi }}_N(\mathbf{\alpha })\right]\in {\mathbb{R}}^{M\times N}$$
对 snapshots 矩阵做奇异值分解，
$${\Phi }_{\mathrm{pod}}(\mathbf{\alpha })={\mathrm{U\Sigma V}}^T$$
取前几个左奇异向量，作为子空间的一组基，我们叫做 POD 基。

参数动力系统高阶张量处理

现在我们来处理，假设上述的参数不是一个，而是有很多很多个，我们又应该如何做 SVD 分解，又应该如何得到 POD 基呢？

符号定义

我们不妨假设，上述的参数是位于一个高维的盒子里面，维数是 $D$，
$$\mathcal{A}=\underset{i=1}{\overset{D}{⨂}}\left[{\alpha }_i^{\min },{\alpha }_i^{\max }\right]$$
我们可以把这个高维的盒子在各个方向上都切上几刀，就得到了一些节点集合，
$$\hat{\mathcal{A}}=\left\{\hat{\mathbf{\alpha }}={\left({\hat{\alpha }}_1,\dots ,{\hat{\alpha }}_D\right)}^T:{\hat{\alpha }}_i\in {\left\{{\hat{\alpha }}_i^j\right\}}_{j=1,\dots ,n_i},i=1,\dots ,D\right\}$$
总的节点数目为，
$$K=\prod _{i=1}^D{n}_i$$
每一个点，就是一个参数，每一个参数，都可以做 snapshots 得到一个矩阵，这些所有矩阵想办法组织在一起，就形成了高阶张量，
$$(\mathbf{\Phi }{)}_{:,i_1,\dots ,i_D,k}={\mathbf{\varphi }}_k\left({\hat{\alpha }}_1^{i_1},\dots ,{\hat{\alpha }}_D^{i_D}\right)$$
张量的 Frobenius 范数的定义和矩阵是类似的定义方式，
$$\Vert \mathbf{\Phi }{\Vert }_F:={\left(\sum _{j=1}^M\sum _{i_1=1}^{n_1}\dots \sum _{i_D=1}^{n_D}\sum _{k=1}^N{\mathbf{\Phi }}_{j,i_1,\dots ,i_D,k}^2\right)}^{1/2}$$
在这个定义之下，我们要假设张量的低阶逼近 $\tilde{\mathbf{\Phi }}$ 要满足，
$$\Vert \tilde{\mathbf{\Phi }}-\mathbf{\Phi }{\Vert }_F\le \tilde{\epsilon }\Vert \mathbf{\Phi }{\Vert }_F$$
对于一个张量而言，我们可以定义某一个方向上的矩阵乘向量操作如下：
$${\left(\mathbf{\Psi }{\times }_k\mathbf{a}\right)}_{j_1,\dots ,j_{k-1},j_{k+1},\dots ,j_m}=\sum _{j_k=1}^{N_k}{\mathbf{\Psi }}_{j_1,\dots ,j_m}{a}_{j_k}$$

$ \times_{k}$ 表示在第 $k$ 个方向上做线性组合压缩。

我们可以定义类似于 one-hot 编码的算子 ${\mathbf{e}}^i(\hat{\mathbf{\alpha }})={\left(e_1^i(\hat{\mathbf{\alpha }}),\dots ,e_{n_i}^i(\hat{\mathbf{\alpha }})\right)}^T\in {\mathbb{R}}^{n_i},i=1,\dots ,D$ 为，
$$e_j^i(\hat{\mathbf{\alpha }})=\{\begin{array}{ll}1& \text{ if }{\hat{\alpha }}_i={\hat{\alpha }}_i^j\\ 0& \text{ otherwise }\end{array},j=1,\dots ,n_i$$
事实上，${\mathbf{e}}^i$ 表示的是，对于$\hat{\mathbf{\alpha }}={\left({\hat{\alpha }}_1,\dots ,{\hat{\alpha }}_D\right)}^T$ 的第 $i$ 个维度，它的取值是第几个，那么 ${\mathbf{e}}^i$ 的第几个位置就为 1 ，其他为零。
有了上面的符号定义，我们就可以提取每个参数节点上的 snapshot 如下所示：
$${\Phi }_e(\hat{\mathbf{\alpha }})=\mathbf{\Phi }{\times }_2{\mathbf{e}}^1(\hat{\mathbf{\alpha }}){\times }_3{\mathbf{e}}^2(\hat{\mathbf{\alpha }})\cdots {\times }_{D+1}{\mathbf{e}}^D(\hat{\mathbf{\alpha }})\in {\mathbb{R}}^{M\times N}$$
同样地，对于逼近张量，我们也可以用相同的方式进行提取，
$${\tilde{\Phi }}_e(\hat{\mathbf{\alpha }})=\tilde{\mathbf{\Phi }}{\times }_2{\mathbf{e}}^1(\hat{\mathbf{\alpha }}){\times }_3{\mathbf{e}}^2(\hat{\mathbf{\alpha }})\cdots {\times }_{D+1}{\mathbf{e}}^D(\hat{\mathbf{\alpha }})\in {\mathbb{R}}^{M\times N}$$
若 $\tilde{N}=\mathrm{rank}\left({\tilde{\Phi }}_e(\hat{\mathbf{\alpha }})\right)$，我们有如下估计式成立，
$$\sum _{i=1}^N{\Vert {\varphi }_i-\sum _{j=1}^{\tilde{N}}⟨{\varphi }_i,{\mathbf{z}}_j⟩{\mathbf{z}}_j\Vert }_{{\ell }^2}^2\le {\tilde{\epsilon }}^2\Vert \mathbf{\Phi }{\Vert }_F^2$$

类似于上面 ${\mathbf{e}}^i$ 的定义方式，我们也可以将其定义为参数盒子第 $i$ 个维度上的拉格朗日插值节点基函数，
$${\mathbf{e}}^i:\mathbf{\alpha }\to {\mathbb{R}}^{n_i},i=1,\dots ,D$$
e j i ( α ) = { ∏ m = 1 , m ≠ k p ( α ^ i i m − α i ) / ∏ m = 1 , m ≠ k p ( α ^ i i m − α ^ i j ) ,  if  j = i k ∈ { i 1 , … , i p } , 0 ,  otherwise  , e_{j}^{i}(\boldsymbol{\alpha})= \begin{cases}\prod_{\substack{m=1, m \neq k}}^{p}\left(\widehat{\alpha}_{i}^{i_{m}}-\alpha_{i}\right) / \prod_{\substack{m=1, m \neq k}}^{p}\left(\widehat{\alpha}_{i}^{i_{m}}-\widehat{\alpha}_{i}^{j}\right), & \text { if } j=i_{k} \in\left\{i_{1}, \ldots, i_{p}\right\}, \\ 0, & \text { otherwise },\end{cases} eji​(α)={ ∏m=1,m=k​p​(α iim​​−αi​)/∏m=1,m=k​p​(α iim​​−α ij​),0,​ if j=ik​∈{ i1​,…,ip​}, otherwise ,​
由多项式插值的定义，我们就可以讲一个函数在一个插值节点上进行插值如下，
$$g\left({\alpha }_i\right)\approx \sum _{j=1}^{n_i}{e}_j^i(\mathbf{\alpha })g\left({\hat{\alpha }}_i^j\right),i=1,\dots ,D$$
在这些定义之下，对于高维张量，我们就可以通过插值的方式，把参数对应的那些维度抹成一个量，这个量是个函数，
$${\tilde{\Phi }}_e(\mathbf{\alpha })=\tilde{\mathbf{\Phi }}{\times }_2{\mathbf{e}}^1(\mathbf{\alpha }){\times }_3{\mathbf{e}}^2(\mathbf{\alpha })\cdots {\times }_{D+1}{\mathbf{e}}^D(\mathbf{\alpha })\in {\mathbb{R}}^{M\times N}$$
当然，如果我们对参数盒子，只是在每个维度上进行部分地踩点，譬如，
A ^ p : = { α ^ = ( α ^ 1 , … , α ^ D ) T : α ^ i ∈ { α ^ i j } j ∈ { i 1 , … , i p } , i = 1 , … , D } ⊂ A ^ \widehat{\mathcal{A}}_{p}:=\left\{\widehat{\boldsymbol{\alpha}}=\left(\widehat{\alpha}_{1}, \ldots, \widehat{\alpha}_{D}\right)^{T}: \widehat{\alpha}_{i} \in\left\{\widehat{\alpha}_{i}^{j}\right\}_{j \in\left\{i_{1}, \ldots, i_{p}\right\}}, i=1, \ldots, D\right\} \subset \widehat{\mathcal{A}} A p​:={ α =(α 1​,…,α D​)T:α i​∈{ α ij​}j∈{ i1​,…,ip​}​,i=1,…,D}⊂A
也可以有类似的结果。具有这些准备之后，下面我来介绍一下三种格式之下的 POD 基的选取做法。不再赘述，只力图把算法清楚，以能够编程为目标。事实上，这三种方式的核心思想都是一样的，即我们先对张量快照进行某些方式下的张量分解，然后对参数部分的元张量做插值，得到中心矩阵，最后对中心矩阵做奇异值分解。选取分解后左奇异向量的前$n$ 个。

CP-TROM

canonical polyadic （CP）分解是最基本的一个张量分解方式。这种分解表述下的张量逼近，简单来说是如下一个过程。

离线阶段：
首先，我们肯定是通过一些传统的数值方法求解问题，得到解的一个张量式的 snapshots（为了中化，下面不妨就叫做快照）。对于这个快照张量，给定目标 canonical 秩 $R$，我们使用使用交替最小二乘法算法（ALS）去得到它的低秩 CP 分解，
$$\mathbf{\Phi }\approx \tilde{\mathbf{\Phi }}=\sum _{r=1}^R{\mathbf{u}}^r\circ {\mathbf{\sigma }}_1^r\circ \cdots \circ {\mathbf{\sigma }}_D^r\circ {\mathbf{v}}^r$$

ALS 算法参考：Harshman R A. Foundations of the PARAFAC procedure: Models and conditions for an" explanatory" multimodal factor analysis[J]. 1970.

其次，我们把得到的分解的 ${\mathbf{u}}^r$ 和 ${\mathbf{V}}^r$ 按列拼接成两个矩阵，
$$\hat{\mathrm{U}}=\left[{\mathbf{u}}^1,\dots ,{\mathbf{u}}^R\right]\in {\mathbb{R}}^{M\times R},\hat{\mathrm{V}}=\left[{\mathbf{v}}^1,\dots ,{\mathbf{v}}^R\right]\in {\mathbb{R}}^{N\times R}$$
最后，我们把得到的这两个矩阵分别做 QR 分解，
$$\hat{\mathrm{U}}={\mathrm{UR}}_U,\hat{\mathrm{V}}={\mathrm{VR}}_V$$

在线阶段：
指定一个约化空间维数 $n\le R$，以及给定一组参数向量 $\alpha \in \mathcal{A}$。
首先，我们可以把张量在各个维度上在点 $\alpha \in \mathcal{A}$ 处做插值，对于 CP 分解来说，事实上就是各个维度上的节点基函数在 $\alpha \in \mathcal{A}$ 取值，并和 elementary 张量做内积，变成一些数并做积，即
$${\tilde{\Phi }}_e(\mathbf{\alpha })=\sum _{r=1}^R{s}_r{\mathbf{u}}^r\circ {\mathbf{v}}^r\in {\mathbb{R}}^{M\times N},\text{ with }{s}_r=\prod _{i=1}^D⟨{\mathbf{\sigma }}_i^r,{\mathbf{e}}^i(\mathbf{\alpha })⟩\in \mathbb{R}$$
其次，把这些 $s_r$ 张成对角阵 $\mathrm{S}(\mathbf{\alpha })=\mathrm{diag}\left(s_1,\dots ,s_R\right)$，并构造 core Matrix 如下，
$$\mathrm{C}(\mathbf{\alpha })={\mathrm{R}}_U\mathrm{S}(\mathbf{\alpha }){\mathrm{R}}_V^T$$
接着，对 core Matrix 做奇异值分解，
$$\mathrm{C}(\mathbf{\alpha })={\mathrm{U}}_c{\Sigma }_c{\mathrm{V}}_c^T$$
最后，我们就得到了这个在线参数下的奇异值分解，
$${\tilde{\Phi }}_e(\mathbf{\alpha })=\mathrm{UC}(\mathbf{\alpha }){\mathrm{V}}^T=\left({\mathrm{UU}}_c\right){\Sigma }_c{\left({\mathrm{VV}}_c\right)}^T$$
那么， { β i ( α ) } i = 1 n ⊂ R R \left\{\boldsymbol{\beta}_{i}(\boldsymbol{\alpha})\right\}_{i=1}^{n} \subset \mathbb{R}^{R} { βi​(α)}i=1n​⊂RR 就可以直接取为 ${\mathrm{U}}_c$ 的前 $n$ 列。

HOSVD-TROM

高阶奇异值分解（higher order SVD ，HOSVD）比起 CP 分解，能有一个保证极小的性质。即满足，
$$\Vert \mathbf{\Phi }-\tilde{\mathbf{\Phi }}\Vert \le \sqrt{D+2}\Vert \mathbf{\Phi }-{\mathbf{\Phi }}^{\mathrm{opt}}\Vert \text{ and }\Vert \mathbf{\Phi }-\tilde{\mathbf{\Phi }}\Vert \le {\left(\sum _{i=1}^{D+1}{\Delta }_i^2\right)}^{\frac{1}{2}}$$
离线阶段：
我们给定张量的快照和目标的精度 $\tilde{\epsilon }$。
离线阶段就是计算 HOSVD 分解，得到分解矩阵和系数（core tensor），可以用的算法有很多，比如：
De Lathauwer L, De Moor B, Vandewalle J. A multilinear singular value decomposition[J]. SIAM journal on Matrix Analysis and Applications, 2000, 21(4): 1253-1278.

把得到的分量都拼一拼，
$$\begin{array}{rl}\mathrm{U}& =\left[{\mathbf{u}}^1,\dots ,{\mathbf{u}}^{\tilde{M}}\right]\in {\mathbb{R}}^{M\times \tilde{M}},\mathrm{V}=\left[{\mathbf{v}}^1,\dots ,{\mathbf{v}}^{\tilde{N}}\right]\in {\mathbb{R}}^{N\times \tilde{N}},\\ {\mathrm{S}}_i& ={\left[{\mathbf{\sigma }}_i^1,\dots ,{\mathbf{\sigma }}_i^{{\tilde{n}}_i}\right]}^T\in {\mathbb{R}}^{{\tilde{n}}_i\times n_i},i=1,\dots ,D.\end{array}$$

注意，这里的 ${\mathrm{S}}_i$ 表达有个转置。

在线阶段：
给定约化后的空间维数 n ≤ min ⁡ { M ~ , N ~ } n \leq \min \{\widetilde{M}, \widetilde{N}\} n≤min{ M ,N }，和在线参数 $\mathbf{\alpha }\in \mathcal{A}$。
首先，和 CP 一样，依然对参数分量进行某种插值表达，得到 core Matrix（下称中心矩阵），
$${\mathrm{C}}_e(\mathbf{\alpha })=\mathbf{C}{\times }_2\left({\mathrm{S}}_1{\mathrm{e}}^1(\mathbf{\alpha })\right){\times }_3\left({\mathrm{S}}_2{\mathrm{e}}^2(\mathbf{\alpha })\right)\cdots {\times }_{D+1}\left({\mathrm{S}}_D{\mathbf{e}}^D(\mathbf{\alpha })\right)\in {\mathbb{R}}^{\tilde{M}\times \tilde{N}}$$
那么事实上，
$${\tilde{\Phi }}_e(\mathbf{\alpha })={\mathrm{UC}}_e(\mathbf{\alpha }){\mathrm{V}}^T$$
其次，对中心矩阵做 SVD 分解，
$${\mathrm{C}}_e(\mathbf{\alpha })={\mathrm{U}}_c{\Sigma }_c{\mathrm{V}}_c^T$$
最后，就得到参数维度插值逼近后矩阵的正交分解（$\mathrm{U}$ 和 $\mathrm{V}$ 一开始就是正交的，不用管），
$${\tilde{\Phi }}_e(\mathbf{\alpha })=\left({\mathrm{UU}}_c\right){\Sigma }_c{\left({\mathrm{VV}}_c\right)}^T$$
这时，令 { β i ( α ) } i = 1 n ⊂ R M ~ \left\{\boldsymbol{\beta}_{i}(\boldsymbol{\alpha})\right\}_{i=1}^{n} \subset\mathbb{R}^{\widetilde{M}} { βi​(α)}i=1n​⊂RM 是 ${\mathrm{U}}_c$ 的前面 $n$ 列就可以了。

TT-TROM

Tensor Train 分解是一种特殊的 tree-based 的分解。

离线阶段：
给定快照张量和目标精度。
使用论文
Oseledets I V. Tensor-train decomposition[J]. SIAM Journal on Scientific Computing, 2011, 33(5): 2295-2317.
提到的算法，对于给定的目标精度，做张量快照的 TT 分解，
$$\mathbf{\Phi }\approx \tilde{\mathbf{\Phi }}=\sum _{j_1=1}^{{\tilde{r}}_1}\cdots \sum _{j_{D+1}=1}^{{\tilde{r}}_{D+1}}{\mathbf{u}}^{j_1}\circ {\mathbf{\sigma }}_1^{j_1,j_2}\circ \cdots \circ {\mathbf{\sigma }}_D^{j_D,j_{D+1}}\circ {\mathbf{v}}^{j_{D+1}}$$
依然对得到的量做一些拼接，
$$\mathrm{U}=\left[{\mathbf{u}}^1,\dots ,{\mathbf{u}}^{{\tilde{r}}_1}\right]\in {\mathbb{R}}^{M\times {\tilde{r}}_1},\mathrm{V}=\left[{\mathbf{v}}^1,\dots ,{\mathbf{v}}^{{\tilde{r}}_{D+1}}\right]\in {\mathbb{R}}^{N\times {\tilde{r}}_{D+1}}$$
$${\left({\mathbf{S}}_i\right)}_{jkq}={\left({\mathbf{\sigma }}_i^{jq}\right)}_k,j=1,\dots ,{\tilde{r}}_i,k=1,\dots ,n_i,q=1,\dots ,{\tilde{r}}_{i+1}$$
注意这里的每一个参数分量，都可以拼接成一个三维的 tensor。

另外，对 $\mathrm{V}$ 取模放对角线上，构造一个量，
$${\mathrm{W}}_c=\mathrm{diag}\left(\Vert {\mathbf{v}}^1\Vert ,\dots ,\Vert {\mathbf{v}}^{{\tilde{r}}_{D+1}}\Vert \right)\in {\mathbb{R}}^{{\tilde{r}}_{D+1}\times {\tilde{r}}_{D+1}}$$

在线阶段：
给定约化空间的维数和在线的一组参数。
第一步，对参数张量进行插值，并做连乘得到得到中心矩阵：
$${\mathrm{C}}_e(\mathbf{\alpha })=\prod _{i=1}^D\left({\mathbf{S}}_i{\times }_2{\mathbf{e}}^i(\mathbf{\alpha })\right)$$
则
$${\tilde{\Phi }}_e(\mathbf{\alpha })={\mathrm{UC}}_e(\mathbf{\alpha }){\mathrm{V}}^T$$
第二步，对缩放过的中心矩阵做奇异值分解：
$${\mathrm{C}}_e(\mathbf{\alpha }){\mathrm{W}}_c={\mathrm{U}}_c{\Sigma }_c{\mathrm{V}}_c^T$$
第三步，得到插值后矩阵的奇异值分解：
$${\tilde{\Phi }}_e(\mathbf{\alpha })={\mathrm{UC}}_e(\mathbf{\alpha }){\mathrm{W}}_c{\mathrm{W}}_c^{-1}{\mathrm{V}}^T=\left({\mathrm{UU}}_c\right){\Sigma }_c{\left({\mathrm{VW}}_c^{-1}{\mathrm{V}}_c\right)}^T.$$
第四步，POD 即便取决于 { β i ( α ) } i = 1 n ⊂ R r ~ 1 \left\{\boldsymbol{\beta}_{i}(\boldsymbol{\alpha})\right\}_{i=1}^{n} \subset \mathbb{R}^{\tilde{r}_{1}} { βi​(α)}i=1n​⊂Rr~1​，它为 ${\mathrm{U}}_c$ 的前 $n$ 列。

一般参数采样

上述的方法都是在给定了网格 based 的参数空间快照，并不十分经济，并且当参数区域不是盒子的时候，会有麻烦。这种情况下，我们可以在线参数表示为已有参数的线性组合，
$$\mathbf{\alpha }=\sum _{j=1}^K{a}_j{\hat{\mathbf{\alpha }}}_j,\mathbf{e}(\mathbf{\alpha })={\left(a_1,\dots ,a_K\right)}^T$$
$\mathbf{e}$ 是提取系数的，
$$\mathbf{e}:\mathbf{\alpha }\to {\mathbb{R}}^K$$
我们假定对光滑的函数满足某种线性性，
$$g(\mathbf{\alpha })\approx \sum _{j=1}^K{a}_{j}g\left({\hat{\mathbf{\alpha }}}_j\right)$$
那么，对于每个离线参数，我们可以构造三阶张量，
$$(\mathbf{\Phi }{)}_{ijk}=u_i\left(t_k,{\hat{\mathbf{\alpha }}}_j\right),i=1,\dots ,M,j=1,\dots ,K,k=1,\dots ,N$$
那么，新来一个参数，它可以表示为已有参数的线性组合。对应快照刚好是已有快照的线性组合：
$${\tilde{\Phi }}_e(\mathbf{\alpha })=\tilde{\mathbf{\Phi }}{\times }_2\mathbf{e}(\mathbf{\alpha })$$

这合理吗？

简单地说，$\mathbf{e}(\mathbf{\alpha })$ 从原来的插值函数变成了线性组合函数，别的 CP、HOSVD、TT ，是一样地做。

参考文献

1、Model reduction and approximation: theory and algorithms[M]. Society for Industrial and Applied Mathematics, 2017.
2、Mamonov A V, Olshanskii M A. Interpolatory tensorial reduced order models for parametric dynamical systems[J]. Computer Methods in Applied Mechanics and Engineering, 2022, 397: 115122.