网站建设优化服务案例,三合一网站程序,网站建设每年有维护费吗,电商平台链接怎么弄谱域图卷积 卷积 卷积定义离散空间的卷积 图卷积简介 卷积定理谱域图卷积实现思路如何定义图上的傅里叶变换拉普拉斯矩阵 #xff08;Laplacian Matrix#xff09;拉普拉斯矩阵的性质拉普拉斯矩阵的谱分解拉普拉斯矩阵与拉普拉斯算子 图傅里叶变换 图上的信号表示经典傅里叶变…谱域图卷积 卷积 卷积定义离散空间的卷积 图卷积简介 卷积定理谱域图卷积实现思路如何定义图上的傅里叶变换拉普拉斯矩阵 Laplacian Matrix拉普拉斯矩阵的性质拉普拉斯矩阵的谱分解拉普拉斯矩阵与拉普拉斯算子 图傅里叶变换 图上的信号表示经典傅里叶变换特征向量基的性质 总结三个经典图谱卷积模型 SCNNChebNetGCN
谱域图卷积
卷积
卷积定义
卷积是分析数学中一种重要的运算设 f ( x ) f(x) f(x) 和 g ( x ) g(x) g(x) 是 R \mathbb{R} R 上的可积函数连续形式的卷积定义如下 ∫ − ∞ ∞ f ( τ ) g ( x − τ ) d τ (1) \int_{-\infin} ^{\infin} f(\tau) g(x - \tau) d\tau {\tag{1}} ∫−∞∞f(τ)g(x−τ)dτ(1)
不同的函数和不同的卷积核可以的到不同的卷积结果。
离散空间的卷积 y n x ∗ w ∑ k 1 k w k x n − k (2) y_n x * w \sum_{k1}^k w_k x_{n-k} \tag{2} ynx∗wk1∑kwkxn−k(2)
图卷积简介
经典卷积网络无法处理图结构数据。目前图卷积实现思路
谱域图卷积空域图卷积
卷积定理
两个信号在空域的卷积的傅里叶变换等于两个信号在频域中的傅里叶变换的点乘点乘element-wise multiplication是指对两个矩阵、向量或序列中的相应元素进行相乘运算。即 F [ f 1 ( t ) ⋆ f 2 ( t ) ] F 1 ( w ) . F 2 ( w ) (3) \mathcal{F} [f_1(t)\star f_2(t)] F_1(w) . F_2(w) \tag{3} F[f1(t)⋆f2(t)]F1(w).F2(w)(3) f 1 ( t ) f_1(t) f1(t) 和 f 2 ( t ) f_2(t) f2(t) 是空域的两个信号 F 1 ( w ) F_1(w) F1(w) 和 F 2 ( w ) F_2(w) F2(w) 是频域的两个信号 ⋆ \star ⋆ 表示卷积操作 F \mathcal{F} F 表示傅里叶变换$. $ 表示乘积操作
也可以写成 f 1 ( t ) ⋆ f 2 ( t ) F − 1 [ F 1 ( w ) . F 2 ( w ) ] (4) f_1(t)\star f_2(t) \mathcal{F}^{-1} [F_1(w) . F_2(w)] \tag{4} f1(t)⋆f2(t)F−1[F1(w).F2(w)](4) F − 1 \mathcal{F}^{-1} F−1 表示傅里叶逆变换
谱域图卷积实现思路
将图信号 x x x 和卷积核 w w w 做傅里叶变换得到频域信号 X X X 和 W W W将频域信号 X X X 和 W W W 做乘积操作得到频域信号 Y Y Y将频域信号 Y Y Y 做傅里叶逆变换得到图信号 y y y y y y 即为图信号 x x x 和卷积核 w w w 卷积的结果
如何定义图上的傅里叶变换
基于图谱理论图上的傅里叶变换使用图傅里叶变换Graph Fourier TransformGFT来定义。GFT 的定义如下 F G ( x ) U T x (5) \mathcal{F}_G(x) U^T x \tag{5} FG(x)UTx(5) x x x 是图信号 U U U 是图的特征向量矩阵
写成分量求和的形式为 x ( i ) ∑ k 1 N u l ( i ) x ^ ( λ l ) (6) x(i) \sum_{k1}^N u_l(i)\hat{x}(\lambda_l) \tag{6} x(i)k1∑Nul(i)x^(λl)(6) x ( i ) x(i) x(i) 表示图信号 x x x 在节点 i i i 处的值 u l ( i ) u_l(i) ul(i) 表示图的特征向量矩阵 U U U 的第 l l l 列的第 i i i 个元素 x ^ ( λ l ) \hat{x}(\lambda_l) x^(λl) 表示图信号 x x x 在特征值 λ l \lambda_l λl 处的值
拉普拉斯矩阵 Laplacian Matrix
拉普拉斯矩阵是图信号处理中的一个重要概念它是图信号的频域表示。拉普拉斯矩阵的定义如下 L D − A (7) L D - A \tag{7} LD−A(7) D D D 是度矩阵 D i i ∑ j A i j D_{ii} \sum_j A_{ij} Dii∑jAij A A A 是邻接矩阵 A i j 1 A_{ij} 1 Aij1 表示节点 i i i 和节点 j j j 之间有边否则 A i j 0 A_{ij} 0 Aij0 L L L 是拉普拉斯矩阵否则 L i j 0 L_{ij} 0 Lij0$。
拉普拉斯矩阵计算示例 L i j − 1 L_{ij} -1 Lij−1 表示节点 i i i 和节点 j j j 之间有边 L i i D i i L_{ii} D_{ii} LiiDii 拉普拉斯对角线值等于度矩阵对角线值 L i j 0 L_{ij} 0 Lij0 表示节点 i i i 和节点 j j j 之间没有边
拉普拉斯矩阵的性质
拉普拉斯矩阵是半正定矩阵即 x T L x ≥ 0 x^T L x \geq 0 xTLx≥0其中 x x x 是任意向量。证明过程 x T L x x T D x − x T A x ∑ i 1 N d i x i 2 − ∑ i , j 1 N a i j x i x j 1 2 ∑ i , j 1 N a i j ( x i − x j ) 2 ≥ 0 (8) x^T L x x^T D x - x^T A x \sum_{i1}^N d_i x_i^2 - \sum_{i,j1}^N a_{ij} x_i x_j \frac{1}{2} \sum_{i,j1}^N a_{ij} (x_i - x_j)^2 \geq 0 \tag{8} xTLxxTDx−xTAxi1∑Ndixi2−i,j1∑Naijxixj21i,j1∑Naij(xi−xj)2≥0(8)
n 阶对称矩阵一定有 n 个线性无关的实特征值对称矩阵的不同特征值对应的特征向量相互正交这些拯救的特征向量构成的矩阵为正交矩阵拉普拉斯矩阵的特征值都是非负的且至少有一个特征值为 0拉普拉斯矩阵的特征值为 0 的特征向量对应的是图的连通分量的个数即 L L L 的零特征值的个数等于图的连通分量的个数。
拉普拉斯矩阵的谱分解
特征分解(Eigen decomposition),又称为谱分解(Spectral decomposition)是线性代数中的一个分解将一个矩阵分解为特征向量和特征值的形式。拉普拉斯矩阵的谱分解如下 L U Λ U T (9) L U \Lambda U^T \tag{9} LUΛUT(9) U U U 是拉普拉斯矩阵的特征向量矩阵 Λ \Lambda Λ 是拉普拉斯矩阵的特征值矩阵 U T U^T UT 是 U U U 的转置矩阵
对拉普拉斯谱分解后n阶对称矩阵一定有n个线性无关的特征向量相互正交这些正交的特征向量构成的矩阵为正交矩阵。因此拉普拉斯矩阵的特征向量矩阵 U U U 是正交矩阵即 U T U I U^T U I UTUI其中 I I I 是单位矩阵。
拉普拉斯矩阵与拉普拉斯算子
拉普拉斯矩阵与拉普拉斯算子是两个不同的概念但是它们之间有一定的联系。拉普拉斯算子的定义如下 Δ f ∇ ⋅ ∇ f ∑ i 1 n ∂ 2 f ∂ x i 2 (10) \Delta f \nabla \cdot \nabla f \sum_{i1}^n \frac{\partial^2 f}{\partial x_i^2} \tag{10} Δf∇⋅∇fi1∑n∂xi2∂2f(10) ∇ \nabla ∇ 是梯度算子 ∇ ⋅ \nabla \cdot ∇⋅ 是散度算子 Δ \Delta Δ 是拉普拉斯算子 f f f 是函数 x i x_i xi 是第 i i i 个自变量 n n n 是自变量的个数 ∂ 2 f ∂ x i 2 \frac{\partial^2 f}{\partial x_i^2} ∂xi2∂2f 是函数 f f f 对自变量 x i x_i xi 的二阶偏导数 ∑ i 1 n ∂ 2 f ∂ x i 2 \sum_{i1}^n \frac{\partial^2 f}{\partial x_i^2} ∑i1n∂xi2∂2f 是函数 f f f 对所有自变量的二阶偏导数之和 Δ f \Delta f Δf 是函数 f f f 的拉普拉斯算子
图信号的拉普拉斯算子的定义如下 Δ G f U Δ f U ∇ ⋅ ∇ f U ∑ i 1 n ∂ 2 f ∂ x i 2 (11) \Delta_G f U \Delta f U \nabla \cdot \nabla f U \sum_{i1}^n \frac{\partial^2 f}{\partial x_i^2} \tag{11} ΔGfUΔfU∇⋅∇fUi1∑n∂xi2∂2f(11) Δ G f \Delta_G f ΔGf 是图信号 f f f 的拉普拉斯算子 U U U 是拉普拉斯矩阵的特征向量矩阵 Δ f \Delta f Δf 是函数 f f f 的拉普拉斯算子 ∇ ⋅ ∇ f \nabla \cdot \nabla f ∇⋅∇f 是函数 f f f 的拉普拉斯算子
对以上的公式如何得到呢对于二维图像的拉普拉斯算子我们可以将其写成如下的形式 Δ f ∂ 2 f ∂ x 2 ∂ 2 f ∂ y 2 (12) \Delta f \frac{\partial^2 f}{\partial x^2} \frac{\partial^2 f}{\partial y^2} \tag{12} Δf∂x2∂2f∂y2∂2f(12) 离散形式的拉普拉斯算子可以写成如下的形式 Δ f ∂ 2 f ∂ x 2 ∂ 2 f ∂ y 2 f ( x 1 , y ) f ( x − 1 , y ) − 2 f ( x , y ) h 2 f ( x , y 1 ) f ( x , y − 1 ) − 2 f ( x , y ) h 2 (13) \Delta f \frac{\partial^2 f}{\partial x^2} \frac{\partial^2 f}{\partial y^2} \frac{f(x1,y) f(x-1,y) - 2f(x,y)}{h^2} \frac{f(x,y1) f(x,y-1) - 2f(x,y)}{h^2} \tag{13} Δf∂x2∂2f∂y2∂2fh2f(x1,y)f(x−1,y)−2f(x,y)h2f(x,y1)f(x,y−1)−2f(x,y)(13) 其中 h h h 是步长。将上式写成矩阵形式 Δ f 1 h 2 [ 0 1 0 1 − 4 1 0 1 0 ] [ f ( x − 1 , y ) f ( x , y ) f ( x 1 , y ) ] 1 h 2 [ 0 1 0 1 − 4 1 0 1 0 ] [ f ( x , y − 1 ) f ( x , y ) f ( x , y 1 ) ] (14) \Delta f \frac{1}{h^2} \begin{bmatrix} 0 1 0 \\ 1 -4 1 \\ 0 1 0 \end{bmatrix} \begin{bmatrix} f(x-1,y) \\ f(x,y) \\ f(x1,y) \end{bmatrix} \frac{1}{h^2} \begin{bmatrix} 0 1 0 \\ 1 -4 1 \\ 0 1 0 \end{bmatrix} \begin{bmatrix} f(x,y-1) \\ f(x,y) \\ f(x,y1) \end{bmatrix} \tag{14} Δfh21 0101−41010 f(x−1,y)f(x,y)f(x1,y) h21 0101−41010 f(x,y−1)f(x,y)f(x,y1) (14)
我们这里令 h 1将上式写成矩阵卷积形式 Δ f ( x ) [ 0 1 0 1 − 4 1 0 1 0 ] ⋆ f ( x ) (16) \Delta f(x) \begin{bmatrix} 0 1 0 \\ 1 -4 1 \\ 0 1 0 \end{bmatrix} \star f(x) \tag{16} Δf(x) 0101−41010 ⋆f(x)(16) 可以看出二维图像的拉普拉斯算子等于周围节点和自身节点的差值的和。对于图信号的拉普拉斯算子节点的拉普拉斯算子可以定义为与其相连节点与自身节点的差值的和我们可以将其写成如下的形式 Δ G f ∑ j 1 N A i j ( f i − f j ) ∑ j 1 N A i j f i − ∑ j 1 N A i j f j ∑ j 1 N A i j f i − ∑ j 1 N A j i f j (17) \Delta_G f \sum_{j1}^N A_{ij} (f_i - f_j) \sum_{j1}^N A_{ij} f_i - \sum_{j1}^N A_{ij} f_j \sum_{j1}^N A_{ij} f_i - \sum_{j1}^N A_{ji} f_j \tag{17} ΔGfj1∑NAij(fi−fj)j1∑NAijfi−j1∑NAijfjj1∑NAijfi−j1∑NAjifj(17) A i j A_{ij} Aij 表示节点 i i i 和节点 j j j 之间的边的权重 ( f i − f j ) (f_i - f_j) (fi−fj) 表示节点 i i i 和节点 j j j 之间的差值
写成矩阵形式有 Δ G f [ Δ f 1 Δ f 2 ⋮ Δ f N ] [ A 11 f 1 − ∑ j 1 N A 1 i f j ⋮ A n n f n − ∑ j 1 N A N i f j ] D f − A f L f (18) \begin{aligned} \Delta_G f \begin{bmatrix} \Delta f_1 \\ \Delta f_2 \\ \vdots \\ \Delta f_N \end{bmatrix} \begin{bmatrix} A_{11}f_1 - \sum_{j1}^N A_{1i} f_j \\ \vdots \\ A_{nn}f_n - \sum_{j1}^N A_{Ni} f_j \\ \end{bmatrix} Df - Af Lf\tag{18} \end{aligned} ΔGf Δf1Δf2⋮ΔfN A11f1−∑j1NA1ifj⋮Annfn−∑j1NANifj Df−AfLf(18) L L L 为拉普拉斯矩阵对信号 f f f 左乘一个 拉普拉斯矩阵可以得到信号 f f f的拉普拉斯算子。
图傅里叶变换
图上的信号表示
图上的信号一般表达为一个向量。假设有n个节点。图上的信号记为 x [ x 1 x 2 ⋮ x n ] (19) x \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} \tag{19} x x1x2⋮xn (19) x i ∈ R x_i \in \mathbb{R} xi∈R 表示节点 i i i 上的信号.
经典傅里叶变换
经典傅里叶变换的定义如下 傅里叶变换公式如下 X ( ω ) ∫ − ∞ ∞ x ( t ) e − j ω t d t (20) X(\omega) \int_{-\infin}^{\infin} x(t) e^{-j \omega t} dt \tag{20} X(ω)∫−∞∞x(t)e−jωtdt(20) 离散傅里叶变换公式如下 X ( ω ) ∑ n 0 N − 1 x ( n ) e − j ω n (21) X(\omega) \sum_{n0}^{N-1} x(n) e^{-j \omega n} \tag{21} X(ω)n0∑N−1x(n)e−jωn(21)
经典傅里叶变换是将一个函数表示成了一个若干个正交基函数的线性组合。对于图上的信号如果要进行一个傅里叶变换很自然的我们想到我们也要找到一组正交基通过这组正交基的线性组合来表达 图上的信号。
矩阵形式为 x U x ^ (23) x U \hat{x} \tag{23} xUx^(23) x x x 表示图上的信号 U U U 表示图的特征向量矩阵 x ^ \hat{x} x^ 表示图信号 x x x 的傅里叶系数
如何求 x ^ \hat{x} x^ 呢我们可以将上式两边同时左乘 U T U^T UT得到 U T x U T U x ^ I x ^ x ^ (24) U^T x U^T U \hat{x} I \hat{x} \hat{x} \tag{24} UTxUTUx^Ix^x^(24) I I I 表示单位矩阵 x ^ \hat{x} x^ 表示图信号 x x x 的傅里叶系数 U U U 表示图的特征向量矩阵 x x x 表示图上的信号 U T U^T UT 表示 U U U 的转置矩阵
因此我们可以得到 x ^ U T x (25) \hat{x} U^T x \tag{25} x^UTx(25) x ^ \hat{x} x^ 表示图信号 x x x 的傅里叶系数 U U U 表示图的特征向量矩阵 x x x 表示图上的信号 U T U^T UT 表示 U U U 的转置矩阵 x ^ \hat{x} x^ 表示图信号 x x x 的傅里叶系数
特征向量基的性质
拉普拉斯矩阵的特征值担任了和频率类似的位置。 特征值越大对应的特征向量的频率越高。特征值越小对应的特征向量的频率越低。特征值为 0 的特征向量对应的是图的连通分量的个数即 L L L 的零特征值的个数等于图的连通分量的个数。 拉普拉斯矩阵的特征向量担任了基函数的位置。 0特征值对应一个常数特征向量这个和傅里叶变换中的常数项类似。低特征值对应的特征向量比较平滑高特征值对应的特征向量变换比较剧烈。两者对应于低频基函数和高频基函数。
如何理解这两个结论呢 我们使用图拉普拉斯的二次型(graph Laplacian quadratic form) 来定义信号的平滑程度。其表示有边相连的两个节点信号的平方差乘以权重的求和其值越小代表 越平滑 x ⊤ L x 1 2 ∑ i , j 1 N A i j ( x i − x j ) 2 (28) x^{\top} L x \frac{1}{2}\sum_{i,j1}^N A_{ij} (x_i - x_j)^2 \tag{28} x⊤Lx21i,j1∑NAij(xi−xj)2(28)
又因为 x ⊤ L x x ⊤ U Λ U ⊤ x x ^ ⊤ Λ x ^ ∑ k 1 N λ k x ^ 2 ( λ k ) (29) x^{\top} L x x^{\top} U \Lambda U^{\top} x \hat{x}^{\top} \Lambda \hat{x} \sum_{k1}^N \lambda_k \hat{x}^2(\lambda_k) \tag{29} x⊤Lxx⊤UΛU⊤xx^⊤Λx^k1∑Nλkx^2(λk)(29) 所以对应特征值越小对应的特征向量越平滑。
总结
利用图傅里叶变换可以将定义在图节点上的信号 x ∈ R n x\in\mathbb{R}^n x∈Rn 从空间域转换到谱域。
空间域到谱域的变换 x → x ^ U T x x\rightarrow \hat{x} U^T x x→x^UTx谱域到空间域的变换 x ^ → x U x ^ \hat{x} \rightarrow x U \hat{x} x^→xUx^其中 L U Λ U − 1 L U \Lambda U^{-1} LUΛU−1
卷积定理
空间域的卷积定理 x ⋆ h → X ( ω ) H ( ω ) x\star h \rightarrow X(\omega) H(\omega) x⋆h→X(ω)H(ω) x ⋆ g F − 1 ⊙ [ X ( ω ) H ( ω ) ] U ( U ⊤ x ⊙ U ⊤ g ) (30) x \star g \mathcal{F}^{-1} \odot [X(\omega) H(\omega)] U(U^{\top}x \odot U^{\top}g) \tag{30} x⋆gF−1⊙[X(ω)H(ω)]U(U⊤x⊙U⊤g)(30) 如果以矩阵乘法的形式表达这个公式去掉 harmand 乘积。同时通常我们并不关心空间域上的滤波器信号g是什么样子只关心其在频率域的情况。 令 g θ ( U ⊤ g ) diag ( λ g ) diag ( ( ^ λ ) ) g_{\theta} (U^{\top}g) \text{diag} (\lambda g) \text{diag} (\hat(\lambda)) gθ(U⊤g)diag(λg)diag((^λ))
则公式等价转换成下式 x ⋆ g U diag ( g ^ ) U ⊤ x (31) x \star g U \text{diag}(\hat{g}) U^{\top} x \tag{31} x⋆gUdiag(g^)U⊤x(31) diag ( g ^ ( λ i ) ) \text{diag}(\hat{g}(\lambda_i)) diag(g^(λi)) 是谱域卷积的一个分量。
三个经典图谱卷积模型
卷积网络中不同层的特征图
SCNN
核心思想
用可学习的对角矩阵来替代谱域的卷积核从而实现图卷积操作。
ChebNet
Chebyshev多项式 Chebyshev多项式是一类具有重要应用的正交多项式其定义如下 T 0 ( x ) 1 , T 1 ( x ) x , T n 1 ( x ) 2 x T n ( x ) − T n − 1 ( x ) (32) T_0(x) 1, T_1(x) x, T_{n1}(x) 2xT_n(x) - T_{n-1}(x) \tag{32} T0(x)1,T1(x)x,Tn1(x)2xTn(x)−Tn−1(x)(32)
矩阵形式为 T 0 ( L ) I , T 1 ( L ) L , T n 1 ( L ) 2 L T n ( L ) − T n − 1 ( L ) (32) T_0(L) I, T_1(L) L, T_{n1}(L) 2LT_n(L) - T_{n-1}(L) \tag{32} T0(L)I,T1(L)L,Tn1(L)2LTn(L)−Tn−1(L)(32)
多项式插值 f ( x ) ∑ k 0 K − 1 α k x k − 1 (33) f(x) \sum_{k0}^{K-1} \alpha_k x^{k-1} \tag{33} f(x)k0∑K−1αkxk−1(33) 切比雪夫插值将幂函数换成了切比雪夫多项式的项 f ( x ) ∑ k 0 K − 1 α k T k ( x ) (34) f(x) \sum_{k0}^{K-1} \alpha_k T_k(x) \tag{34} f(x)k0∑K−1αkTk(x)(34)
ChebNet的核心思想
利用切比雪夫多项式来近似谱域的卷积核从而实现图卷积操作。利用切比雪夫多项式的递归性质可以将谱域的卷积核的近似程度控制在任意的精度范围内。 x ⋆ g θ U g θ U ⊤ x U ∑ k 0 K β k T k ( Λ ) U ⊤ x ∑ k 0 K β k T k ( L ) ( U Λ U ⊤ ) x ∑ k 0 K β k T k ( L ) x (35) \begin{aligned} x \star g_{\theta} Ug_{\theta}U^{\top}x \\ U \sum_{k0}^{K}\beta_k T_k(\Lambda) U^{\top} x \\ \sum_{k0}^{K}\beta_k T_k(L)(U \Lambda U^{\top}) x \\ \sum_{k0}^{K}\beta_k T_k(L) x \\ \end{aligned} \tag{35} x⋆gθUgθU⊤xUk0∑KβkTk(Λ)U⊤xk0∑KβkTk(L)(UΛU⊤)xk0∑KβkTk(L)x(35)
卷积核只有 K1个可学习的参数一般 k 远小于 n, 因此参数量大大减少。采用切比雪夫多项式代替谱域的卷积后不需要特征值分解了。卷积核又严格的空间局部性同时k就是卷积核的感受野半径。即中心顶点K阶最邻近节点作为领域节点。 这样我们就可以不用去计算拉普拉斯分解直接使用拉普拉斯矩阵来进行卷积操作了。
GCN
GCN的核心思想
利用一阶切比雪夫多项式来近似谱域的卷积核从而实现图卷积操作。利用一阶切比雪夫多项式的递归性质可以将谱域的卷积核的近似程度控制在任意的精度范围内。 x ⋆ g θ U g θ U ⊤ x ∑ k 0 k β k T k ( L ^ ) x ∑ k 0 1 β k T k ( L ^ ) x β 0 T 0 ( L ^ ) x β 1 T 1 ( L ^ ) x ( β 0 β 1 L ^ ) x ( β 0 β 1 ( L − I n ) ) x ( β 0 − β 1 ( D − 1 / 2 W D − 1 / 2 ) ) x ( θ ( D − 1 / 2 W D − 1 / 2 I n ) ) x (36) \begin{aligned} x \star g_{\theta} Ug_{\theta}U^{\top}x \\ \sum_{k0}^{k}\beta_k T_k(\hat{L})x \\ \sum_{k0}^1 \beta_k T_k(\hat{L})x \\ \beta_0 T_0(\hat{L})x \beta_1 T_1(\hat{L})x \\ (\beta_0 \beta_1 \hat{L})x (\beta_0 \beta_1(L - I_n))x \\ (\beta_0 - \beta_1(D^{-1/2WD^{-1/2}}))x \\ (\theta(D^{-1/2WD^{-1/2}} I_n))x \\ \end{aligned} \tag{36} x⋆gθUgθU⊤xk0∑kβkTk(L^)xk0∑1βkTk(L^)xβ0T0(L^)xβ1T1(L^)x(β0β1L^)x(β0−β1(D−1/2WD−1/2))x(θ(D−1/2WD−1/2In))x(β0β1(L−In))x(36)
