脚本宝典收集整理的这篇文章主要介绍了多元统计分析01：多元统计分析基础，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

Chapter 1：多元统计分析基础

一、随机向量

Part 1：随机向量的分布

联合分布函数：设 (X=left(X_1,X_2,cdots,X_pright)') 是一个 (p) 维随机向量，定义 (p) 元函数

称 (F(x_1,x_2,cdots,x_p)) 为 (X) 的联合分布函数。

联合密度函数：如果存在一个 (p) 元非负函数 (f(x_1,x_2,cdots,x_p)) ，使得对一切 ((x_1,x_2,cdots,x_p)) 都有

则称 (f(x_1,x_2,cdots,x_p)) 为 (X) 的联合密度函数。

边际密度函数：设 (X^{(1)}) 为 (r) 维随机向量，(X^{(2)}) 为 (p-r) 为随机向量，且 (X^{(1)}) 和 (X^{(2)}) 都是随机向量 (X) 的部分分量，满足

定义 (X^{(1)}) 的边际密度函数为

定义 (X^{(2)}) 的边际密度函数为

条件密度函数：当 (X) 的密度函数可以写为 (f(x^{(1)},x^{(2)})) 时，定义给定 (X^{(2)}) 时 (X^{(1)}) 的条件密度函数为

分量的独立性：设 (X_1,X_2,cdots,X_p) 是 (p) 个随机变量，则 (X_1,X_2,cdots,X_p) 相互独立当且仅当

若 (X=left(X_1,X_2,cdots,X_pright)') 的联合密度函数及其各个分量的密度函数均存在，则 (X_1,X_2,cdots,X_p) 相互独立当且仅当

Part 2：随机向量的数字特征

随机向量的均值向量：设 (X=(X_1,X_2,cdots,X_p)') 是一个 (p) 维随机向量，如果对 (X) 的任何分量 (X_i) 都有均值 ({rm E}(X_i)=mu_i) 存在，则定义随机向量 (X) 的均值向量为

随机向量的协方差阵：设 (X=(X_1,X_2,cdots,X_p)') 是一个 (p) 维随机向量，如果对 (X) 的任何两个分量 (X_i) 和 (X_j) 都有协方差 ({rm Cov}(X_i,X_j)=sigma_{ij}) 存在，则定义随机向量 (X) 的协方差阵为

随机向量的相关系数矩阵：设 (X=(X_1,X_2,cdots,X_p)') 是一个 (p) 维随机向量，若 (X) 的协方差阵 (Sigma=left(sigma_{ij}right)_{ptimes p}) 存在，则定义随机向量 (X) 的相关系数矩阵为：

其中

如果记 (V^{1/2}={rm diag}left(sqrt{sigma_{11}},sqrt{sigma_{22}},cdots,sqrt{sigma_{pp}}right)) 为 (X) 的标准差矩阵，则协方差阵和相关系数矩阵的关系为

两个随机向量的协方差阵：设 (X=(X_1,X_2,cdots,X_p)') 和 (Y=(Y_1,Y_2,cdots,Y_q)') 是两个随机向量，如果对 (X) 的任何分量 (X_i) 和 (Y) 的任何分量 (Y_j) 都有协方差 ({rm Cov}(X_i,Y_j)=sigma_{ij}) 存在，则定义随机向量 (X) 和 (Y) 的协方差阵为

如果 ({rm Cov}(X,Y)=O_{ptimes q}) ，则称 (X) 和 (Y) 不相关。

Part 3：随机向量的数字特征的性质

关于线性变换的运算性质：设 (X=(X_1,X_2,cdots,X_p)') 和 (Y=(Y_1,Y_2,cdots,Y_q)') 是两个随机向量，矩阵 (A) 和矩阵 (B) 是任意常数矩阵，则有

独立包含不相关的性质：若 (X) 和 (Y) 相互独立，则一定有 ({rm Cov}(X,Y)=O_{ptimes q}) 成立，反之不然。

协方差阵的对称非负定性：对任意的随机向量 (X=(X_1,X_2,cdots,X_p)') ，其协方差阵 (Sigma) 是对称非负定矩阵，即对 (forall ain mathbb{R}^{p}) ，有 (a'Sigma a={rm Var}left(a'Xright)geq0) 。

协方差阵的平方根性质：(Sigma=L^2) ，其中 (L) 是非负定矩阵，当 (Sigma>0) 时，则有 (L>0) ，此时将矩阵 (L) 称为 (Sigma) 的平方根矩阵。如果将 (Sigma) 正交分解为 (Sigma=GammaLambdaGamma') ，其中 (Gamma) 是正交矩阵，(Lambda) 是 (Sigma) 的特征值对角阵，则 (Sigma) 的平方根矩阵 (L=GammaLambda^{1/2}Gamma') 。

二、矩阵代数

Part 1：正交矩阵

定义：设 (A) 为 (n) 阶方阵，如果 (A'A=AA'=I_n) ，则称 (A) 为正交矩阵，且有 (A^{-1}=A') 。

性质 1：设 (A) 为 (n) 阶正交矩阵，则 (|A|=pm1) 。

因为 (left|AA'right|=|I_n|=1) ，又因为 (left|AA'right|=|A|^2) ，所以 (|A|=pm1) 。

性质 2：若 (A) 为 (n) 阶正交矩阵，则 (A',A^{-1}) 也是正交矩阵。

因为 (left(A'right)'left(A'right)=AA'=I_n) ，所以 (A') 是正交矩阵。

因为 (A^{-1}=A') ，所以 (A^{-1}) 是正交矩阵。

性质 3：若 (A) 和 (B) 均为 (n) 阶正交矩阵，则 (AB) 和 (BA) 都是正交矩阵。

因为 ((AB)'(AB)=B'A'AB=B'B=I_n) ，所以 (AB) 是正交矩阵。

因为 ((BA)'(BA)=A'B'BA=A'A=I_n) ，所以 (BA) 是正交矩阵。

定义：设 (Q) 为 (n) 阶正交矩阵，则称线性变换 (y=Qx) 为一个正交变换。

性质 4：正交变换不改变向量的内积和长度，称为正交变换的不变性。

设 (x_1) 和 (x_2) 是任意两个 (n) 维向量，(Q) 是正交矩阵，若 (y=Qx) 是正交变换：

对于正交变换 (y_1=Qx_1) 和 (y_2=Qx_2) 的内积，有

[y_1'y_2=(Qx_1)'(Qx_2)=x_1'Q'Qx_2=x_1'x_2 . ]

对于正交变换 (y_1=Qx_1) 的长度，有

[|y_1|=|Qx_1|=sqrt{(Qx_1)'(Qx_1)}=sqrt{x_1'Q'Q_1x}=sqrt{x_1'x_1}=|x_1| . ]

Part 2：矩阵的迹

定义：设 (A) 为 (n) 阶方阵，则它的对角线元素之和称为 (A) 的迹，记为 ({rm tr}(A)) ，即

性质 1：设 (A) 为 (n) 阶方阵，则 ({rm tr}(A)={rm tr}left(A'right)) 。

性质 2：设 (A) 为 (n) 阶方阵，(c) 是一个常数，则 ({rm tr}(cA)=ccdot{rm tr}(A)) 。

性质 3：设 (A) 和 (B) 是两个 (n) 阶方阵，则 ({rm tr}(A+B)={rm tr}(A)+{rm tr}(B)) 。

性质 4：设 (A_{k},,k=1,2,cdots,p) 是 (p) 个 (n) 阶方阵，则 ({rm tr}left(displaystylesum_{k=1}^pA_{k}right)=displaystylesum_{k=1}^p{rm tr}left(A_{k}right)) 。

以上 (4) 条性质利用迹的定义即可证明。

性质 5：设 (A) 是一个 (mtimes n) 的矩阵，(B) 是一个 (ntimes m) 的矩阵，则 ({rm tr}(AB)={rm tr}(BA)) 。

设矩阵 (A) 和 (B) 可以表示为

[A=left[begin{array}{cccc} a_{11} & a_{12} & cdots & a_{1n} \ a_{21} & a_{22} & cdots & a_{2n} \ vdots & vdots & ddots & vdots \ a_{m1} & a_{m2} & cdots & a_{mn} \ end{array}right] , quad B=left[begin{array}{cccc} b_{11} & b_{12} & cdots & b_{1m} \ b_{21} & b_{22} & cdots & b_{2m} \ vdots & vdots & ddots & vdots \ b_{n1} & b_{n2} & cdots & b_{nm} \ end{array}right] . ]

设 (C=AB=(c_{ij})_{mtimes m},,D=BA=(d_{ij})_{ntimes n}) ，于是

[c_{ii}=sum_{j=1}^na_{ij}b_{ji} , quad d_{jj}=sum_{i=1}^mb_{ji}a_{ij} . ]

由迹的定义可知

[begin{aligned} &{rm tr}(AB)={rm tr}(C)=sum_{i=1}^mc_{ii}=sum_{i=1}^mleft(sum_{j=1}^na_{ij}b_{ji}right)=sum_{i=1}^msum_{j=1}^na_{ij}b_{ji} , \ \ &{rm tr}(BA)={rm tr}(D)=sum_{j=1}^nd_{jj}=sum_{j=1}^nleft(sum_{i=1}^mb_{ji}a_{ij}right)=sum_{j=1}^nsum_{i=1}^mb_{ji}a_{ij} , end{aligned} ]

对比两式即可得到 ({rm tr}(AB)={rm tr}(BA)) 。

性质 6：一个矩阵的迹等于该矩阵的特征值之和。

设 (A) 为 (n) 阶方阵，设 (lambda_1,lambda_2,cdots,lambda_n) 是 (A) 的特征值，下证 ({rm tr}(A)=lambda_1+lambda_2+cdots+lambda_n) 。

由特征值的定义，可以写出矩阵 (A) 的特征方程：

[|lambda I_n-A|=left|begin{array}{cccc} lambda-a_{11} & -a_{12} & cdots & -a_{1n} \ -a_{21} & lambda-a_{22} & cdots & -a_{2n} \ vdots & vdots & ddots & vdots \ -a_{n1} & -a_{n2} & cdots & lambda-a_{nn} end{array}right|=0 . ]

上式是一个关于 (lambda) 的一元 (n) 次方程，等式左端是一个关于 (lambda) 的 (n) 次多项式，称为方阵 (A) 的特征多项式。矩阵 (A) 的特征值就是该特征方程的解。

把特征方程写为：(b_0+displaystylesum_{j=1}^nb_jlambda^j=0) ，其中 (b_j) 是 (j) 次项系数，由韦达定理知：

[displaystylesum_{j=1}^nlambda_j=-dfrac{b_{n-1}}{b_n} . ]

由行列式的定义知，行列式是不同行不同列的项的乘积之和。由于特征方程中除了主对角线的乘积之外，(lambda) 的次数都小于 (n-1) ，于是 (b_n) 和 (b_{n-1}) 分别为 ((lambda-a_{11})(lambda-a_{22})cdots(lambda-a_{nn})) 中 (lambda^n) 和 (lambda^{n-1}) 的系数，所以 (b_n=1,,b_{n-1}=-(a_{11}+a_{22}+cdots+a_{nn})) 。代入即得

[sum_{j=1}^nlambda_j=a_{11}+a_{22}+cdots+a_{nn}={rm tr}(A) . ]

性质 7：若 (A) 为对称幂等矩阵，则 ({rm tr}(A)={rm rank}(A)) 。

设 (A) 为 (n) 阶对称幂等矩阵，有 (A'=A) ，所以存在对角矩阵 (Lambda=mathrm{diag}(lambda_1,lambda_2,cdots,lambda_n)) 和正交矩阵 (Q) ，使得 (A=Q'Lambda Q) ，且有

[{rm rank}(A)={rm rank}left(Q'Lambda Qright)={rm rank}(Lambda) . ]

又因为幂等矩阵的特征值只能为 (0) 或 (1) ，所以 ({rm rank}(Lambda)) 等于特征值中 (1) 的个数，即为 (A) 的特征值之和。由性质 (6) 知，({rm tr}(A)) 等于 (A) 的特征值之和，所以 ({rm tr}(A)={rm rank}(A)) 。

三、矩阵微商

Part 1：一元自变量的矩阵微商

定义：设 (y=(y_1,y_2,cdots,y_q)') 是变量 (x) 的向量函数，则记

即 (q) 维向量 (y) 对一元变量 (x) 的导数仍然是 (q) 维向量，称为 (y) 对 (x) 的导数向量。

定义：设 (Y=F(x)) 是变量 (x) 的矩阵函数，其中 (Y=(y_{ij})_{ptimes q}) 是一个 (ptimes q) 的矩阵，则记

即 (ptimes q) 的矩阵 (Y) 对一元变量 (x) 的导数仍然是 (ptimes q) 的矩阵，称为 (Y) 对 (x) 的导数矩阵。

Part 2：多元自变量的矩阵微商

定义：设 (y=f(x)) 是向量 (x=(x_1,x_2,cdots,x_p)') 的一元函数，则记

即一元函数 (f(x)) 对 (p) 维向量 (x) 的导数仍然是 (p) 维向量，称为 (y) 对 (x) 的偏导数向量。

定义：设 (y=(y_1,y_2,cdots,y_q)') 是向量 (x=(x_1,x_2,cdots,x_p)') 的 (q) 维向量函数，即 (y_i=f_i(x)) ，则记

即 (q) 维向量函数 (y) 对 (p) 维向量 (x) 的导数是一个 (ptimes q) 的矩阵，称为 (y) 对 (x) 的偏导数矩阵，又称为 (y) 对 (x) 的雅可比矩阵。

Part 3：矩阵微商的性质

首先定义如下的矩阵和向量：

于是有如下常用的矩阵求导公式：

线性组合对向量求导：

把线性组合看作向量 (x) 的一元函数，有

[beta'x=x'beta=beta_1x_1+beta_2x_2+cdots+beta_nx_n . ]

由矩阵微商的定义可得

[frac{partial beta'x}{partial x}=frac{partial x'beta}{partial x}=left(beta_1,beta_2,cdots,beta_nright)' =beta . ]

二次型对向量求导：

若 (A) 是一个实对称矩阵，则有

若 (A) 是一个单位矩阵，则有

把二次型看作向量 (x) 的一元函数，有

[x'Ax=sum_{i=1}^nsum_{j=1}^na_{ij}x_{i}x_{j} . ]

首先对分量 (x_i) 求导有

[frac{partial x'Ax}{partial x_i}=frac{partial }{partial x_i}sum_{i=1}^nsum_{j=1}^na_{ij}x_{i}x_{j}=sum_{j=1}^na_{ij}x_j+sum_{j=1}^na_{ji}x_j=x'a_{icdot}' +x'a_{cdot i} . ]

由矩阵微商的定义可得

[begin{aligned} frac{partial x'Ax}{partial x}&=left(frac{partial x'Ax}{partial x_1},frac{partial x'Ax}{partial x_2}cdots,frac{partial x'Ax}{partial x_n}right)' \ \ &=left(x'left(a_{1cdot}'+a_{cdot 1}right),x'left(a_{2cdot}'+a_{cdot 2}right),cdots,x'left(a_{ncdot}'+a_{cdot n}right)right)' \ \ &=left(x'left(A'+Aright)right)' \ \ &=left(A+A'right)x . end{aligned} ]

线性变换对向量求导：

设 (y=left(y_1,y_2,cdots,y_mright)'=Bx) ，则有

[y_i=sum_{j=1}^nb_{ij}x_j . ]

由矩阵微商的定义可得

[frac{partial Bx}{partial x}=frac{partial y}{partial x}=left[begin{array}{cccc} dfrac{partial y_1}{partial x_1} & dfrac{partial y_2}{partial x_1} &cdots &dfrac{partial y_q}{partial x_1} \ dfrac{partial y_1}{partial x_2} & dfrac{partial y_2}{partial x_2} &cdots& dfrac{partial y_q}{partial x_2} \ vdots & vdots & ddots & vdots \ dfrac{partial y_1}{partial x_p} & dfrac{partial y_2}{partial x_p} &cdots& dfrac{partial y_q}{partial x_p} \ end{array}right]=left[begin{array}{cccc} b_{11} & b_{21} &cdots & b_{m1} \ b_{12} & b_{22} &cdots & b_{m2} \ vdots & vdots & ddots & vdots \ b_{1n} & b_{2n} &cdots & b_{mn} \ end{array}right]=B' . ]

脚本宝典总结

以上是脚本宝典为你收集整理的多元统计分析01：多元统计分析基础全部内容，希望文章能够帮你解决多元统计分析01：多元统计分析基础所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。