【1】引言
前序学习进程中，对用scikit-learn表达线性回归、岭回归和套索回归进行了初步解读。
这些回归本质上都是线性回归，能够将因变量 y y y表达成由自变量 x x x、线性系数矩阵 w w w和截距 b b b组成线性函数式。
线性回归获得函数式：
y = ∑ i = 1 n w i ⋅ x i + b = w T x + b y=\sum_{i=1}^{n}w_{i}\cdot x_{i}+b=w^T{x}+b y=i=1∑nwi⋅xi+b=wTx+b
对应的均方误差函数计算式为：
L ( w , b ) = ∑ i = 1 n ( y i − y i ^ ) 2 = ∑ i = 1 n ( y i − ( w T x i + b ) ) 2 L(w,b)=\sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^2=\sum_{i=1}^{n}(y_{i}-(w^Tx_{i}+b))^2 L(w,b)=i=1∑n(yi−yi^)2=i=1∑n(yi−(wTxi+b))2在这里， y y y是第i个样本的真实值， y ^ \hat{y} y^是第i个样本的预测值。
普通线性回归的均方误差将真实值和预测值作差后求平方和即可。
实际上很多时候数据之间不一定是理想化的线性关系，所以需要对线性关系式进行修正，修正项位于均方误差计算函数中，这个时候就衍生出其他回归方法，至少包括岭回归、套索回归等。
岭回归相对于线性回归，均方误差的计算式子增加了对参数权重平方和的计算，称之为L2正则化惩罚项：
L ( w , b ) = ∑ i = 1 n ( y i − y i ^ ) 2 + α ∑ j = 1 m w j 2 = ∑ i = 1 n ( y i − ( w T x i + b ) ) 2 + α ∑ i = 1 m w i 2 L(w,b)=\sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^2+\alpha\sum_{j=1}^{m}w_{j}^{2}=\sum_{i=1}^{n}(y_{i}-(w^Tx_{i}+b))^2+\alpha\sum_{i=1}^{m}w_{i}^{2} L(w,b)=i=1∑n(yi−yi^)2+αj=1∑mwj2=i=1∑n(yi−(wTxi+b))2+αi=1∑mwi2在这里， y y y是第i个样本的真实值， y ^ \hat{y} y^是第i个样本的预测值。
新增加的L2正则化惩罚项为 α ∑ i = 1 m w i 2 ，其中 α ≥ 0 \alpha\sum_{i=1}^{m}w_{i}^{2}，其中\alpha\geq0 α∑i=1mwi2，其中α≥0
既然可以有L2正则化，显然也可以有L1正则化，这就是Lasso套索回归。此时的均方误差公式为：
L ( w , b ) = 1 2 n ∑ i = 1 n ( y i − y i ^ ) 2 + α ∑ j = 1 n ∣ w j ∣ = 1 2 n ∑ i = 1 n ( y i − ( w T x i + b ) ) 2 + α ∑ i = 1 n ∣ w i ∣ L(w,b)=\frac{1}{2n}\sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^2+\alpha\sum_{j=1}^{n}\left | w_{j} \right |=\frac{1}{2n}\sum_{i=1}^{n}(y_{i}-(w^Tx_{i}+b))^2+\alpha\sum_{i=1}^{n}\left | w_{i} \right | L(w,b)=2n1i=1∑n(yi−yi^)2+αj=1∑n∣wj∣=2n1i=1∑n(yi−(wTxi+b))2+αi=1∑n∣wi∣
新增加的L1正则化惩罚项为 α ∑ i = 1 m ∣ w i ∣ , α ≥ 0 \alpha\sum_{i=1}^{m}\left | w_{i} \right |,\alpha \geq0 α∑i=1m∣wi∣,α≥0
【2】多任务套索回归MultiTaskLasso
套索回归Lasso会让部分线性系数直接精确约束至0，即自动剔除不重要的特征，是的模型最终只保留少数非零系数特征，这个特性让Lasso非常适合高维数据的降维和变量筛选.
如果进一步修改套索回归的均方误差函数式：
L ( w , b ) = 1 2 n ∑ i = 1 n ( y i − y i ^ ) 2 + α ∑ i = 1 n ∑ j = 1 m w i , j 2 = ∑ i = 1 n ( y i − ( w T x i + b ) ) 2 + α ∑ i = 1 n ∑ j = 1 m w i , j 2 L(w,b)=\frac{1}{2n}\sum_{i=1}^{n}(y_{i}-\hat{y_{i}})^2+\alpha\sum_{i=1}^{n} \sqrt{\sum_{j=1}^{m}w_{i,j}^2}=\\\sum_{i=1}^{n}(y_{i}-(w^Tx_{i}+b))^2+\alpha\sum_{i=1}^{n}\sqrt{\sum_{j=1}^{m}w_{i,j}^2} L(w,b)=2n1i=1∑n(yi−yi^)2+αi=1∑nj=1∑mwi,j2=i=1∑n(yi−(wTxi+b))2+αi=1∑nj=1∑mwi,j2
这就是多任务套索回归MultiTaskLasso的均方误差计算式，同时使用了 L 1 , L 2 L1,L2 L1,L2正则化惩罚项。
α ∑ i = 1 n ∑ j = 1 m w i , j 2 \alpha\sum_{i=1}^{n}\sqrt{\sum_{j=1}^{m}w_{i,j}^2} α∑i=1n∑j=1mwi,j2包括两部分：
第一部分 α ≥ 0 \alpha\geq0 α≥0一如既往代表惩罚强度；
第二部分 ∑ i = 1 n ∑ j = 1 m w i , j 2 \sum_{i=1}^{n}\sqrt{\sum_{j=1}^{m}w_{i,j}^2} ∑i=1n∑j=1mwi,j2先对每一行计算线性系数的平方和再开平方，然后对每一行特征获得的平方根求和。计算平方和是 L 2 L2 L2正则化计算，开平方根是 L 1 L1 L1正则化计算，所以多任务套索回归MultiTaskLasso的均方误差计算式同时使用了 L 1 , L 2 L1,L2 L1,L2正则化惩罚项。
【3】多任务套索回归MultiTaskLasso的特点
多任务套索回归MultiTaskLasso的特点会让部分线性系数直接精确约束至0，并且是整行都是0，也就是某个特征要么对所有特征有用，要么对所有特征无用；
这种某个特征在所有任务里面都有用的情况，使得不同任务之间实现了系数共享；
通过混合 L 1 , L 2 L1,L2 L1,L2正则化范数实现行稀疏性，强制特征在所有任务中被统一选择或排除。
这些特点使得多任务套索回归MultiTaskLasso更开始用于多个高度相关的任务，并且在某些特征具有突出重要性时，使得该方法具有天然适配性。