目前，大多数已有的方法都侧重于使用身份监督或标签来学习模态特定或模态共享特征。本文提出了一种新的模态混淆学习网络，MCLNet。
主要思想：混合两种模态 ，确保优化准确的集中在模态无关的角度。MCLNet旨在通过单个框架同时最小化模态间差异和最大化跨模态实例间的相似性来学习模态不变特征，此外，引入了一种身份感知的边缘中心聚集策略来提取集中特征，同时在边缘约束下保持多样性， 设计了一个摄像头感知的学习方案来丰富识别能力。
a. 混合模态分布，将优化准确集中在模态不变角度。
b.身份感知边缘中心聚合策略，针对模态差异强化不变的表征，其基本思想是限制在两种模式中属于同一身份的样本是不变的，在鼓励集提取集中特征的同时，加入了一个边际约束，以确保样本不会太集中。保持了特征的多样性，大大增强了泛化能力。
c.由于图像在不同的摄像头环境下拍摄，进一步提出摄像头感知边缘中心聚合方案。该组件充分利用相机标签，捕获学习到的相机特定信息的表示。这种约束增强了对摄像机变化的鲁棒性。
方法：
它设计在部分共享的两流网络之上，用于模态不变特征学习，首先，模态混淆学习模块对模态判别反馈进行混淆，以获得更好的模态无关性。然后，我们提出了一种身份感知的边缘中心聚集策略来改进身份集中表征学习。最后，通过利用摄像机标签信息学习摄像机感知表示，提出了摄像机感知边缘中心聚集约束。
3.1
我们的特征提取器是一个双流网络，连续提取特定于模态和共享模态的特征，具体来说，为了处理两种异构模态的差异，在第一个卷积块中，可见光和红外图像被独立处理，目的是学习低级特征，之后，双流的以下四个块共享参数并共同提取高维特征。
3.2
模态混淆学习，为了减少可见图像和红外图像之间的差异，我们的网络被设计为忽略模态信息并学习人的共同的表示，然而，“共同的”并不等于“有用”网络可能会专注于琐碎的特征而忽略不同人的特定特征，从而导致有用信息收集的失败。基于以上观点，提出模态混淆模块，通过最小-最大博弈，模态间差异被最小化，而跨模态相似性被最大化。因此在学习模态无关特征的同时，网络被限制拾取区分性成分来预测身份ID，用混淆学习机制来欺骗网络，使可见模态和红外模态混淆，具体来说，我们的目标是实现模态分类器无法区分输入图像的模态的混淆。
Xi表示样本，Yi表示标签 模态标签Ti 混合模态Oi
模态标签[1,0]表示可见光 [0,1]表示红外线 [0.5,0.5]表示混合模态。
组成：特征提取器 和模态混淆模块MCM（θm）它本质上是一个两层分类器，用于准确地将输入图像区分为确定的模态。
pm(fxi)代表模态正确分类概率，θe是特征提取，θm模态分类器 与真正的模态标签ti比较。
特征提取器的目的是提取具有模态不变性和区分性的特征。
为了实现模态混淆，我们将特征提取器的预测概率与混淆的模态标签oi进行比较。
在训练阶段，我们交替更新θm和θe，到它们达到平衡。
θe表示特征提取器，其目的是通过使特征分布尽可能相似来最大化模态混淆模块的损失
θm表示模态混淆模块，旨在最小化模态分类器的损失，以帮助网络区分模态。
我们的目标是特征提取器提取的嵌入不能正确分类到相应的模态中，从而造成模态混淆。
3.3身份感知的边缘中心聚合
学习特征嵌入的每个类的中心，并惩罚样本与其对应类之间的距离
Cyi是第yi个类别中心，fxi是提取的特征。
人的性格受多种因素的影响，尤其是模态差异，严格集中来自两种模式的相同身份的图像将牺牲不同人物图像的多样性，导致测试集的泛化能力有限，所以提出ICA（身份感知的边缘中心聚合）有节制地提取集中特征，并考虑鉴别信息。
σ用于限制样本不太靠近中心，保持身份描述的多样性，这种多样性可以为网络提供更多的样本特定信息，以区分不同的人的身份，Ica 鼓励同一特征在高维球面上均匀分布，而不是盲目追求表示相似性
Fo是最接近特征中心Cyi，σ 是表示某类球半径的超参数。第二个元素是样品与中心点之间的最小距离Cyi，为了使样品特征逐渐小幅度地远离中心环，减去它。第二项计算不同恒等中心的最小距离，
通过在不同的身份中心之间应用多重约束，该网络比较的是身份相似度而不是样本相似度。
3.4 摄像机感知的边缘中心聚合
我们的目标是让网络学习不同摄像头的区别信息。
通过ICA和CCA，在不同的摄像机下，鼓励网络挖掘同一个人之间隐含的身份联系信息。
其中 ri 表示 ith样本的摄像机标签，cri 表示 rith 摄像机中心，Fo代表离摄像机中心最近的样本。
一方面，ica 从不同的摄像机中限制相同的身份图像。另一方面，CCA用不同的身份，来限制同一个摄像机的图像