CLIP-Adapter: Better Vision-Language Models with Feature Adapters

当前的问题

由于CLIP的过度参数化和缺乏足够的训练样例，简单的微调会导致对特定数据集的过拟合，并且训练过程会非常缓慢由于在所有CLIP层之间的向前和向后传播。

方法

视觉适配器$A_v(\cdot )$(包含${\text{W}}_1^v,{\text{W}}_2^v$)和文本适配器$A_t(\cdot )$(包含${\text{W}}_1^t,{\text{W}}_2^t$)的设计：

我们对特征适配器采用残差连接，以避免遗忘预训练CLIP编码的原始知识。采用两个恒定值$\alpha$和$\beta$作为“残差比”，以帮助调整保持原始知识的程度，以获得更好的性能。

在少量训练中，通过交叉熵损失对$A_v(\cdot )$和$A_t(\cdot )$的权值进行优化：

其中 θ = { W 1 v , W 2 v , W 1 t , W 2 t } \theta=\{\textbf{W}^v_1,\textbf{W}^v_2,\textbf{W}^t_1,\textbf{W}^t_2\} θ={W1v​,W2v​,W1t​,W2t​}

结果

对实验的思考：适配器只做了域内（非跨域）的实验，有可能是适配器鲁棒性的不好，相比prompt而言。

适配器中超参的不足

超参数$\alpha ,\beta$对不同数据集影响很大。
作者建议设计一个超参网络$Q$来动态生成超参，即$\alpha ,\beta =Q(f,\text{W})$，然而作者没有解决这个问题。
适配器以及核心代码

class Adapter(nn.Module):
    def __init__(self, c_in, reduction=4):
        super(Adapter, self).__init__()
        self.fc = nn.Sequential(
            nn.Linear(c_in, c_in // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(c_in // reduction, c_in, bias=False),
            nn.ReLU(inplace=True)
        )
    def forward(self, x):
        x = self.fc(x)
        return x

class CustomCLIP(nn.Module):

    def __init__(self, cfg, classnames, clip_model):
        super().__init__()
        self.image_encoder = clip_model.visual
        self.text_encoder = TextEncoder(cfg, classnames, clip_model)
        self.logit_scale = clip_model.logit_scale
        self.dtype = clip_model.dtype
        self.adapter = Adapter(1024, 4).to(clip_model.dtype)

            
    def forward(self, image):
        image_features = self.image_encoder(image.type(self.dtype))
        x = self.adapter(image_features)

        ratio = 0.2
        image_features = ratio * x + (1 - ratio) * image_features

        text_features = self.text_encoder()

        image_features = image_features / image_features.norm(dim=-1, keepdim=True)
        text_features = text_features / text_features.norm(dim=-1, keepdim=True)

        logit_scale = self.logit_scale.exp()
        logits = logit_scale * image_features @ text_features.t()

        return logits

参考资料

论文下载(2023 IJCV, 2021发在arixv)

https://arxiv.org/pdf/2110.04544

代码地址(470 stars)

https://github.com/gaopengcuhk/CLIP-Adapter