0 后训练分类
1 post train的难点
llama 在pretrain的时候使用英文的，所以回答也是用英文
我现在想要让她用中文回答，于是我找了一堆中文资料用pretrain style的方式后训练
我期待的可能是，模型不仅要保持alignment的能力（比如安全），还需要会中文回答
但实际上，可能昨晚post train后，可以说中文了，但是原版alignment的能力就没有了
Toxicity 有多少比例讲出不该说的话
可以看到base model这个值是很高的，然后align之后就很低
但是使用post train之后，可以看到toxic值又升上去了（除了lora）
- STF style的后训练也会遇到这个问题
- 这个雷达图，数值越大表示越可能讲出不该说的话
- 灰色的是post train 之前的，红色是post train之后的
- 左边，post train LLM学习不该说的话
- 此时肯定就破坏align了
- 中间
- 知识让模型改一下身份（现在LLM你的名字是AOA）
- 但align也被破坏了
- 右边
- post train一些正常的问题
- 即便知识正常的资料，llm的安全也是变差了
Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning
- 除了安全，其他能力也是变差了的
- 第一个是使用工具的能力，第二个是数学能力，第三个是编程能力
- 只有教的哪个能力变强了，其他的能力都变差了
1.1 大一点的模型一样的问题
是不是因为模型不够大？参数不够多？
不是的，比较大的模型，forgeting的情况没有减轻
不管什么模型，在目标任务上train的越好，遗忘就越严重
加上lora之后，忘记的少，但是学的也少
相比于别的办法，lora还是能较少一定的遗忘
2 解决灾难性遗忘的方法
2.1 经验回放
第二阶段用一点点任务1的资料
但问题是，现在的LLM，我们似乎并不能知道他们的训练数据
我们让LLM自己生成一段话，把这一段话视为预训练的数据集
Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing
让llama自问自答，得到类似于自己训练过的资料一样的数据
先给一个代表user的符号，让llama自己去接龙，他就会产生一个问题
然后把代表user的符号、llama自己生成的问题、assistant的符号提供给llama，llama生成一个答案
用这些作为llama的训练数据