本次参数
llamafactory-cli train \
--stage sft \
--do_train True \
--model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \
--preprocessing_num_workers 16 \
--finetuning_type lora \
--template deepseek3 \
--flash_attn fa2 \
--dataset_dir data \
--dataset knowledge \
--cutoff_len 4096 \
--learning_rate 1e-04 \
--num_train_epochs 3.0 \
--max_samples 70309 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 12 \
--lr_scheduler_type cosine \
--max_grad_norm 1.0 \
--logging_steps 5 \
--save_steps 100 \
--warmup_steps 0 \
--packing False \
--report_to tensorboard --logging_dir single_log6 \
--output_dir saves/DeepSeek-R1-7B-Distill/lora/train_6.0 \
--bf16 True \
--plot_loss True \
--trust_remote_code True \
--ddp_timeout 180000000 \
--include_num_input_tokens_seen True \
--optim adamw_torch \
--lora_rank 8 \
--lora_alpha 16 \
--lora_dropout 0.1 \
--lora_target q_proj,v_proj \
--deepspeed cache/ds_z2_config.json
微调效果：
Q：中药红粉介绍
A:
红粉是一种中药材。其主要成分有木犀草素，木犀草素甲醚，木犀草素二甲醚，木犀草素三甲醚，木犀草素四甲醚，木犀草素五甲醚，木犀草素二甲醚甲醚，木犀草素二甲醚乙醚，木犀草素二甲醚丙醚，木犀草素二甲醚丁醚等。
以下是红粉的相关信息：
【类别】化湿药，化湿散结药
【性味归经】苦，平。归脾、胃、大肠经。
【功效主治】清热解毒，散结消肿。用于热毒发泄，热毒蕴结，症见口舌生疮，疮面红肿，发热头痛，胸膈满闷，黄疸，痢疾泄泻，胃痛腹胀，痈肿疮毒。
【证候】热毒证
【中医疾病】疮面红肿，发热，胃痛，黄疸
【配伍应用】黄连，蒲公英，苦参
【方剂举例】黄连败毒丸，三黄散，青礞汤，黄连散，黄连解毒汤
【药理】抗菌，抗肿瘤，利胆，抗病毒
【基因】FNTA，CA4，HSD11B1，CA3，SLC6A1等
效果较前两次有较大提升，但仍存在不稳定等问题，因此之后会再进行调参以期得到更好的效果