目录
一.引言
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
--stage pt \
--model_name_or_path path_to_your_model \
--do_train \
--dataset wiki_demo \
--template default \
--finetuning_type lora \
--output_dir path_to_pt_checkpoint \
--overwrite_cache \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine \
--logging_steps 10 \
--save_steps 1000 \
--learning_rate 5e-5 \
--num_train_epochs 3.0 \
--plot_loss \
--fp16最近微调大模型时经常需要用 shell 脚本传很多参数，发现大家都在使用 argparse 类，下面整理一下 argparse 的基础用法。
二.argparse 解析 shell 参数
1.使用步骤
- 导入 argparse 模块
import argparse
- 创建 AgrumentParse 对象
parser = argparse.ArgumentParser()
- 添加待解析参数 [以解析 --input 参数为例]
parser.add_argument('--input', help='输入文件'， default='input.txt')
- 解析命令行参数
args = parser.parse_args()
- 使用解析后的参数
input_file = args.input
2.python 侧示例
import argparse
def main():
parser = argparse.ArgumentParser()
parser.add_argument('--input', help='输入文件')
parser.add_argument('--output', help='输出文件')
args = parser.parse_args()
input_file = args.input
output_file = args.output
# 在这里使用解析后的参数进行进一步的处理
print(f'输入文件：{input_file}')
print(f'输出文件：{output_file}')
if __name__ == '__main__':
main()
注意需要调用 parse_args() 才能获取相关的解析参数。
3.shell 侧示例
python script.py --input input.txt --output output.txt
当参数多了可以隔行传参，比较清晰：
python script.py \
--input input.txt \
--output output.txt
执行上述脚本后得到：
输入文件：input.txt
输出文件：output.txt