Repository navigation
[Bad Case]: 使用LoRA微调后效果很差 #83
Description
Activity
我lora微调的效果还可以，下面是参数
deepspeed --include localhost:0,1,2,3,4,5,6,7 finetune.py \ --model_name_or_path /data01/models/open_source/MiniCPM-2B-sft-fp32 \ --output_dir /data01/models/fine_tuned/MiniCPM/cr_6b/ \ --train_data_path /home/MiniCPM/data/cr_6b_glm.json \ --eval_data_path /home/MiniCPM/data/cr_ori_clean_glm3/markdown_2367.json \ --learning_rate 1e-3 --per_device_train_batch_size 2 \ --per_device_eval_batch_size 1 --fp16 --use_lora \ --gradient_accumulation_steps 1 --warmup_steps 100 \ --model_max_length 5000 \ --max_steps 8000 --weight_decay 0.01 \ --evaluation_strategy steps --eval_steps 500 \ --save_strategy steps --save_steps 500 --seed 42 \ --log_level info --logging_strategy steps --logging_steps 10 \ --deepspeed configs/ds_config_zero2.json我就改了per_device_train_batch_size，增加了model_max_length，修改了deepspeed的配置文件，改成了zero2
你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！
你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！
我用的自己构造的下游任务数据集，没用广告的
抱歉给您带来的不便，之前开源的代码中确实存在 bug，目前已经尝试修复，具体的性能测试还在跟进
好的，有消息的话及时通知，我还是挺看好这个模型的
你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！
我用的自己构造的下游任务数据集，没用广告的
你好，能否加一个联系方式，请教你一下微调minicpm，我也是微调下游数据集，比较急，谢谢
你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！
我用的自己构造的下游任务数据集，没用广告的
你好，能否加一个联系方式，请教你一下微调minicpm，我也是微调下游数据集，比较急，谢谢
我没改过微调代码，说实话没啥经验可以交流；我这边的训练环境是8xH800 80G，包版本如下
accelerate 0.26.1 deepspeed 0.13.1 peft 0.7.1 torch 2.1.2 transformers 4.39.0.dev0- locked and limited conversation to collaborators
on Mar 11, 2024
Description / 描述
当使用你们提供的LoRA微调脚本和广告数据集进行微调后，输出效果很差（issue区大部分微调效果都不好），我不能确定是否自己写的调用代码有问题，所以请你们提供一个经过LoRA微调后的脚本，或者使用目前的广告数据集微调的话，需要修改那些参数？
Case Explaination / 案例解释
No response