{ | |
"step": 6000, | |
"lora_params": { | |
"lora_rank": 32, | |
"lora_alpha": 32, | |
"target_modules": [ | |
"to_k", | |
"to_q", | |
"to_v", | |
"to_out.0" | |
] | |
} | |
} |
{ | |
"step": 6000, | |
"lora_params": { | |
"lora_rank": 32, | |
"lora_alpha": 32, | |
"target_modules": [ | |
"to_k", | |
"to_q", | |
"to_v", | |
"to_out.0" | |
] | |
} | |
} |