|
--- |
|
library_name: transformers |
|
tags: |
|
- unsloth |
|
datasets: |
|
- GENIAC-Team-Ozaki/WikiHowNFQA-ja_cleaned |
|
- llm-jp/magpie-sft-v1.0 |
|
- ichikara-instruction |
|
base_model: |
|
- llm-jp/llm-jp-3-13b |
|
--- |
|
|
|
wandbのeval結果 |
|
 |
|
|
|
wandbのtrain結果 |
|
 |
|
|
|
## Uses |
|
下記を実行してください。GoogleColabを想定して記載しています。 |
|
``` |
|
# 必要なライブラリをインストール |
|
%%capture |
|
!pip install unsloth |
|
!pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git" |
|
!pip install -U torch |
|
!pip install -U peft |
|
``` |
|
``` |
|
# 必要なライブラリを読み込み |
|
from unsloth import FastLanguageModel |
|
from peft import PeftModel |
|
import torch |
|
import json |
|
from tqdm import tqdm |
|
import re |
|
``` |
|
``` |
|
# ベースとなるモデルと学習したLoRAのアダプタ（Hugging FaceのIDを指定）。 |
|
model_id = "llm-jp/llm-jp-3-13b" |
|
adapter_id = "SarahMars/11a_ichikara_magpie_WikiQA" |
|
HF_TOKEN = <YOUR HuggingFace TOKEN> |
|
``` |
|
``` |
|
# unslothのFastLanguageModelで元のモデルをロード。 |
|
dtype = None # Noneにしておけば自動で設定 |
|
load_in_4bit = True # 今回は13Bモデルを扱うためTrue |
|
|
|
model, tokenizer = FastLanguageModel.from_pretrained( |
|
model_name=model_id, |
|
dtype=dtype, |
|
load_in_4bit=load_in_4bit, |
|
trust_remote_code=True, |
|
) |
|
# 元のモデルにLoRAのアダプタを統合。 |
|
model = PeftModel.from_pretrained(model, adapter_id, token = HF_TOKEN) |
|
# タスクとなるデータの読み込み。 |
|
# 事前にデータをアップロードしてください。 |
|
datasets = [] |
|
with open("./elyza-tasks-100-TV_0.jsonl", "r") as f: |
|
item = "" |
|
for line in f: |
|
line = line.strip() |
|
item += line |
|
if item.endswith("}"): |
|
datasets.append(json.loads(item)) |
|
item = "" |
|
# モデルを用いてタスクの推論。 |
|
|
|
# 推論するためにモデルのモードを変更 |
|
FastLanguageModel.for_inference(model) |
|
|
|
results = [] |
|
for dt in tqdm(datasets): |
|
input = dt["input"] |
|
|
|
prompt = f"""### 指示\n{input}\n### 回答\n""" |
|
|
|
inputs = tokenizer([prompt], return_tensors = "pt").to(model.device) |
|
|
|
outputs = model.generate(**inputs, max_new_tokens = 512, use_cache = True, do_sample=False, repetition_penalty=1.2) |
|
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1] |
|
|
|
results.append({"task_id": dt["task_id"], "input": input, "output": prediction}) |
|
# 結果をjsonlで保存。 |
|
|
|
# ここではadapter_idを元にファイル名を決定しているが、ファイル名は任意で問題なし。 |
|
json_file_id = re.sub(".*/", "", adapter_id) |
|
with open(f"/content/{json_file_id}_output.jsonl", 'w', encoding='utf-8') as f: |
|
for result in results: |
|
json.dump(result, f, ensure_ascii=False) |
|
f.write('\n') |
|
``` |
|
|
|
#### Preprocessing [optional] |
|
|
|
L4で40分程度でElyza-100-tasksの推論が可能 |
|
|
|
|
|
#### Training Hyperparameters |
|
``` |
|
model, tokenizer = FastLanguageModel.from_pretrained( |
|
model_name=model_id, |
|
dtype=dtype, |
|
load_in_4bit=load_in_4bit, |
|
trust_remote_code=True, |
|
# use_exact_model_name=True |
|
) |
|
|
|
# SFT用のモデルを用意 |
|
model = FastLanguageModel.get_peft_model( |
|
model, |
|
r = 32, |
|
target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", |
|
"gate_proj", "up_proj", "down_proj",], # 線形層だけターゲットにする |
|
lora_alpha = 32, |
|
lora_dropout = 0.05, |
|
bias = "none", |
|
use_gradient_checkpointing = "unsloth", |
|
random_state = 3407, |
|
use_rslora = False, |
|
loftq_config = None, |
|
max_seq_length = max_seq_length, |
|
) |
|
``` |
|
|
|
``` |
|
trainer = SFTTrainer( |
|
model = model, |
|
tokenizer = tokenizer, |
|
train_dataset=train_dataset, # dataset["train"], |
|
eval_dataset=eval_dataset, |
|
max_seq_length = max_seq_length, |
|
dataset_text_field="output", |
|
packing = False, |
|
# neftune_noise_alpha=5, # ★★NEFTune設定 paper and hacks参照 |
|
args = TrainingArguments( |
|
evaluation_strategy="steps", # 検証をステップごとに実行 |
|
eval_steps=100, # 100 # 100ステップごとに検証 |
|
per_device_train_batch_size = 4, |
|
per_device_eval_batch_size= 8, |
|
gradient_accumulation_steps = 4, |
|
num_train_epochs = 1,# 3 |
|
logging_steps = 100, |
|
warmup_steps = 10, |
|
save_steps=100, |
|
save_total_limit=2, |
|
max_steps=-1, |
|
learning_rate = 1e-4, # 2e-4 |
|
fp16 = not is_bfloat16_supported(), |
|
bf16 = is_bfloat16_supported(), |
|
group_by_length=True, |
|
seed = 3407, |
|
output_dir = new_model_id, |
|
report_to = "wandb", |
|
auto_find_batch_size=True, # 追加：これを入れないとGPUメモリがオーバーフローする可能性がある。自分で設定したものよりも優先される。 |
|
push_to_hub=True, # Hugging Faceにcheckpointsをsaveする。 |
|
metric_for_best_model="eval_loss", # Early Stopping の基準となる指標を指定 |
|
greater_is_better=False, # 基準指標が大きいほうが良い場合は True、小さいほうが良い場合は False を設定 |
|
# early_stopping_patience |
|
load_best_model_at_end=True, # Early Stopping に必須 |
|
), |
|
callbacks=[EarlyStoppingCallback(early_stopping_patience=3)], # Early Stopping を追加 |
|
) |
|
``` |
|
|
|
## Evaluation |
|
20% of the dataset was used for evaluation |
|
<!-- This section describes the evaluation protocols and provides the results. --> |
|
|
