Update README.md

README.md

@@ -7,10 +7,45 @@ tags:
 - unsloth
 - trl
 - sft
+datasets:
+- Nurture-intelligence/thinking_dataset_v1
+- Manual-Dataset-Creation-Project/Malum-230
+- team-hatakeyama-phase2/LLMChat
 ---
 
 # 概要
 質問と応答から、その過程の思考を生成する言語モデルです。  
+Qwen2.5-7B-Instructをファインチューニングし作成しました。
+データセットには複数データセット（datasets欄に記載）の質問部分をお借りし、
+思考をallura-org/Qwen2.5-32b-RP-Ink、回答をAXCXEPT/EZO-Qwen2.5-32B-Instructで1225件生成したものを使用しました。  
+
+Instructionを
+```
+あなたには要求と回答から論理的思考を作成する任務が与えられています。万能なアシスタントがQueryタグ内の質問を受け、Answerタグ内の回答をするまでの思考をChain-of-Thought形式で記述してください。思考は<Thought>タグ内に記述してください。
+```
+とし、ユーザー入力を
+```
+<Query>
+{質問}
+</Query>
+<Answer>
+{応答}
+</Answer>
+```
+の形式で行うことで、
+```
+
+<Thought>
+{思考}
+</Thought>
+<|im_end|>
+```
+の形式で、質問を受けて応答を返すまでの思考を取得することができます。
+
+# 注意点
+- 学習に使用したデータのうち、計算およびコーディング、ロールプレイの割合が極端に小さく、これらタスクでは期待した思考生成がうまくいかないことがあります。特に数学タスクでは微妙です。  
+- クエリと応答が乖離している場合の思考がうまく生成できません（例 Query="こんにちは", Answer="python" など）。
+- そもそも学習データの質、量ともに不足しているので、あまり高品質な思考を生成することはできません。  
 
 # transformersでの推論例
 ```
@@ -37,7 +72,7 @@ query_template = """<Query>
 inputs = tokenizer(
 [
     qwen_prompt.format(
-        make_reasoning_instruct,
+        "あなたには要求と回答から論理的思考を作成する任務が与えられています。万能なアシスタントがQueryタグ内の質問を受け、Answerタグ内の回答をするまでの思考をChain-of-Thought形式で記述してください。思考は<Thought>タグ内に記述してください。",
         query_template.format(
             "こんにちは",
             "こんにちは！今日はいかがお過ごしですか？"
@@ -48,6 +83,7 @@ inputs = tokenizer(
 
 from transformers import TextStreamer
 text_streamer = TextStreamer(tokenizer)
+# repetition_penalty=1.1, temperature=0.7くらいがたぶん良い
 model.generate(**inputs, streamer = text_streamer, max_new_tokens = 1024)
 ```