Update README.md

README.md

@@ -11,3 +11,72 @@ tags:
 
 # 概要
 質問と応答から、その過程の思考を生成する言語モデルです。  
+
+# transformersでの推論例
+```
+model = AutoModelForCausalLM.from_pretrained(
+    "SousiOmine/Kuroiso-CR-7B-20250124", device_map="auto", load_in_4bit=True
+)
+tokenizer = AutoTokenizer.from_pretrained("SousiOmine/Kuroiso-CR-7B-20250124")
+
+qwen_prompt = """<|im_start|>system
+{}<|im_end|>
+<|im_start|>user
+{}<|im_end|>
+<|im_start|>assistant
+{}
+"""
+
+query_template = """<Query>
+{}
+</Query>
+<Answer>
+{}
+</Answer>"""
+
+inputs = tokenizer(
+[
+    qwen_prompt.format(
+        make_reasoning_instruct,
+        query_template.format(
+            "こんにちは",
+            "こんにちは！今日はいかがお過ごしですか？"
+        ),
+        "", # output
+    )
+], return_tensors = "pt").to("cuda")
+
+from transformers import TextStreamer
+text_streamer = TextStreamer(tokenizer)
+model.generate(**inputs, streamer = text_streamer, max_new_tokens = 1024)
+```
+
+以下のような出力が得られます。
+```
+<|im_start|>assistant
+
+<Thought>
+こんにちはという挨拶が与えられました。
+これは会話の始まりを示しています。
+返答が必要です。
+「こんにちは」という挨拶をそのまま返すのが自然でしょう。
+しかし、利用者が具体的な質問や話題を提起していないようです。
+そこで、利用者の意図を理解するために、少し掘り下げてみるのも良いかもしれません。
+
+ちょっと待ってください。間違えたかもしれません。見直しを行います。
+利用者が何か具体的な質問や話題を提起していないことを確認しました。
+その場合、利用者に対して具体的な質問を投げかけることで、会話を進める方が良いかもしれません。
+例えば、「今日はどのような一日をお過ごしですか？」というような質問を投げかけると良いでしょう。
+
+再度考え直します。
+利用者が具体的な質問や話題を提起していないことを再確認しました。
+その場合、利用者に対して具体的な質問を投げかけることで、会話を進める方が良いかもしれません。
+しかし、最初の返答ではシンプルに「こんにちは」と返答するのが最も適切かもしれません。
+そのため、最初の返答を踏襲し、「こんにちは」と返答するのが正解でしょう。
+
+「こんにちは」という挨拶を返答することで、会話を始めることが出来ます。
+また、利用者が具体的な質問や話題を提起していない場合でも、シンプルな挨拶を返すことで、利用者の意図を理解しやすくなります。
+したがって、「こんにちは」と返答することが最も適切な選択肢であると言えるでしょう。
+</Thought>
+<|im_end|>
+```