|
--- |
|
license: apache-2.0 |
|
language: |
|
- ja |
|
base_model: |
|
- Local-Novel-LLM-project/WabiSabi-V1 |
|
tags: |
|
- unsloth |
|
--- |
|
|
|
# 概要 |
|
利用者から与えられたタスクについて、回答の前に思考を挟む言語モデルです。 |
|
v0.1と比較して指示追従能力の向上したことに加え、より自然な回答を生成するようになりました。 |
|
|
|
|
|
```<thinking>```タグ内に思考が、```<output>```タグ内に利用者に対する回答が出力されます。 |
|
minoshiro-v0.2-7Bは、[Local-Novel-LLM-project様のWabiSabi-V1](https://huggingface.co/Local-Novel-LLM-project/WabiSabi-V1)に、 |
|
ファインチューニングを行い作成されました。 |
|
また、ファインチューニングに用いた学習データは、 |
|
[sudy様のoasst2-chat-5k-jaデータセット](https://huggingface.co/datasets/sudy-super/oasst2-chat-5k-ja)の一部と、 |
|
[cyberagent様のcalm3-22b-chat](https://huggingface.co/cyberagent/calm3-22b-chat)からの出力を利用し、 |
|
タスク、思考、応答のペアを252個作成しました。 |
|
データセット及びモデルを公開していただいたLocal-Novel-LLM-project様、sudy様、株式会社サイバーエージェント様に感謝を申し上げます。 |
|
|
|
# 使い方 |
|
Vicunaプロンプトを用います。 |
|
``` |
|
あなたは親切なAIアシスタントです。<thinking>タグ内でタスクについて思考し、最終的な回答を<output>タグ内で述べてください。 |
|
USER: こんにちは |
|
ASSISTANT: |
|
``` |
|
注意として、システムプロンプトは「あなたは親切なAIアシスタントです。```<thinking>```タグ内でタスクについて思考し、最終的な回答を```<output>```タグ内で述べてください。」 |
|
以外を学習させていないので、これ以外のシステムプロンプトは使用しないことをお勧めします。 |
|
|
|
# 既知の問題点及び注意点 |
|
- ```<thinking>```タグ及び```<output>```タグを使用しない出力をすることがあります。特に長文の入力を行ったときに顕著で、ファインチューニングに用いた質問データが短文に偏っていたためだと考えられます。 |
|
- 本モデルはマルチターン会話の学習を行っていないため、連続した会話ができません。 |
|
- 本モデルは出力の安全性や信憑性に関する調査を行っていないため、予期せぬ回答を出力する場合があります。 |
|
|
|
Copyright 2025 大嶺壮志 |
|
|
|
Licensed under the Apache License, Version 2.0 (the "License"); |
|
you may not use this file except in compliance with the License. |
|
You may obtain a copy of the License at |
|
|
|
http://www.apache.org/licenses/LICENSE-2.0 |
|
|
|
Unless required by applicable law or agreed to in writing, software |
|
distributed under the License is distributed on an "AS IS" BASIS, |
|
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. |
|
See the License for the specific language governing permissions and |
|
limitations under the License. |
