Monor/Qwen1.5-0.5B-h-world

18禁小说生成模型

数据来源自h-corpus-2023
模型来源自Qwen1.5-0.5B

本模型仅用于学术研究，严禁商用。

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = 'Monor/Qwen1.5-0.5B-h-world'
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, device_map="auto", trust_remote_code=True).eval()

inputs = tokenizer('小青突然来到了我的房间', return_tensors='pt')
inputs = inputs.to(model.device)
pred = model.generate(**inputs, max_new_tokens=32, num_beams=4, do_sample=True, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

输出：小青突然来到了我的房间，吓了我一跳。她见我睡着了，就脱了衣服钻进了被窝里，然后搂着我睡着了。

---

WebUI已开发完成

18禁小说生成器，点击跳转到GitHub

---

评测得分

根据h-eval评测方法，要求模型正确续写下一个单词，该模型获得57.9分。
评测过程使用h-eval中提供数据集，仅修改benchmark代码以适用Qwen1.5模型

Model	Score
Human	80.2
rwkv-5-h-world-7B	60.3
rwkv-5-h-world-3B	59.4
rwkv-5-h-world-1b5	59.1
Qwen1.5-0.5B-h-world	57.9
Yi-34B	54.7
rwkv-h-world-1b5	54.1
rwkv-v4-7b-dengh	50.0
Yi-6B	48.7
Yi-34B-Chat-4bits	48.1
rwkv-h-world-0.4b	46.8
deepsex-34b	45.9
NSFW_13B_sft	44.3
CausalLM-14B-GPTQ	43.4
Baichuan2-7B-Base	42.7
RWKV-5-World-3B-v2-20231113-ctx4096	42.5
rwkv-h-1b5	42.1
RWKV-v5-12B-one-state-chat-16k	41.3
chatglm3-6b-base	41.2
RWKV-claude-4-World-7B-20230805-ctx65k	40.2
Baichuan2-13B-Base	39.9
RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096	39.3
Baichuan2-13B-Chat-4bits	37.4
RWKV-5-World-1B5-v2-20231025-ctx4096	36.1
Qwen-7B	33.0
chatglm3-6b	30.5
RWKV-4-World-CHNtuned-1.5B-v1-20230620-ctx4096	28.9
RWKV-4-World-CHNtuned-0.4B-v1-20230618-ctx4096	22.9
RWKV-4-Novel-3B-v1-Chn-20230412-ctx4096	20.4

---

Doing：

✌️基于qwen1.5-7B和qwen1.5-14B模型已训练到57%✌️

模型训练动机：科学研究