ValueFX9507 commited on
Commit
2bb6546
·
verified ·
1 Parent(s): 8a645bb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +85 -3
README.md CHANGED
@@ -1,3 +1,85 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model:
3
+ - deepseek-ai/deepseek-r1-14b
4
+ language:
5
+ - zh
6
+ - en
7
+ library_name: transformers
8
+ tags:
9
+ - incremental-pretraining
10
+ - sft
11
+ - reinforcement-learning
12
+ - roleplay
13
+ - cot
14
+ license: other
15
+ ---
16
+ # Tifa-Deepseek-14b-CoT
17
+
18
+ - **HF Model**: [ValueFX9507/Tifa-Deepsex-14b-CoT](https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT)
19
+ - **GGUF**: [Q4_K_M | Q5_K_M | Q8_0](https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT)(更多量化版本持续更新中)
20
+ - **Demo APK**: [点击下载](https://example.com/path/to/demo.apk) <!-- 替换为实际下载链接 -->
21
+
22
+ 本模型基于Deepseek-R1-14B进行深度优化,通过三重训练策略显著增强小说文本生成与思维链(CoT)能力。特别适合需要长程上下文关联的创作场景。
23
+
24
+ ## 模型亮点
25
+ 🔥 **四阶段进化架构**:
26
+ 1. **增量预训练**:注入0.4T小说token增强文本连贯性
27
+ 2. **Tifa-SFT**:融合全球Top4角色扮演模型Tifa的10万条高质量数据
28
+ 3. **CoT恢复训练**:采用Deepseek-32B/685B数据重建推理能力
29
+ 4. **RL强化**:保留发散性思维标签的同时优化生成质量
30
+
31
+ 💡 **工程创新**:
32
+ - 16k超长上下文支持
33
+ - 随机截断训练增强鲁棒性
34
+ - 8×H20 GPU全量微调
35
+ - 全面GGUF格式支持
36
+
37
+ ## 模型详情
38
+ | 属性 | 规格 |
39
+ |-------|------|
40
+ | 基础架构 | Deepseek-R1-14B |
41
+ | 最大上下文 | 128k |
42
+ | 训练数据 | 0.4T小说 + 10万条SFT + Deepseek混合数据 |
43
+ | 训练设备 | 8×H800 GPU集群 |
44
+ | 量化支持 | GGUF(全系列量化计划中) |
45
+
46
+ ## 使用场景
47
+ ✅ **推荐场景**:
48
+ - 角色扮演对话
49
+ - 需要发散性思维的创意写作
50
+ - 复杂逻辑的思维链(CoT)推理
51
+ - 基于上下文的深度角色交互
52
+
53
+ ❌ **局限场景**:
54
+ - 数学计算与代码生成
55
+ - 短文本即时问答
56
+ - 需要严格事实性的场景
57
+
58
+ ## 注意事项
59
+ ⚠️ 本模型使用数据包含小说版权内容及Tifa模型衍生数据,请遵守:
60
+ 1. 禁止商用
61
+ 2. 角色扮演数据需遵循[Tifa使用协议](https://leftnorth.com/terms.html)
62
+ 3. 生成内容需符合当地法律法规
63
+
64
+ ## 示例对话
65
+ ```python
66
+ from transformers import AutoTokenizer, AutoModelForCausalLM
67
+
68
+ model = AutoModelForCausalLM.from_pretrained("your_hf_account/Tifa-Deepseek-14b-CoT")
69
+ tokenizer = AutoTokenizer.from_pretrained("your_hf_account/Tifa-Deepseek-14b-CoT")
70
+
71
+ input_text = "[系统]进入创作模式...</s>[作者]现在要描写一个未来都市的雨夜场景:"
72
+ inputs = tokenizer(input_text, return_tensors="pt")
73
+ outputs = model.generate(**inputs, max_length=1024)
74
+ print(tokenizer.decode(outputs[0]))
75
+ ```
76
+
77
+ ## 致谢
78
+ - Deepseek系列模型提供的强大基座
79
+ - Tifa角色扮演模型的创新架构
80
+ - HuggingFace社区的量化工具支持
81
+
82
+
83
+ ---
84
+ license: apache-2.0
85
+ ---