VRxiaojie commited on
Commit
b0aa7bf
·
verified ·
1 Parent(s): 7e71303

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -6
README.md CHANGED
@@ -10,7 +10,14 @@ base_model:
10
  # 介绍
11
  本模型是基于[deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。
12
 
13
- **因手上的开发板只有8G版本内存,无法完整加载模型运行,该模型的可用性有待验证。**
 
 
 
 
 
 
 
14
 
15
  # 运行环境
16
  RKNPU Version: 0.9.8
@@ -45,13 +52,11 @@ vi src/llm_demo.cpp
45
 
46
  将第24 25行修改为
47
  ```c
48
- #define PROMPT_TEXT_PREFIX "<|im_start|>system\n你是一名通用对话助手,用中文回答问题,回答时必须展现严谨的逻辑思维,听从用户的命令<|im_end|>\n<|im_start|>user\n"
49
- #define PROMPT_TEXT_POSTFIX "<|im_end|>\nChinese assistant\n"
50
  ```
51
 
52
- 你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|im_start|>system\n`到`<|im_end|>\n<|im_start|>user\n`之间的内容,
53
-
54
- 或PROMPT_TEXT_POSTFIX里的`<|im_end|>\n`到结尾的`\n`之间的内容即可。
55
 
56
  将第184行取消注释
57
  ```c
 
10
  # 介绍
11
  本模型是基于[deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。
12
 
13
+
14
+ 在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
15
+
16
+ |模型|内存占用|模型大小|量化类型|
17
+ |---|---|---|---|
18
+ |DeepSeek-R1-Distill-Qwen-7B-RK3588S-RKLLM1.1.4|>8GB,无法测试|7.63GB|w8a8|
19
+
20
+ **因手上的开发板只有8G内存,无法完整加载模型运行,该模型的可用性有待验证。欢迎持有16GB开发板的同学验证反馈~**
21
 
22
  # 运行环境
23
  RKNPU Version: 0.9.8
 
52
 
53
  将第24 25行修改为
54
  ```c
55
+ #define PROMPT_TEXT_PREFIX "<|begin▁of▁sentence|>system 你是一名专业AI助手请遵循:1.用简体中文回答;2.中文翻译成英文时,需使用英文回答;3.展示思考过程 <|User|>"
56
+ #define PROMPT_TEXT_POSTFIX "<|Assistant|>"
57
  ```
58
 
59
+ 你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|begin▁of▁sentence|>system`到`<|User|>`之间的内容。
 
 
60
 
61
  将第184行取消注释
62
  ```c