Update README.md
Browse files
README.md
CHANGED
@@ -10,7 +10,14 @@ base_model:
|
|
10 |
# 介绍
|
11 |
本模型是基于[deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。
|
12 |
|
13 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
14 |
|
15 |
# 运行环境
|
16 |
RKNPU Version: 0.9.8
|
@@ -45,13 +52,11 @@ vi src/llm_demo.cpp
|
|
45 |
|
46 |
将第24 25行修改为
|
47 |
```c
|
48 |
-
#define PROMPT_TEXT_PREFIX "
|
49 |
-
#define PROMPT_TEXT_POSTFIX "
|
50 |
```
|
51 |
|
52 |
-
你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的
|
53 |
-
|
54 |
-
或PROMPT_TEXT_POSTFIX里的`<|im_end|>\n`到结尾的`\n`之间的内容即可。
|
55 |
|
56 |
将第184行取消注释
|
57 |
```c
|
|
|
10 |
# 介绍
|
11 |
本模型是基于[deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。
|
12 |
|
13 |
+
|
14 |
+
在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
|
15 |
+
|
16 |
+
|模型|内存占用|模型大小|量化类型|
|
17 |
+
|---|---|---|---|
|
18 |
+
|DeepSeek-R1-Distill-Qwen-7B-RK3588S-RKLLM1.1.4|>8GB,无法测试|7.63GB|w8a8|
|
19 |
+
|
20 |
+
**因手上的开发板只有8G内存,无法完整加载模型运行,该模型的可用性有待验证。欢迎持有16GB开发板的同学验证反馈~**
|
21 |
|
22 |
# 运行环境
|
23 |
RKNPU Version: 0.9.8
|
|
|
52 |
|
53 |
将第24 25行修改为
|
54 |
```c
|
55 |
+
#define PROMPT_TEXT_PREFIX "<|begin▁of▁sentence|>system 你是一名专业AI助手请遵循:1.用简体中文回答;2.中文翻译成英文时,需使用英文回答;3.展示思考过程 <|User|>"
|
56 |
+
#define PROMPT_TEXT_POSTFIX "<|Assistant|>"
|
57 |
```
|
58 |
|
59 |
+
你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|begin▁of▁sentence|>system`到`<|User|>`之间的内容。
|
|
|
|
|
60 |
|
61 |
将第184行取消注释
|
62 |
```c
|