File size: 580 Bytes
2d1c45e 0eee366 2d1c45e a6e34fe 2d1c45e 6e5f59e 2d1c45e |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
FROM codellama:13b-code
# Base model name and adapter
ADAPTER ./codellama-13b-qml.gguf
# Parameters optimized for code generation
PARAMETER temperature 0
PARAMETER repeat_penalty 1.1
PARAMETER num_predict 300
PARAMETER top_p 0.9
PARAMETER stop "<SUF>"
PARAMETER stop "<PRE>"
PARAMETER stop "</PRE>"
PARAMETER stop "</SUF>"
PARAMETER stop "< EOT >"
PARAMETER stop "\\end"
PARAMETER stop "<MID>"
PARAMETER stop "</MID>"
PARAMETER stop "##"
# Template format for code interactions
TEMPLATE """{{if .Prompt}}{{ .Prompt }}{{end}}{{if .Response}}{{ .Response }}{{end}}"""
|