| FROM codellama:13b-code | |
| # Base model name and adapter | |
| ADAPTER ./codellama-13b-qml.gguf | |
| # Parameters optimized for code generation | |
| PARAMETER temperature 0 | |
| PARAMETER repeat_penalty 1.1 | |
| PARAMETER num_predict 300 | |
| PARAMETER top_p 0.9 | |
| PARAMETER stop "<SUF>" | |
| PARAMETER stop "<PRE>" | |
| PARAMETER stop "</PRE>" | |
| PARAMETER stop "</SUF>" | |
| PARAMETER stop "< EOT >" | |
| PARAMETER stop "\\end" | |
| PARAMETER stop "<MID>" | |
| PARAMETER stop "</MID>" | |
| PARAMETER stop "##" | |
| # Template format for code interactions | |
| TEMPLATE """{{if .Prompt}}{{ .Prompt }}{{end}}{{if .Response}}{{ .Response }}{{end}}""" | |