其实在API里已经说得很清楚了:

https://github.com/ollama/ollama/blob/main/docs/api.md

https://github.com/ollama/ollama/blob/main/docs/modelfile.md#valid-parameters-and-values 

参考这两个网页就可以,Ollama API(包括其模型配置)默认的上下文长度是2048,这个在很多场景中都是远远不够的,下面举一个简单的例子:

curl http://192.168.1.80:10001/api/generate -d '{
  "model": "qwen2:72b",
  "prompt": "测试",
  "stream": false,
  "options": {"num_ctx": 8192}
}'

这样就指定了上下文长度为8192。就简单总结这么多。

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐