可能写的有点粗糙,但是我搞通了,有不懂的可以问我,懒得再更新了

其实我也是520当天搭建好的,现在的教程也不多,我就搜了搜,没什么具体的步骤,我想用windows感觉更方便一点但是一直不行各种版本问题还有缺失编译各种问题,我就用的linux

我的项目是调用的ollama本地模型然后进行Promptfoo测试

项目本身windows里面下载了ollama

1、下载ubuntu,为的就是在linux里面使用promptfoo

2、ubuntu里面下载ollama(好像也可以不下载,问问ai怎么连接windows里面的ollama,如果不行就在ubuntu里面下载ollama然后连接),不用在ubuntu的ollama里面再次下载模型文件了

3、连接成功后创建一个文件夹(随便起就行)

里面的tests写你的测试用例(也可以写在yaml文件里面就是比较冗余)

具体里面应该怎么写,可以问ai,我现在可以跑,可能数据属性什么的没弄懂,反正思路没问题

***ubuntu里面的语句***

cd /mnt/d/promptfoo-demo (promptfoo-demo是你自己创建的文件夹的名字)

promptfoo eval(进行测试)

promptfoo view(打开web端可是工具  网址是eval-JXY-2026-05-21T01:14:09 | promptfoohttp://localhost:15500/eval


下面是我yaml的格式(格式很重要,多一个空格都不行和java后的yaml文件一样)


providers:
  - ollama:qwen3:1.7b

env:
  OLLAMA_BASE_URL: http://192.168.××.×××:11434

prompts:
  - |
    你是工业机床UI控制助手。
    可用页面列表(必须完全匹配):
    -主页
    -程序

    用户输入:{{question}}
    只输出JSON,不要任何解释,不要加其他额外的文字。
    输出格式:{"tool_calls":[{"function":"page_jump","parameters":{"target_page":"页面名称"}}]}

tests:
  - name: 主页 - 进入
    vars:
        question: 进入主页
    assert:
        - type: contains
          value: '"function":"page_jump"'
        - type: contains
          value: '"target_page":"主页"'

  - name: 找边 - 打开
    vars:
      question: 打开找边页面
    assert:
      # 如果输出匹配任何合法页面 → 测试失败
        - type: contains
          value: '"function":"page_jump"'
        - type: contains
          value: '"target_page":"找边"'


output:
  format: markdown
  file: results.md

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐