前提概要：

需要在无网络的情况下，本地部署LLM。在出具可行性方案之前，需要对LLM的速度和稳定性有量化的评价指标。

评定本地运行速度的方法

1. 使用 Ollama 自带的性能测试工具

• Ollama 提供了性能测试工具，可以在模型运行时自动收集性能数据，包括推理速度、延迟等指标。通过这些数据可以评估模型的运行速度。例如，在部署模型后，可以使用 Ollama 的命令行界面输入相关命令来启动性能测试工具，获取模型的性能报告。

2. 记录推理时间

• 在模型运行过程中，记录从输入请求到获得输出结果所花费的时间，即推理时间。可以通过编写脚本或使用日志记录工具来实现。例如，在模型处理每个请求时，记录开始时间和结束时间，计算两者之间的差值作为推理时间。这种方法可以直观地反映模型的运行速度。

3. 使用吞吐量指标

• 吞吐量是指模型在单位时间内能够处理的请求数量。可以通过在一定时间内发送大量请求，并记录模型成功处理的请求数量来计算吞吐量。例如，在一分钟内发送 1000 个请求，记录模型成功处理的请求数量，从而计算出吞吐量。吞吐量越高，说明模型的运行速度越快。

评定本地运行稳定性的方法

1. 运行长时间的压力测试

• 通过模拟大量用户同时访问模型，持续运行一段时间（如 24 小时或更长时间），观察模型是否会出现崩溃、报错或性能下降等问题。例如，使用压力测试工具（如 JMeter）向模型发送大量请求，持续运行 24 小时，记录模型的运行状态和性能指标。如果模型在长时间运行过程中表现稳定，没有出现崩溃或性能下降等问题，则说明模型的稳定性较好。

2. 检查模型的错误率

• 在模型运行过程中，记录模型返回错误结果的比例。可以通过对比模型的输出结果与预期结果来判断是否存在错误。例如，在模型处理每个请求时，将输出结果与预期结果进行对比，记录错误结果的数量，计算错误率。错误率越低，说明模型的稳定性越高。

3. 监控系统资源占用情况

• 在模型运行过程中，监控系统资源（如 CPU、内存、GPU 等）的占用情况。如果模型在运行过程中对系统资源的占用稳定，没有出现资源占用过高或波动过大的情况，则说明模型的稳定性较好。例如，使用系统监控工具（如 Windows 的任务管理器或 Linux 的 top 命令）监控模型运行时的系统资源占用情况，观察资源占用是否稳定。

实验结果和结论的获取方法

1. 实验结果

• 将评定模型运行速度和稳定性的各项指标数据进行整理和分析，形成实验结果。例如，将推理时间、吞吐量、错误率等数据进行统计和可视化展示，以便更直观地了解模型的性能表现。

2. 结论

• 根据实验结果，对模型的运行速度和稳定性进行综合评估，得出结论。例如，如果模型的推理时间较短、吞吐量较高、错误率较低且在长时间运行过程中表现稳定，则可以得出结论：该模型在本地运行时具有较好的速度和稳定性。