1.环境

华为云CCE
节点为8和16G

2.ray job配置

      - replicas: 100
        minReplicas: 100
        maxReplicas: 500

在这里插入图片描述

3.启动测试

首次启动

拉去镜像等耗时差不多一分钟左右。
在这里插入图片描述

非首次启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三次运行分别16、14、10秒

Logo
AI编程社区

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

AI原生应用领域混合推理技术的最新进展

当我们谈论AI原生应用（如ChatGPT、GitHub Copilot、智能诊疗系统）时，“灵活但不可靠”“准确但不智能”的矛盾始终是绕不开的痛点——纯神经模型（如大语言模型）像“凭直觉做题的学生”，擅长处理复杂场景却常犯“幻觉”错误；纯符号系统（如传统专家系统）像“死记硬背的书呆子”，逻辑严谨却无法应对非结构化数据。混合推理技术。

avatar AI编程社区
cover

AI编程工具能力对比评测：构建安全可靠应用的最佳选择

avatar AI编程社区
cover

深度分析：AI编程助手评测盘点，优化软件交付与运行的最佳选择

avatar AI编程社区