原文链接： 使用 NGINX Plus Ingress Controller 有效保护 NVIDIA Triton 推理服务器
转载来源： NGINX 中文社区

NGINX 唯一中文官方社区 ，尽在 nginx.org.cn

本文将带领大家走进 AI 和机器学习 (ML) 世界，并了解 F5 的 NGINX Plus Ingress Controller 如何为托管在 Kubernetes 上的 NVIDIA Triton 推理服务器提供安全、可扩展的外部访问。

NVIDIA Triton 推理服务器是一款强大的工具，用于在生产环境中部署机器学习模型，专为在 Kubernetes 上运行而设计。作为将经过训练的模型部署到生产环境中的平台，它在 AI 和机器学习中发挥着至关重要的作用。Triton 支持这些模型高效处理传入数据，实时生成预测或洞察，并支持多种深度学习框架，例如 TensorFlow、PyTorch 和 ONNX Runtime。它能够管理模型的部署、扩展和版本控制，为开发人员和运维人员提供无缝体验。

NGINX Plus Ingress Controller 能够为在 Kubernetes 上运行的应用提供和管理外部连接。它具有 SSL/TLS终止、流量限制和基于请求属性的高级路由等高级功能，可增强标准 Kubernetes Ingress 功能。NGINX Plus 还能够与外部身份验证服务相集成，提供 NGINX App Protect 等增强型安全防护功能。

该控制器可提高部署在 Kubernetes 上应用的性能、可靠性和安全性，因此成为了管理生产环境中入向流量的热门选择。

部署概述

自助演示提供了一个工作示例，说明了 NGINX Plus Ingress Controller 如何为 Kubernetes 托管的 NVIDIA Triton 推理服务器集群提供安全的外部访问和负载均衡（见下图）。

演示资源和分步指导均可在 GitHub 上获取。该代码仓库基于从 NVIDIA Triton 推理服务器仓库和 NGINX Plus Ingress Controller 引出的分支。其中包含一张 Helm 图表以及在本地或云端 Kubernetes 集群中安装可扩展 NVIDIA Triton 推理服务器和 NGINX+ Ingress Controller 的操作说明。

除了 Triton 推理服务器和 Ingress Controller（Ingress 控制器）以外，该仓库还部署了 Promethues 和 Grafana（以及 NGINX Plus 仪表盘），可帮助自动扩展和观测 Triton 服务器服务，并监控入向/出向流量（见下图）。