Otomi Core监控栈搭建教程：Prometheus、Grafana与Loki最佳实践

【免费下载链接】otomi-core App Platform for Linode Kubernetes Engine 项目地址: https://gitcode.com/gh_mirrors/ot/otomi-core

Otomi Core作为Linode Kubernetes Engine的应用平台，提供了完整的监控解决方案。本教程将带你快速搭建基于Prometheus、Grafana和Loki的监控栈，实现对Kubernetes集群的全面可观测性。通过简单配置，你就能掌握指标收集、可视化和日志管理的最佳实践，轻松应对生产环境的监控需求。

监控栈组件简介

Otomi Core的监控解决方案整合了三个核心组件，形成完整的可观测性闭环：

• Prometheus：开源的系统监控和告警工具，负责从Kubernetes集群和应用中收集指标数据
• Grafana：强大的数据可视化平台，提供丰富的仪表盘展示监控指标
• Loki：专为云原生环境设计的日志聚合系统，与Prometheus无缝集成

这些组件通过Otomi Core的自动化部署机制，能够快速实现开箱即用的监控能力，无需复杂的手动配置。

一键部署监控栈

Otomi Core提供了简化的监控栈部署流程，通过以下步骤即可完成安装：

1. 首先克隆项目仓库：

   git clone https://gitcode.com/gh_mirrors/ot/otomi-core
   cd otomi-core
   

2. 使用Otomi CLI工具部署监控组件：

   ./binzx/otomi install --components monitoring
   

部署过程中，Otomi Core会自动处理组件间的依赖关系，包括网络配置、权限设置和数据持久化等关键环节。整个过程通常在10-15分钟内完成，具体时间取决于集群规模。

配置Prometheus指标收集

Prometheus作为监控栈的核心，需要正确配置以收集Kubernetes集群和应用的关键指标。Otomi Core提供了预设的监控规则和服务发现机制：

1. 查看默认的Prometheus配置：

   cat charts/kube-prometheus-stack/values.yaml
   

2. 如需自定义监控目标，可修改Helm values文件：

   # 在values.yaml中添加额外的监控目标
   prometheus:
     prometheusSpec:
       additionalScrapeConfigs:
         - job_name: 'custom-app'
           static_configs:
             - targets: ['custom-app-service:8080']
   

3. 应用配置变更：

   ./binzx/otomi apply -f charts/kube-prometheus-stack/values.yaml
   

Otomi Core已经预置了针对Kubernetes核心组件（如etcd、kube-apiserver、kube-controller-manager等）的监控规则，无需额外配置即可开始收集关键指标。

使用Grafana创建可视化仪表盘

Grafana提供了直观的界面来可视化Prometheus收集的指标数据。Otomi Core包含了多个预定义的仪表盘，涵盖Kubernetes集群监控的各个方面：

图：Grafana展示的Kubernetes Pod资源使用情况仪表盘，包含内存、CPU和网络I/O等关键指标

访问Grafana控制台的步骤：

1. 获取Grafana访问地址：

   ./binzx/otomi status | grep grafana
   

2. 使用默认凭据登录（首次登录后请修改密码）

3. 浏览预置仪表盘：

   • Kubernetes集群概览
   • 节点详细监控
   • 应用性能分析
   • 资源使用趋势

Otomi Core还提供了自定义仪表盘的功能，你可以根据业务需求创建特定的可视化视图。所有自定义仪表盘会自动持久化，确保升级或重启后不会丢失。

配置Loki日志收集

Loki是专为云原生环境设计的日志聚合系统，与Prometheus使用相同的标签机制，实现了高效的日志收集和查询：

图：Loki日志浏览器展示的应用日志，支持按命名空间、Pod和容器过滤

配置Loki收集应用日志的步骤：

1. 确认Loki组件已部署：

   kubectl get pods -n monitoring | grep loki
   

2. 查看默认日志收集配置：

   cat charts/loki/values.yaml
   

3. 如需添加自定义日志源，可修改配置：

   # 在values.yaml中添加额外的日志收集规则
   promtail:
     config:
       snippets:
         pipelineStages:
           - docker: {}
           - match:
               selector: '{app="custom-app"}'
               stages:
                 - json:
                     expressions:
                       level: level
                       message: message
   

4. 应用配置变更：

   ./binzx/otomi apply -f charts/loki/values.yaml
   

通过Grafana的Explore功能，你可以直接查询Loki中的日志数据，并与Prometheus指标关联分析，实现指标与日志的联动排查。

设置告警通知

监控的最终目的是及时发现并解决问题，Otomi Core提供了完善的告警机制，支持多种通知渠道：

图：Otomi控制台的告警设置页面，可配置通知接收者和频率

配置告警通知的步骤：

1. 登录Otomi控制台，导航至Settings > Alerts

2. 配置告警参数：

   • Group Interval：告警分组间隔，建议设置为5-10分钟
   • Repeat Interval：告警重复发送间隔，建议设置为30-60分钟
   • Notification Receivers：选择通知渠道（Slack、Microsoft Teams或Email）

3. 自定义告警规则：

   # 编辑告警规则文件
   cat charts/kube-prometheus-stack/templates/prometheus/rules-1.14/node-exporter.yaml
   

4. 应用告警规则变更：

   ./binzx/otomi apply
   

Otomi Core预置了常见的告警规则，如节点资源使用率过高、Pod异常重启、服务不可用等，你也可以根据业务需求创建自定义告警规则。

监控最佳实践

为了充分发挥Otomi Core监控栈的能力，建议遵循以下最佳实践：

指标监控

• 核心指标优先：重点监控CPU、内存、磁盘I/O和网络等基础资源指标
• 业务指标补充：根据应用特性添加自定义业务指标，如请求延迟、错误率等
• 设置合理阈值：避免过于敏感的告警阈值导致告警风暴

日志管理

• 结构化日志：尽量使用JSON格式输出日志，便于查询和分析
• 日志保留策略：根据存储容量和合规要求设置合理的日志保留时间
• 关键日志标记：对重要操作和错误日志添加特殊标记，便于快速定位

告警策略

• 告警分级：根据严重程度将告警分为P1（紧急）到P3（提示）等级别
• 告警聚合：相似告警进行聚合，减少通知数量
• 告警抑制：设置告警依赖关系，避免级联故障导致的大量告警

总结

通过Otomi Core搭建Prometheus、Grafana和Loki监控栈，你可以轻松实现Kubernetes集群的全面可观测性。这套解决方案不仅简化了监控系统的部署和配置流程，还提供了丰富的预置功能，让你能够快速掌握集群和应用的运行状态。

无论是新手还是有经验的用户，都能通过本教程快速上手Otomi Core的监控功能。随着业务的发展，你还可以根据实际需求扩展监控能力，添加更多高级特性。

监控是保障系统稳定运行的关键环节，希望本教程能帮助你构建可靠、高效的监控体系，为你的Kubernetes应用保驾护航。

【免费下载链接】otomi-core App Platform for Linode Kubernetes Engine 项目地址: https://gitcode.com/gh_mirrors/ot/otomi-core