告别 ELK！Loki + Grafana 零成本搭建轻量级日志平台（Spring Boot 实战）

为什么你需要换掉 grep 查日志

线上出问题时，Java 开发者的标准操作流程通常是：SSH 连上服务器 → tail -f 看日志 → grep 过滤 → 翻屏 → 找不到再换关键词 grep → 终于找到那条关键错误。

这个过程至少有两个致命缺陷：

  1. 日志是非结构化的。grep "ERROR" 能搜到 3000 行无关日志，而真正需要的那条 NullPointerException 淹没在噪音里
  2. 无法做聚合分析。你没法回答"这个错误今天发生了多少次""过去一周的趋势是上升还是下降"

本文介绍一套零内存负担的日志方案——使用 Loki + Grafana 替代重量级 ELK，配合 Spring Boot 结构化日志，10 分钟完成从搭建到可用的完整流程。

ELK 为什么不适合小团队

ELK（Elasticsearch + Logstash + Kibana）是日志领域的标杆方案，但它有一个绕不开的问题：Elasticsearch 吃内存。

组件 最低内存 实际运行需要
Elasticsearch 2GB 4GB+
Logstash 1GB 2GB
Kibana 512MB 1GB
合计 3.5GB 7GB+

一台 2C4G 的云服务器装完 ELK，留给业务应用的内存就所剩无几了。而且 ES 还需要持续维护分片策略、索引生命周期、JVM 调优等工作——对于中小团队来说运维成本太高。

Loki 的设计理念完全不同。它由 Grafana 团队开发，只对标签（labels）建索引，不对日志内容建全文索引。日志原文使用压缩存储，这使得资源消耗降低了近 20 倍。

对比维度 Elasticsearch Loki
内存占用 4GB+ ~200MB
1GB 日志磁盘占用 ~1.5GB ~200MB
部署方式 集群配置复杂 Docker Compose 单文件启动
查询语言 DSL（学习曲线陡） LogQL（类 PromQL 风格）
适用场景 全文检索 按标签快速过滤

对于线上问题排查——"找出某服务最近一小时的所有 ERROR 日志"——Loki 的标签索引方案完全够用，甚至比 ES 更快。

10 分钟部署指南

Docker Compose 配置

只需一个 docker-compose.yml 文件，包含三个服务：Loki（日志存储）、Grafana（可视化）、Promtail（日志采集）。

version: "3"
services:
  loki:
    image: grafana/loki:3.7.3
    ports:
      - "3100:3100"
    command: -config.file=/etc/loki/local-config.yaml
    volumes:
      - ./loki-data:/loki

  grafana:
    image: grafana/grafana:13.1.0
    ports:
      - "3000:3000"
    environment:
      - GF_AUTH_ANONYMOUS_ENABLED=true
    volumes:
      - ./grafana-data:/var/lib/grafana

  promtail:
    image: grafana/promtail:3.7.3
    volumes:
      - /opt/app/logs:/var/log/app
      - ./promtail-config.yml:/etc/promtail/config.yml
    command: -config.file=/etc/promtail/config.yml

启动命令：

docker compose up -d

打开 http://localhost:3000，在 Grafana 中添加 Loki 数据源（URL 填写 http://loki:3100），平台就位。

Promtail 采集配置

promtail-config.yml 负责将应用的 JSON 日志送到 Loki：

server:
  http_listen_port: 9080

clients:
  - url: http://loki:3100/loki/api/v1/push

scrape_configs:
  - job_name: spring-boot
    static_configs:
      - targets:
          - localhost
        labels:
          app: order-service
          env: production
          __path__: /var/log/app/*.json

Spring Boot 输出结构化日志

添加依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>8.0</version>
</dependency>

Logback 配置

logback-spring.xml 中配置两个 appender：一个控制台输出可读格式，一个文件输出 JSON 格式供 Promtail 采集。

<configuration>
    <!-- 控制台：可读格式 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%thread] %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- 文件：JSON 格式 -->
    <appender name="JSON_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>logs/app.json</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>logs/app.%d{yyyy-MM-dd}.json</fileNamePattern>
            <maxHistory>7</maxHistory>
        </rollingPolicy>
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp/>
                <logLevel/>
                <loggerName/>
                <message/>
                <mdc/>
                <stackTrace/>
            </providers>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="CONSOLE"/>
        <appender-ref ref="JSON_FILE"/>
    </root>
</configuration>

核心是 <mdc/> provider——它会把 MDC 中设置的自定义字段打平到 JSON 的顶层，使业务字段成为 Loki 可直接过滤的标签。

代码中写入结构化字段

import org.slf4j.MDC;

@PostMapping("/order")
public Result createOrder(@RequestBody OrderReq req) {
    MDC.put("userId", req.getUserId().toString());
    MDC.put("productId", req.getProductId());

    try {
        orderService.create(req);
        log.info("下单成功");
        return Result.ok();
    } catch (InsufficientStockException e) {
        log.error("下单失败——库存不足");
        return Result.fail("库存不足");
    } finally {
        MDC.clear();  // 线程池复用场景下防止数据污染
    }
}

输出的 JSON 日志示例：

{
  "@timestamp": "2026-07-16T10:30:22.456+08:00",
  "level": "ERROR",
  "logger_name": "com.example.controller.OrderController",
  "message": "下单失败——库存不足",
  "userId": "13882",
  "productId": "SPU-9921"
}

LogQL 查询速查表

Loki 的查询语言叫 LogQL，语法与 Prometheus 的 PromQL 高度相似。以下是日常排查中最常用的查询：

使用场景 LogQL 查询
查所有 ERROR 日志 {app="order-service"} \|= "ERROR"
按用户 ID 过滤 {app="order-service"} \|= "13882"
正则匹配（如 NPE） {app="order-service"} \|~ "NullPointer.*Exception"
排除健康检查 {app="order-service"} != "/health"
统计每小时错误数 count_over_time({app="order-service"} \|= "ERROR" [1h])
查看最近 100 条错误 {app="order-service"} \|= "ERROR" \| limit 100

使用要点

  1. count_over_time 是最实用的函数。在 Grafana 中用它画折线图，可以直观看到错误数量的变化趋势——哪个时间点异常激增，一眼可见。
  2. 标签设计是关键。标签数建议控制在 10 个以内，app、env、level 这种低频高区分度的字段适合做标签；userId、orderId 这种高频字段放在日志内容里用 \|= 过滤即可。如果把每个用户的 ID 都作为标签，Loki 会产生海量标签组合导致性能骤降。
  3. \|~ 正则比 ES 全文搜索更高效——Loki 先用标签过滤缩小范围，再对少量结果做正则匹配，而非全量扫描。

最终效果对比

原来：ssh → tail -f → grep → 翻 → 再grep → 再翻 → "哦在这"
现在：Grafana Explore → 一行 LogQL → 5秒出结果 + 时间分布图

不只是定位单个错误，而是获得了系统的全局视角：什么时间开始出问题、影响了多少请求、和上一次上线时间是否吻合——一张 Grafana 面板全看清了。

总结

完整部署清单：

  1. 创建 docker-compose.yml（Loki + Grafana + Promtail）
  2. docker compose up -d 启动
  3. pom.xml 添加 logstash-logback-encoder 依赖
  4. logback-spring.xml 配置 JSON Encoder
  5. 代码中通过 MDC 写入业务字段
  6. Grafana 中配置 Loki 数据源
  7. Explore 页面使用 LogQL 查询

整个流程不超过 10 分钟，内存占用仅 ~200MB，比 ELK 方案节省 95% 以上。

日志平台的价值不在于"搭得多么完善"，而在于"出问题时能不能用"。花 10 分钟搭好 Loki，下次线上故障，你省下的不只是两个小时——还有被人问"查到哪了"时的心跳加速。

📋 文章摘要：本文介绍了一套轻量级日志方案——使用 Loki + Grafana 替代资源消耗巨大的 ELK 栈。通过 Docker Compose 一键部署 Loki v3.7.3、Grafana v13.1.0 和 Promtail，Spring Boot 应用通过 logstash-logback-encoder 输出结构化 JSON 日志，配合 LogQL 查询语言实现秒级日志检索。整体内存占用仅 200MB（仅为 ELK 的 5%），10 分钟即可完成从零搭建。附完整配置文件、MDC 使用示例和 LogQL 查询速查表。

# grafana # jenkins # 运维
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

一个 API 入口调用多个大模型：AiiOnly客户端 + CC Switch 打通 Codex AI编程流程

avatar AI编程社区
cover

VSCode Claude Code + MiMo 中转免登录完整配置教程（解决原生登录弹窗 + 模型报错）

avatar AI编程社区
cover

从零开始做一个属于自己的 Skill（保姆级教程）

avatar AI编程社区