1. 项目概述：当Java遇上大模型开发

去年我在为一家金融科技公司搭建智能客服系统时，第一次深刻体会到Java开发者在大模型时代的尴尬。我们团队花了三周时间才让一个简单的问答功能跑通，期间踩过的坑包括：Spring Boot与大模型API的兼容问题、Prompt模板管理混乱、对话上下文丢失等等。正是这些痛点催生了Spring AI和LangChain4j这两个Java生态的救星。

Spring AI是Spring官方推出的AI集成框架，它让Java开发者可以用熟悉的Spring方式调用各类大模型。而LangChain4j则是LangChain的Java实现，专门解决大模型应用开发中的编排问题。两者结合使用时，就像给你的Java项目装上了大模型专用工具箱——既保留了Spring的优雅，又获得了AI开发的灵活性。

这个实战指南将聚焦企业最关心的三个维度：

  • 如何用Java标准化的方式管理Prompt模板
  • 复杂对话场景下的上下文保持技巧
  • 生产环境中的异常处理和性能优化

2. 环境搭建与基础配置

2.1 依赖管理的关键选择

在pom.xml中引入依赖时，需要特别注意版本兼容性。以下是经过生产验证的稳定组合：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
    <version>0.8.1</version> <!-- 与Spring Boot 3.2.x最佳匹配 -->
</dependency>
<dependency>
    <groupId>dev.langchain4j</groupId>
    <artifactId>langchain4j</artifactId>
    <version>0.25.0</version>
</dependency>

警告：不要盲目使用最新版本。我曾遇到0.9.0与LangChain4j 0.26.0的组合导致内存泄漏的问题。

2.2 配置文件的正确姿势

application.yml中建议采用多环境配置策略：

spring:
  ai:
    openai:
      api-key: ${OPENAI_KEY:sk-default}
      temperature: 0.7 # 金融场景建议0.3-0.5
      connect-timeout: 60s
      read-timeout: 120s
    retry:
      max-attempts: 3
      backoff:
        initial-interval: 2s
        multiplier: 1.5

关键参数说明：

  • temperature：值越高创意性越强，但金融/医疗等严谨场景建议低于0.5
  • timeout设置要大于平均响应时间的3倍（实测GPT-4复杂Prompt平均响应在45秒左右）

3. Prompt工程实战方法论

3.1 结构化Prompt模板

在企业级开发中，我强烈推荐使用Thymeleaf风格的模板引擎。这是我们在电商推荐系统中验证过的方案：

@Bean
public PromptTemplate productRecommendPrompt() {
    return new PromptTemplate("""
        你是一位专业的{shopType}买手，请为{userLevel}级用户推荐商品。
        用户历史行为：{history}
        当前季节：{season}
        要求：{format}
        注意事项：{warnings}
        """);
}

调用时通过Map注入变量：

Map<String, Object> variables = Map.of(
    "shopType", "数码",
    "userLevel", "VIP",
    "history", lastMonthPurchases,
    "season", getCurrentSeason(),
    "format", "Markdown表格展示",
    "warnings", "不得推荐竞品"
);

3.2 动态上下文管理

对话场景最头疼的上下文问题，可以用LangChain4j的ConversationMemory完美解决：

ConversationMemory memory = MessageWindowChatMemory.builder()
    .maxMessages(20)
    .id(sessionId) // 通常用userId_hash
    .build();

// 添加系统预设
memory.add(SystemMessage.from("你是一个严谨的律师助手，回答必须包含法律依据"));

// 用户对话自动保持
memory.add(UserMessage.from(question));

实测技巧：当对话轮次超过15轮时，建议用SummaryChatMemory自动生成摘要重置上下文，能降低30%的token消耗。

4. 企业级高级特性

4.1 安全审计流水线

金融行业必须实现的审计功能可以这样设计：

@Bean
public AuditorAware<String> aiAuditor() {
    return () -> Optional.ofNullable(SecurityContextHolder.getContext())
            .map(SecurityContext::getAuthentication)
            .map(Authentication::getName);
}

@Aspect
@Component
public class PromptLoggingAspect {
    @AfterReturning(
        pointcut = "execution(* com..ai..*(..))",
        returning = "response")
    public void logPrompt(Object response) {
        AiAuditLog log = new AiAuditLog(
            auditor.getCurrentAuditor(),
            System.currentTimeMillis(),
            extractPrompt(response),
            extractResponse(response)
        );
        auditQueue.add(log); // 异步写入ES
    }
}

4.2 性能优化方案

我们通过以下配置将吞吐量提升了4倍：

@Configuration
@EnableCaching
public class AiCacheConfig {
    @Bean
    public CacheManager cacheManager() {
        CaffeineCacheManager manager = new CaffeineCacheManager();
        manager.setCaffeine(Caffeine.newBuilder()
            .maximumSize(10_000)
            .expireAfterWrite(30, TimeUnit.MINUTES)
            .recordStats());
        return manager;
    }
}

// 对相似度高的Prompt结果缓存
@Cacheable(value = "aiResponses", key = "#prompt.hashCode()")
public String getCachedResponse(String prompt) {
    return aiClient.generate(prompt);
}

5. 生产环境避坑指南

5.1 内存泄漏排查

Java开发者最容易忽视的是大模型返回结果的内存管理。我们曾因未及时清理对话历史导致OOM：

// 错误示例 - 会持续累积内存
List<ChatMessage> history = new ArrayList<>();

// 正确做法 - 使用WeakReference
List<WeakReference<ChatMessage>> history = new CopyOnWriteArrayList<>();

// 或者定期清理
@Scheduled(fixedRate = 3600000)
public void cleanHistories() {
    memoryStore.removeIf(entry -> 
        System.currentTimeMillis() - entry.lastAccess() > 86400000);
}

5.2 限流熔断策略

在application.yml中配置Resilience4j：

resilience4j:
  ratelimiter:
    instances:
      aiLimiter:
        limit-for-period: 50
        limit-refresh-period: 1m
        timeout-duration: 5s
  circuitbreaker:
    instances:
      aiCircuit:
        failure-rate-threshold: 50
        wait-duration-in-open-state: 30s
        sliding-window-size: 20

配合Fallback方法使用：

@RateLimiter(name = "aiLimiter")
@CircuitBreaker(name = "aiCircuit", fallbackMethod = "fallbackResponse")
public String generateWithProtection(String prompt) {
    return aiClient.generate(prompt);
}

private String fallbackResponse(String prompt, Exception ex) {
    return "系统繁忙，请稍后再试（已触发熔断）";
}

6. 监控与调优实战

6.1 Prometheus监控指标

建议监控这些关键指标：

@Bean
public MeterRegistryCustomizer<PrometheusMeterRegistry> aiMetrics() {
    return registry -> {
        Gauge.builder("ai.prompt.tokens", 
                () -> lastResponse.getUsage().getPromptTokens())
            .description("Prompt消耗token数")
            .register(registry);
        
        Timer.builder("ai.response.time")
            .publishPercentiles(0.5, 0.95)
            .register(registry);
    };
}

6.2 负载测试经验值

基于JMeter的测试数据显示：

  • 单节点（4核8G）建议QPS控制在15以下
  • 长Prompt（>500字）的响应时间是短Prompt的3-7倍
  • 上下文携带超过10轮对话时，延迟增长曲线会明显变陡

这是我们在AWS c5.xlarge上的基准测试结果：

并发数 平均响应时间 错误率
5 2.1s 0%
10 3.8s 0%
20 8.5s 12%
30 15.2s 35%

7. 典型业务场景实现

7.1 智能合同审查系统

法律场景需要严格的结果结构化，这是我们的解决方案：

public class ContractReviewService {
    private final ChatLanguageModel chatModel;
    
    @Prompt("""
        请审查以下合同条款，严格按JSON格式返回：
        {
          "riskLevel": "HIGH|MEDIUM|LOW",
          "issues": [{
            "clause": "条款内容",
            "problem": "具体问题",
            "suggestion": "修改建议"
          }]
        }
        合同内容：{contract}
        """)
    public String reviewContract(@V("contract") String text) {
        return chatModel.generate(text);
    }
}

7.2 电商客服对话引擎

处理多轮询价的核心逻辑：

public String handlePriceQuery(String sessionId, String question) {
    // 1. 检索商品库
    List<Product> candidates = productService.search(question);
    
    // 2. 构建增强Prompt
    String prompt = """
        已知可选商品：
        {products}
        
        用户问：{question}
        请根据用户等级：{level} 给出推荐
        """;
    
    // 3. 带上下文的对话
    return chatModel.generate(
        promptTemplate.create(Map.of(
            "products", formatProducts(candidates),
            "question", question,
            "level", userService.getLevel(sessionId)
        )),
        ConversationMemory.of(sessionId)
    );
}

8. 团队协作规范建议

8.1 Prompt版本管理

我们采用Git子模块管理Prompt模板：

/prompts
  /legal
    contract_review.md
    clause_analysis.md
  /customer_service
    price_query.md
    complaint_handle.md

配合Spring的Resource抽象动态加载：

@Bean
@RefreshScope
public PromptTemplate legalPrompt(@Value("classpath:/prompts/legal/contract_review.md") 
                                 Resource resource) {
    return new PromptTemplate(resource);
}

8.2 Code Review Checklist

我们团队强制执行的质量门禁：

  • [ ] 所有Prompt必须包含## SAFETY CONTROL章节
  • [ ] 对话接口必须传入ConversationMemory
  • [ ] 涉及用户数据的Prompt必须脱敏
  • [ ] 响应时间超过5秒的操作必须异步化
  • [ ] 所有AI调用必须带审计日志

9. 未来演进方向

虽然当前方案已经能解决大部分需求，但在实际项目中我们发现两个待突破点：

首先是本地化部署方案。当我们在某金融机构内网环境实施时，不得不重构整个调用链路。最终采用的Ollama+LangChain4j方案虽然可行，但Java生态的工具链明显不如Python丰富。一个可行的改进方向是：

@Bean
public LocalAiClient localAiClient() {
    return new OllamaAiClient()
        .baseUrl("http://localhost:11434")
        .modelName("llama3:latest")
        .temperature(0.3);
}

其次是复杂Agent的Java实现。目前LangChain4j对Agent的支持还比较基础，我们不得不自己实现了一些关键功能。比如这个订单处理Agent的状态机：

public class OrderAgent {
    private State state = State.IDLE;
    
    enum State {
        IDLE, AWAITING_PAYMENT, PROCESSING, SHIPPING
    }
    
    @Transactional
    public void handleEvent(OrderEvent event) {
        switch (state) {
            case IDLE:
                if (event.type() == OrderEvent.Type.PLACED) {
                    startPaymentVerification(event);
                    state = State.AWAITING_PAYMENT;
                }
                break;
            // 其他状态处理...
        }
    }
}

这些实践经验告诉我们，Java生态在大模型领域还有很长的路要走，但Spring AI和LangChain4j已经为我们打下了坚实的基础。最后分享一个热加载Prompt的小技巧：结合Spring Cloud Config和@RefreshScope，可以实现Prompt的实时更新而不用重启服务——这在AB测试场景特别有用。

Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

一个 API 入口调用多个大模型：AiiOnly客户端 + CC Switch 打通 Codex AI编程流程

avatar AI编程社区
cover

VSCode Claude Code + MiMo 中转免登录完整配置教程（解决原生登录弹窗 + 模型报错）

avatar AI编程社区
cover

从零开始做一个属于自己的 Skill（保姆级教程）

avatar AI编程社区