前言

在 AI 技术爆发的这两年里，我一直在思考一个问题：Python 有 LangChain，JavaScript 有 LangChain.js，我们 Java 开发者拿什么来构建 AI 应用？

这个问题在 2024-2025 年终于有了答案。

随着 Spring AI 的 1.0 GA 发布、LangChain4j 的持续迭代、阿里云开源 Spring AI Alibaba 和 AgentScope-Java，以及微软的 Semantic Kernel 加入战局，Java 生态终于形成了完整的 AI 开发版图。

今天这篇文章，我就以一名资深 Java 开发者的视角，专门跟大家一起聊聊 Java 中的 5 大 AI 框架，深度剖析它们的架构、优缺点及选型建议，希望对你会有所帮助。

💡 更多项目实战在项目实战网：java 突击队

一、为什么要了解 Java AI 框架？

有些小伙伴可能觉得：“不就是调用个 API 吗，我写个 RestTemplate 不就搞定了？”

但现实远比想象复杂。一个完整的企业级 AI 应用，绝不仅仅是发送一个 HTTP 请求那么简单。你需要处理：

1. 多轮对话记忆：维护会话上下文，让 AI 记住刚才说了什么。
2. RAG 检索增强：从向量数据库中检索相关文档，让 AI 基于事实回答，减少幻觉。
3. Tool Calling：让 AI 调用外部 API，查询天气、查订单、发邮件。
4. 智能体编排：多个 AI 协同工作，完成复杂任务。
5. 可观测性：监控 AI 调用的延迟、成功率、Token 消耗。
6. 模型切换：同一套代码支持 OpenAI、通义千问、文心一言等多种模型。
7. 安全沙箱：限制 AI 执行敏感操作，防止安全风险。

这些能力，如果全部自己实现，工作量巨大且容易出错。AI 框架的价值，就是把这些复杂性封装起来，让开发者专注于业务逻辑。

二、五大 AI 框架生态概览

目前 Java 生态中，主流的五大大框架各有侧重。我们可以通过以下维度快速了解它们的定位：

框架	定位	设计理念	适用场景
Spring AI	Spring 生态 AI 集成	轻量便捷	标准企业应用
LangChain4j	模块化 AI 工具包	灵活组装	复杂 AI 应用
Spring AI Alibaba	Spring AI + 阿里云生态	Workflow 编排	企业级业务系统
AgentScope-Java	阿里通义多智能体	Agentic 优先	高可靠生产部署
Semantic Kernel	微软 AI 编排框架	Kernel 编排	Azure 生态集成

接下来，我们逐一深入剖析。

三、Spring AI：Spring 生态的官方答案

3.1 项目概况

• 一句话定位： Spring 官方出品的 AI 应用开发框架。
• 里程碑： 2025 年 5 月 20 日，Spring AI 1.0 GA 版本正式发布。
• 背景： 由 Spring 官方团队维护，旨在将 Spring 的设计原则（可移植性、模块化设计）应用到 AI 领域。
• 开源地址： github.com/spring-proj…

3.2 核心架构

Spring AI 的设计理念是 “POJO 优先”，通过熟悉的依赖注入方式将 AI 能力注入应用。你不需要学习新的编程模型，只需要像配置 DataSource 一样配置 AI。

@Configuration
public class SpringAIConfig {
    
    @Bean
    public ChatClient chatClient(ChatClient.Builder builder) {
        return builder
            .defaultSystem("你是一个专业的客服助手")
            .defaultOptions(ChatOptions.builder()
                .temperature(0.7)
                .maxTokens(500)
                .build())
            .build();
    }
}

3.3 核心功能

• 模型抽象层：统一支持 OpenAI、Anthropic、Azure、Google Gemini 等主流模型。
• MCP 协议支持：全面支持 Model Context Protocol，可同时构建 MCP 客户端和服务器。
• RAG 支持：提供完整的检索增强生成功能。
• Spring Boot 集成：自动配置和 Starter，简化集成。

3.4 代码示例

只需几行代码，一个 AI 对话接口就完成了！这就是 Spring AI 的魅力。

@RestController
@RequestMapping("/api/ai")
public class AIController {
    
    private final ChatClient chatClient;
    
    public AIController(ChatClient.Builder builder) {
        this.chatClient = builder.build();
    }
    
    @GetMapping("/chat")
    public String chat(@RequestParam String message) {
        return chatClient.prompt()
                .user(message)
                .call()
                .content();
    }
    
    @GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(@RequestParam String message) {
        return chatClient.prompt()
                .user(message)
                .stream()
                .content();
    }
}

3.5 优缺点分析

✅ 优点：

• 与 Spring 生态无缝集成
• 统一的 API 抽象，切换模型只需修改配置
• 内置可观测性，支持 Micrometer 全链路追踪
• 官方支持，版本稳定

❌ 缺点：

• 需 Java 17+，不兼容 Java 8
• Agent 能力较弱，多智能体编排需自行实现
• 功能迭代速度慢于 LangChain4j

🎯 适用场景：

• 已有 Spring Boot 技术栈的团队
• 需快速集成基础 AI 能力的项目
• 轻量级 AI 应用开发

---

四、LangChain4j：最灵活的纯 Java AI 工具包

4.1 项目概况

• 一句话定位： Java 版的 LangChain，模块化 AI 工具包。
• 背景： 始于 2023 年初，填补 Java 生态中缺乏成熟 LLM 库的空白。目前是功能最丰富的框架。
• 开源地址： github.com/langchain4j…

4.2 核心架构

LangChain4j 采用模块化设计，提供两层 API：

• 高层 API： @AiService 声明式接口（类似 MyBatis/Spring Data JPA）。
• 低层 API： ChatModel、EmbeddingStore 等核心抽象。

4.3 核心功能

A. 声明式 AI 服务（@AiService）—— 最杀手级特性

// 1. 定义接口，无需实现类
interface Assistant {
    @SystemMessage("你是一个专业的客服助手")
    String chat(@UserMessage String userMessage);
    
    @MemoryId
    String chatWithMemory(@MemoryId String userId, @UserMessage String message);
}

// 2. 创建实例
Assistant assistant = AiServices.builder(Assistant.class)
    .chatModel(chatModel)
    .chatMemory(chatMemory)
    .build();

// 3. 直接调用
String response = assistant.chat("你好，我想退货");

B. 强大的工具调用

@Component
public class WeatherService {
    
    @Tool(description = "查询指定城市的天气")
    public String getWeather(@P("城市名称") String city) {
        return weatherApi.get(city);
    }
}

C. 多模型支持
支持 20+ LLM 提供商、30+ 向量数据库，集成最广泛的 Java AI 框架。

4.4 优缺点分析

✅ 优点：

• RAG/Agent 能力最强
• 模块化设计，按需引入依赖
• 无框架依赖（Spring/Quarkus/纯 Java SE 均可运行）
• 社区活跃，GitHub Stars 远超 Spring AI

❌ 缺点：

• 学习曲线陡峭，概念复杂
• 无官方企业级支持
• 缺少安全沙箱等生产特性

🎯 适用场景：

• 需复杂 Agent/RAG 能力的应用
• 非 Spring 技术栈项目
• 追求极致灵活性的团队

💡 更多项目实战在项目实战网：java 突击队

---

五、Spring AI Alibaba：Spring AI + 阿里云生态

5.1 项目概况

• 一句话定位：连接阿里云 AI 能力与 Spring 生态的企业级框架。
• 背景：由阿里云开源（Apache Dubbo/Spring Cloud Alibaba 原班团队），2024 年 9 月开源。
• 开源地址： github.com/alibaba/spr…

5.2 核心架构

核心差异化能力：Graph 多智能体框架，侧重 Workflow 形态的工作流编排。

5.3 核心功能

A. Graph 多智能体框架

StateGraph<MyState> graph = new StateGraph<>(MyState.class)  
    .addNode("analyze", new LlmNode())  
    .addNode("search", new ToolNode())  
    .addNode("confirm", new HumanNode())  
    .addConditionalEdge("analyze", condition)  
    .build();  

B. MCP Gateway：零代码转换存量应用
基于 Nacos 提供的 MCP server registry 实现，将 Nacos 中注册的服务信息转换成 MCP 协议的服务器信息，无需对原有业务代码进行改造。

C. 企业级生态集成

• DashScope 集成：通义千问系列模型原生支持。
• Nacos MCP Registry：支持 MCP Server 分布式部署与负载均衡。
• Higress AI 网关：提供模型代理、流量管控。
• ARMS 可观测性：自动埋点，兼容 OpenTelemetry。

5.4 优缺点分析

✅ 优点：

• 深度集成阿里云生态，国内开发者友好。
• Graph 工作流编排能力强，适合企业级业务场景。
• MCP Gateway 实现零代码存量应用转换。
• 与 Spring 生态无缝集成。

❌ 缺点：

• 与阿里云服务耦合较重。
• 需 Java 17+。
• 社区规模相对较小。

🎯 适用场景：

• 阿里云技术栈的企业。
• 需要工作流编排的复杂业务系统。
• 对数据安全有要求、需要私有化部署的场景。

---

六、AgentScope-Java：企业级多智能体框架

6.1 项目概况

一句话定位：阿里巴巴通义实验室开源的面向企业级生产部署的多智能体框架。
背景：于 2025 年 12 月正式发布 1.0 版本，是阿里通义实验室在 Python 版 AgentScope（GitHub 1.5w+ stars）基础上推出的 Java 版本。
开源地址：github.com/modelscope/…

6.2 核心架构

采用 ReAct（Reasoning-Acting）范式作为核心架构，这是一种推理与行动相结合的智能体模式。

6.3 核心功能

A. ReAct 范式原生支持

@AgentComponent  
public class OrderRefundAgent {  
    @ReasonStep  
    public Plan reason(UserRequest request) {  
        // LLM 生成任务计划：查订单→验风控→执行退款  
    }  
      
    @ActStep  
    public ActionResult act(Plan plan) {  
        // 调用工具执行  
    }  
}  

B. 安全沙箱机制
AgentScope-Java 提供了开箱即用的安全沙箱：

• 文件系统隔离：仅允许读写 /tmp/agentscope/{agentId}/ 目录。
• 网络访问控制：通过白名单控制可调用的内部 API。
• 高危操作隔离：Shell/Python 脚本在 Docker 容器中执行。

C. 多智能体协作（A2A）

@Autowired  
private AgentClient agentClient;  

public void handleRefund(String orderId) {  
    RiskAssessmentAgent riskAgent = agentClient.find("risk-assessment");  
    boolean safe = riskAgent.evaluate(orderId);  
    if (safe) {  
        FinanceAgent finance = agentClient.find("finance-agent");  
        finance.refund(orderId);  
    }  
}  

6.4 优缺点分析

✅ 优点：

• 原生支持多智能体协作和 A2A 协议。
• 内置安全沙箱，适合金融、政务等高安全场景。
• 可观测性强，支持断点调试、状态回放、人工介入。
• 阿里云通义实验室官方支持。

❌ 缺点：

• 需 Java 17+。
• 社区尚在成长中。
• 文档相对较少。

🎯 适用场景：

• 金融、政务等安全合规要求严格的场景。
• 需要多个智能体协同工作的复杂业务。
• 企业级生产环境 AI 应用。

---

七、Semantic Kernel：微软的 AI 编排框架

7.1 项目概况

一句话定位：微软出品的 AI 应用编排框架，支持多语言（.NET、Python、Java）。
背景：微软在 2024 年推出的 AI 框架，采用独特的 Kernel 编排理念。
开源地址：github.com/microsoft/s…

7.2 核心架构

核心是 Kernel 对象，它充当所有模型、插件、工具和内存存储的编排器。

// 创建 Kernel  
Kernel kernel = Kernel.builder()  
    .withAIService(OpenAIChatCompletion.class, chatService)  
    .withPlugin(plugin)  
    .withMemoryStorage(memoryStore)  
    .build();  

// 执行  
KernelFunction<String> prompt = KernelFunction.fromPrompt("Some prompt...").build();  
FunctionResult<String> result = prompt.invokeAsync(kernel)  
    .withToolCallBehavior(ToolCallBehavior.allowAllKernelFunctions(true))  
    .block();  

7.3 核心功能

• Kernel 编排：统一管理所有 AI 组件。
• 插件化工具：通过 @DefineSKFunction 注册工具。
• 内存存储：支持向量数据库集成。
• Azure 深度集成：Azure Cognitive Search、Azure OpenAI、Azure Active Directory 无缝集成。

7.4 优缺点分析

✅ 优点：

• 微软官方支持，与 Azure 生态深度集成。
• Kernel 概念统一编排，适合复杂工作流。
• 支持 Project Reactor，适合响应式应用。

❌ 缺点：

• Java 版本功能相对不完整（图像生成、语音等能力在 Python/.NET 中更完善）。
• 社区较小（约 30 名贡献者），功能迭代慢。
• 无 Spring Boot Starter，集成需手动配置。
• 强依赖 Project Reactor，对非响应式项目有额外复杂度。

🎯 适用场景：

• 微软 Azure 技术栈的项目。
• 需要复杂 AI 工作流编排的场景。
• 响应式编程应用。

💡 更多项目实战
在项目实战网：java 突击队

---

八、五大框架对比总结

8.1 功能矩阵对比

对比维度	Spring AI	LangChain4j	Spring AI Alibaba	AgentScope-Java	Semantic Kernel
设计理念	轻量集成	模块化组装	Workflow 编排	Agentic 优先	Kernel 编排
Spring 集成	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐	⭐⭐
Agent 能力	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
RAG 能力	⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐⭐
多智能体	❌	⚠️ 需自行实现	✅	✅ 原生支持	❌
安全沙箱	❌	❌	❌	✅ 内置	❌
工具调用	✅	✅	✅	✅	✅
可观测性	⭐⭐⭐⭐	⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐⭐	⭐⭐⭐⭐
学习曲线	平缓	中等	中等	中等	较陡
版本要求	JDK 17+	JDK 8+	JDK 17+	JDK 17+	JDK 17+

8.2 场景化选型建议

• 场景 1：Spring Boot 标准企业应用
  推荐：Spring AI
  理由：生态一致，配置简单，快速集成基础 AI 能力。

• 场景 2：需要复杂 Agent 和 RAG 的应用
  推荐：LangChain4j
  理由：功能最丰富，@AiService 声明式开发，灵活组装组件。

• 场景 3：阿里云技术栈企业
  推荐：Spring AI Alibaba
  理由：深度集成阿里云服务，MCP Gateway 零代码转换，Graph 工作流编排。

• 场景 4：金融、政务等高安全场景
  推荐：AgentScope-Java
  理由：内置安全沙箱，多智能体协作，可观测性强，适合生产部署。

• 场景 5：微软 Azure 生态项目
  推荐：Semantic Kernel
  理由：微软官方支持，Azure 服务深度集成。

---

总结与趋势

Java 生态的 AI 框架经过两年发展，已经形成了清晰的格局：

• Spring AI 是 Spring 生态的官方选择，优雅但 Agent 能力有待加强。
• LangChain4j 是功能最强大的模块化工具包，社区活跃，是 Java AI 的事实标准。
• Spring AI Alibaba 将阿里云生态与 Spring AI 结合，提供 Workflow 编排能力。
• AgentScope-Java 是阿里通义实验室的企业级多智能体框架，内置安全沙箱，适合生产部署。
• Semantic Kernel 是微软的 AI 编排框架，与 Azure 生态深度绑定。

🚀 最新趋势：
很多团队开始采用 “混合模式” —— 使用 Spring Boot 作为基础框架，引入 LangChain4j 的 @AiService 来利用其强大的 RAG 和 Agent 能力，两者并不互斥。这种组合既保留了 Spring 的工程化优势，又获得了 LangChain4j 的灵活性。
希望这篇文章能帮你理清思路，在 Java AI 开发的道路上少走弯路。