Solon AI 项目中向量知识库与MySQL适配的技术实现

万孟澜

979人浏览 · 2025-08-17 09:04:42

万孟澜 · 2025-08-17 09:04:42 发布

Solon AI 项目中向量知识库与MySQL适配的技术实现

【免费下载链接】solon-ai Java AI & MCP 应用开发框架（LLM，Function Call，RAG，Embedding，Reranking，Flow，MCP Server，Mcp Client，Mcp Proxy）。同时兼容 java8 ~ java24。也可嵌入到 SpringBoot2、jFinal、Vert.x 等框架中使用。项目地址: https://gitcode.com/opensolon/solon-ai

在人工智能应用开发领域，向量知识库作为存储和检索高维向量数据的关键组件，其与关系型数据库的集成一直是技术难点。Solon AI项目近期完成了solon-ai-repo-mysql模块的开发，成功实现了向量知识库与MySQL数据库的深度适配，这为开发者提供了更灵活的数据存储选择。

技术背景与挑战

向量知识库需要处理的主要是嵌入向量（Embedding Vectors），这些向量通常由AI模型生成，具有高维度（常见为768维或1024维）的特性。传统关系型数据库并非为这类数据设计，因此在实现适配时需要解决几个核心问题：

向量数据存储：如何高效存储高维浮点数数组
相似度计算：如何实现高效的向量相似度检索
性能优化：如何保证大规模向量数据下的查询性能

Solon AI的解决方案

存储方案设计

项目采用了MySQL的JSON类型字段存储向量数据，这种方案具有以下优势：

保持数据结构的灵活性
兼容不同维度的向量存储
便于与其他结构化数据共同存储

表结构设计示例：

CREATE TABLE vector_store (
    id VARCHAR(64) PRIMARY KEY,
    content TEXT,
    embedding JSON,
    metadata JSON,
    create_time DATETIME
);

相似度计算实现

在MySQL环境下，项目实现了基于余弦相似度的近似计算方案。通过预计算向量范数并存储，查询时使用MySQL的数学函数进行相似度计算：

SELECT id, content, 
       (SUM(v1.val * v2.val) / (n1.norm * n2.norm)) AS similarity
FROM vectors v1, 
     vectors v2,
     norms n1,
     norms n2
WHERE v1.id = n1.id 
  AND v2.id = n2.id
  AND v2.id = 'query_vector_id'
GROUP BY v1.id
ORDER BY similarity DESC
LIMIT 10;