缓存标签_AI编程社区

缓存

AI Coding 烧钱如流水？一文讲透 Token 经济学：路由、缓存与上下文压缩如何把成本砍半

compress.py —— 对话上下文摘要式压缩（纯标准库，示意）@dataclassrole: strtext: str"""保留最近 keep_recent 轮原文，更早的轮次折叠为一句摘要。"""# 真实环境：此处调用小模型生成摘要；这里用确定性 heuristic 兜底summary_text = f"[历史摘要] 已折叠len。

guwentian
2026-08-23 07:37:20

 356

 3

#人工智能 #缓存
27 openclaw缓存策略：提升响应速度的关键技术

缓存策略是提升openclaw性能的关键技术，但需要根据实际业务场景选择合适的实现方案。本地缓存速度快但容量有限，分布式缓存扩展性好但网络开销大。在实际项目中，我们通常采用多级缓存架构，结合两者的优势。通过实战经验发现，缓存设计中最容易被忽视的是数据一致性问题和缓存雪崩风险。合理的缓存更新策略完善的监控和告警机制降级和熔断方案性能测试和压测验证缓存优化是一个持续迭代的过程，需要根据业务发展和性能指

 marshmallow0206
2026-03-31 18:39:00

 262

 8

#缓存 #AI
大模型成本暴降50%：Token缓存、批量推理与模型降级策略实战

摘要：针对大模型API成本高企问题，提出三位一体优化策略：1）Token缓存通过精确/语义匹配复用历史回答，可减少30-40%调用；2）批量推理合并请求摊薄固定开销，降低成本30%；3）模型降级按任务复杂度分级调用不同规格模型。这些方法可在效果损失<5%前提下降低50%以上成本，聚合平台已将其内置为标准化服务。该方案特别适用于日请求量超百万的高频场景，能显著提升产品经济性。（149字）

ExtraToken
2026-05-25 15:02:47

 277

 5

#缓存
显存又要撑爆了? 砸钱买 KV Cache 存储方案前，请先看这三点！

面对KV Cache热潮，保持理性判断，分清落地优先级更为重要；抓准AI落地的核心数据基建，也远比仓促部署尚未成熟的缓存卸载方案更为稳妥。

信服云
2026-05-27 14:40:31

 200

 4

#云计算 #缓存
打破大模型 KV Cache 魔咒：一种让跨模型 Agent 缓存 99% 命中的动态工具注入方案

打破大模型 KV Cache 魔咒：一种让跨模型 Agent 缓存 99% 命中的动态工具注入方案

 muyvf
2026-05-28 01:30:37

 336

 12

#缓存
2026 AI大模型产业布局分析

一说到垂直领域的大模型，大家立刻会想到参数少，没有那么智能，但是能满足行业的需求的模型+机密的行业数据。目前AI主要是替代工具，并没有产生新的商业模式与生产力，除非免费使用AI的用户，能通过另外的商业模式变现回来，目前还没有看到。To B卖云服务给企业，相当于企业有一块"私有的机房+私有模型+私有数据"，行业数据不会泄露的同时能获得专属大模型提供的服务，这里未来就是阿里云，腾讯云，百度云，华为云的

 Thomas_YXQ
2026-05-28 14:57:56

 228

 8

#unity #微信 #缓存 +2
从 ds4 磁盘 KV 缓存到我们的智能内存管理器 —— 突破大模型内存墙的实践

2026 年 5 月，Redis 之父 Salvatore Sanfilippo (antirez) 发布了他的全新项目，这一项目彻底颠覆了大模型本地推理的内存范式。受 ds4 核心思想启发，我们为 AI IDE 项目实现了一套完整的智能内存管理系统，成功在仅 0.9GB 可用内存的极端环境下，保障了核心功能的稳定运行，并为未来运行百亿级大模型奠定了基础。本手册全面记录了 ds4 的技术创新、我们

 阿贾克斯ajax0322
2026-05-30 17:09:01

 203

 4

#缓存
大模型应用开发实战：语义缓存 — 降低 LLM 调用成本 70%

L1 精确缓存— MD5 hash, <1ms, 命中率 ~15%L2 语义缓存— Embedding cosine sim, ~10ms, 命中率 ~25%组合命中率 ~40%— 年省 $4 万+ (百万日活)

Leo_Wcg
2026-06-28 15:41:23

 196

 4

#缓存 #安全 #网络 +3
【系统架构设计师】启程篇

本文分享了博主通过系统架构设计师软考的经验总结：考试内容趋势：综合知识部分侧重AI相关领域（如知识图谱、检索中毒），需重点关注；案例分析题多变，需扎实基础知识并灵活应用；高并发、缓存（如Redis锁）是核心考点，论文和高频题型均涉及，建议深入学习Redis等实用技术。博主后续将陆续更新备考笔记与经验，助力考生备考。

-dzk-
2026-06-30 18:14:43

 302

 7

#系统架构 #缓存 #redis +1
SGLang本地大模型服务缓存清理

本文主要介绍一个在sglang启用本地大模型进行对话之后，远程清除对话缓存的一个指令。可以在闲时或者有紧急任务时，释放出一部分的显存出来作其他用途。

DechinPhy
2026-07-08 14:40:00

 332

 10

#sglang #缓存
大模型、agent中Messages API 无状态、Context Management、tokens缓存命中三者之间的关系

缓存命中指的是，大模型端通过算法来确定agent 的当前发送数据与上一条发送数据之间的相似度，若是大于某一阈值，就认为是缓存命中，可以少收钱。agent 的N+1请求数据: [system] [msg1] [msg2] ... [msgN] [msgN+1]← 再次携带完整历史。agent 的N请求数据:[system] [msg1] [msg2] ... [msgN]← 必须携带完整历史。无

 weixin_43864601
2026-07-06 10:12:35

 186

 5

#缓存
模型token缓存命中 vs 缓存未命中？

缓存命中的核心是“前缀精确匹配”——把长期稳定的内容（系统提示、工具定义）放在请求最前面，把每轮变化的内容（用户问题、时间戳）放在最后面。命中一次，Token成本直降90%。

冰^
2026-07-07 20:45:00

 833

 5

#缓存 #人工智能 #后端 +4
做大模型业务系统，如何做好数据库建模、缓存设计与系统拆分

本文介绍了企业级大模型业务系统的后端架构设计要点，重点针对LLM场景的特殊性提出解决方案。文章从三大核心板块展开：数据库建模：提出冷热数据分离、大字段独立存储、区分事务型与日志数据等原则，并给出包含租户、会话、消息、知识库等表的完整MySQL设计示例。多级缓存架构：构建本地内存→Redis→模型结果的三级缓存体系，强调缓存是降低LLM推理成本的核心手段，区分了适合/不适合缓存的场景类型。系统

 yuxianq
2026-07-12 11:15:25

 354

 7

#数据库 #缓存
国产大模型与开源LLM的适配层设计：从“能用”到“好用”的工程实践

本文探讨了国产大模型与开源LLM适配层设计的重要性及实践方法。随着大模型从单点能力转向组合能力，适配层成为实现"能用"到"好用"的关键。文章分析了适配层存在的必要性：解决模型架构差异、硬件生态碎片化以及成本与质量平衡问题。核心设计采用三层架构：模型接入层屏蔽差异、推理引擎层优化性能、路由调度层智能决策。实践表明，适配层能显著提升效率，如OpenSquilla适配层使四个国产模型组合在DRACO评测

 2301_76821268
2026-07-13 18:16:35

 389

 6

#开源 #人工智能 #缓存 +2
6款国内外主流大模型API接入实战：统一入口+缓存最高能省75%

本文介绍了一套统一接入多款大语言模型API的方案，通过中间层实现路由和缓存，可显著降低开发维护成本。作者实测6款主流模型，分析了各自的特点和适用场景，指出许多简单任务无需调用高成本模型。核心方案包括：1）统一base_url简化接入；2）智能路由策略按任务类型选择最优模型；3）语义缓存减少重复调用。实测该方案可降低40%-75%的成本，特别适合需要对接多个模型的开发者。文章还提供了具体的代码实现思

 神奇霸王龙
2026-07-14 17:57:57

 671

 23

#缓存 #人工智能 #语言模型
【大模型推理】redis kv cache

系统时钟回拨：如果你的服务器时钟突然回拨，可能会导致续期间隔计算错误。建议在续期时不依赖本地时间戳，只依赖Redis的EXPIRE命令（它是相对时间，不受时钟影响）。Full GC 停顿：如果 JVM 发生长达 20 秒的 Full GC，你的看门狗线程会停止执行。但因为 TTL 设为 30 秒，这 20 秒的停顿不会导致 Key 过期。只要 GC 结束后，看门狗能恢复并续期即可。

执笔论英雄
2026-07-15 20:21:50

 316

 6

#redis #数据库 #缓存
DeepSeek 的 Input Cache（输入缓存）是什么？一文讲清原理、作用和使用技巧

文章摘要： DeepSeek 的 Input Cache（输入缓存）是一种优化大模型推理性能的技术，通过缓存输入 Prompt 的中间计算结果（如 KV Cache），避免重复计算相同前缀的 Token，从而提升响应速度并降低 API 成本。其核心原理是：当多次请求的输入前缀一致时，直接复用已缓存的中间状态，仅计算新增或变化的部分。关键点：缓存内容：模型处理输入时的中间计算结果（非最终回答）

-怪兽..0
2026-07-17 10:31:17

 274

 5

#缓存 #python #人工智能
吴恩达《深度学习》之看懂计算图中的“缓存（Cache）”

前向传播W⋅Aprevb⟹显式将Aprev锁进 Cache 保险箱⟹吞噬显存作为代价\text{前向传播 } W \cdot A_{\text{prev}} + b \implies \text{显式将 } A_{\text{prev}} \text{ 锁进 Cache 保险箱} \implies \text{吞噬显存作为代价}前向传播W⋅Aprevb⟹显式将Aprev锁进Cache保险箱⟹吞

 m0_图灵灵
2026-07-19 09:52:35

 209

 5

#深度学习 #缓存 #人工智能
35岁程序员转行大模型合适吗？前景如何？如何成功转行大模型领域？

总之，35岁程序员转行大模型是合适的，但需要明确目标、持续学习和积累实践经验。通过努力和坚持，你将能够在AI领域找到属于自己的位置，实现职业发展的新高度。

网络安全工程师小龙
2026-07-21 10:06:20

 202

 6

#人工智能 #数据库 #redis +2
大模型时代程序员如何转型入局AI大模型？

程序员如何转型AI大模型领域？随着AI大模型技术的快速发展，程序员转型该领域前景广阔。行业需求旺盛，AI大模型已应用于智能客服、自动驾驶、医疗等多个领域，薪资水平较高，算法工程师等岗位年薪普遍30万以上，资深人士可达百万。程序员转型具备技术积累、抗压能力和持续学习优势，能快速适应新领域。当前互联网行业趋向数据驱动和智能化升级，云计算与边缘计算的普及也为AI应用提供新机遇。学习大模型需系统掌握知

 网络安全工程师小龙
2026-07-22 10:04:24

 177

 5

#人工智能 #数据库 #redis +2
下载Ollama并安装运行DeepSeek

逻辑推理等理工类问题。我是DeepSeek-R1，一个由深度求索公司开发的智能助手。你可以根据你的硬件情况选择，通常模型大小（参数量）越大，模型的理解和生成能力越强，但也会消耗更多的计算资源。目前deepseek-r1模型大小提供了7个选择：1.5b、7b、8b、14b、32b、70b、671b。下载文件大小不到200M，文件名为：Ollama-darwin.zip。这里Ollama默认给出的例子

 唯星空与悟言室
2026-07-22 15:51:12

 187

 7

#人工智能 #缓存
大模型入门不踩坑！一文吃透 AI 黑话，这篇收藏级指南够用了

《大模型基础知识指南：从原理到实践》是一篇面向初学者的AI科普文章，用通俗易懂的语言解析了大语言模型（LLM）的核心概念和工作原理。文章首先介绍了大模型的基本概念，包括其作为"超级大脑"的海量参数特性，以及Token作为基本处理单位的子词分词机制（如BPE算法）。随后详细阐述了大模型的自回归生成机制，通过"预测-拼接-循环"的接龙式工作流程，逐步生成连贯文本。全文通过类比和直观解释，帮助读者理解T

网络安全工程师小龙
2026-07-23 10:03:12

 342

 5

#人工智能 #redis #数据库 +2
DeepSeek-Reasonix：一个为缓存而生的终端编程 Agent，极致的缓存！

减少延迟。

ye小杰榨问鼎中原ZP
2026-07-24 16:45:29

 227

 5

#缓存
构建 Claude Code 的经验之谈：我们如何使用 Skills

Skills 已经成为 Claude Code 中最常用的扩展点之一。它们灵活、易编写、易分发。但这种灵活性也让人难以把握"怎么做才最好"。哪些类型的 Skills 值得做？一个 Skill 该怎么组织结构？什么时候应该分享给别人？

朝阳区靓仔_James
2026-07-26 10:45:00

 189

 2

#大数据 #人工智能 #数据库 +2
【教程】AI Agent 时代如何写策略？用 Cursor + QuantDash 10分钟复现 WAIC 热门“算力/超节点”跨市场轮动策略

本文介绍了如何利用QuantDash SDK快速构建跨市场（A股与美股）的AI算力资产轮动策略。针对AI编程中常见的数据格式不统一、复权计算错误等问题，QuantDash提供了标准化API，支持一键获取多市场前复权行情数据。文中给出了具体代码示例和AI提示词模板，开发者可快速生成动量轮动策略代码，并提供了三步落地指南：获取源码、申请API密钥和查阅开发文档。该方法显著提升了量化策略开发效率，特别适

 weixin_45515140
2026-07-24 06:24:10

 411

 9

#人工智能 #python #缓存 +1
使用Claude进行Graph-Engineering-14步路线图

规约到关键点，合成一个连贯叙述。Claude 工作流里，扇出是 parallel()，规约是 .filter().map() 等纯代码，合成是一个对规约结果操作的 Agent。规约层是零 Token 的——把 Agent 留给需要判断的地方。 08 · 管道：节点按顺序传递数据扇出给广度，管道给深度。当节点 B 消费节点 A 的全部输出时，它们是一条管道——A 的输出是 B 的输入，没有其他东西

 万事可爱^
2026-07-22 11:25:20

 388

 3

#数据库 #redis #缓存 +1
[高性能量化] 拒绝 API 超限与重复加载：用 Python + Redis + QuantDash 构建高频分钟线本地缓存层

本文介绍了利用Redis缓存优化QuantDash高频行情数据获取的工程方案。针对分钟级策略回测中API频繁调用导致的效率低下和配额限制问题，作者提出通过本地Redis缓存层存储序列化的Pandas DataFrame数据，实现数据加载速度提升10倍以上。文章包含完整Python实现代码，展示首次远程调用(1.12秒)与缓存命中(0.0035秒)的性能对比，并提供了AI编程助手提示词以扩展缓存清理

 weixin_45515140
2026-07-22 06:33:41

 203

 2

#缓存 #redis #数据库 +2
【文末附gpt升级秘笈】Facebook史上最严重宕机事件分析

一、引言在当今的数字化时代，社交媒体平台已成为人们日常生活的重要组成部分。Facebook作为全球最大的社交网络平台之一，其服务的稳定性和可靠性直接关系到亿万用户的日常生活和工作。然而，在XXXX年XX月XX日，Facebook却遭遇了史上最严重的一次宕机事件，全网宕机近七小时，引发了全球范围内的广泛关注和讨论。本文旨在深入剖析此次宕机事件的原因、影响以及对Facebook未来发展的启示。二、Fa

王星球
2024-06-10 18:34:50

 1125

 15

#memcached #数据库 #缓存
nginx-3.客户端协商缓存强制缓存代理缓存(CDN加速)

nginx客户端协商缓存用nginx作为静态资源服务器，默认就走的协商缓存，同一个资源再次访问状态码是304登录后复制location / {roothtml;add_header aaaaa 11111;autoindex on;...

胡匪
2024-08-22 04:29:31

 249

#nginx #缓存 #运维
redis配置的时候database是什么意思

Redis配置中的Database概述Redis作为一个高性能的内存缓存和数据库，广泛应用于各种应用场景中。许多人在使用Redis时，会遇到“database”这个概念。那么，数据库在Redis配置中到底意味着什么呢？本文将为你解答这个问题。什么是Redis中的Database？在Redis中，数据库是一个命名空间，...

思想化作潮流
2024-08-07 02:09:42

 1374

 1

#数据库 #redis #oracle +1
如何找出一个项目是否存在于 std::vector 中？

我要做的就是检查向量中是否存在元素，这样我就可以处理每种情况。

火星来客2019
2024-11-07 13:57:05

 1009

 10

#redis #数据库 #缓存
解决redis连接时密码正确却一直报WRONGPASS invalid username-password pair or user is disabled的问题

出现上面的原因终于找到，这是当你ctrl+shirft+esc打开任务管理器，搜索redis你会发有一个redis的进程怎么样都结束不了，刚开始博主还以为是我打开的那个redis服务占用的，但是当关闭那个服务时，这个进程也是永远无法结束，后面发现是我在做测试时安装的禅道一直占用着这个redis。经过博主的不懈努力和崩溃终于找到了答案！虽然大家不一定都是和我安装的同样软件，但是如果安装了相似软件并且

 blank.234
2026-04-09 20:38:42

 225

#redis #缓存 #个人开发
redis重装过程记录

3 进入解压后的目录redis-7.4.5 内打开终端输入make install等待安装完成。6 启动redis服务 redis-server redis.conf(具体看自己的配置目录)4 关闭redis服务 redis-cli shutdown。根据自己的版来别抄错了。logfile 日志文件存放目录。daemonize 是否后台运行。dir 数据存放目录。

m0_49126700
2025-07-17 16:48:01

 262

 2

#redis #数据库 #缓存
将Gradle缓存的jar包转移到maven本地仓库

在build.gradle里加入任务。

小小夜雨
2024-09-05 14:56:38

 691

 1

#缓存 #jar #maven
redis DefaultSerializer requires a Serializable payload but received an obje

如何解决 “Redis DefaultSerializer requires a Serializable payload but received an object” 错误在我们使用 Redis 作为缓存或数据存储时，可能会遇到“Redis DefaultSerializer requires a Serializa...

择卡
2024-08-19 03:26:55

 292

#redis #java #数据库 +2
redis数据一致性

在当今高度数字化的世界中,应用程序需要处理海量数据并提供快速响应。为了应对这一挑战,使用Redis作为缓存来减少对数据库的直接访问已经成为一种广泛采用的策略。这种方法不仅能够显著提升应用性能,还能有效降低数据库负载。然而,当我们将PostgreSQL作为主数据库,Redis作为缓存层时,一个关键问题随之而来:如何确保这两个系统之间的数据保持一致?本文将深入探讨PostgreSQL和Redis之间的

 huang714
2024-09-03 09:26:27

 1767

 11

#redis #数据库 #缓存
【mac如何连接redis】很好用的一款Redis客户端

今天给大家安利一款的Redis可视化管理工具 ——。用了它，才发现原来管理Redis可以这么丝滑！

会飞的架狗师
2025-12-26 15:51:22

 720

 9

#redis #缓存