大模型时代下,缓存命中率如何影响AI产品体验与成本
从企业AI助手到代码Copilot,深入解析Prompt Cache、KV Cache等机制如何影响模型选型,以及产品经理该如何通过Prompt工程、RAG优化等策略,在AI产品的工程化与商业化之间找到平衡点。
DeepSeek智能体框架开放测试:Harness是什么?有什么特别?
国产大模型DeepSeek正在从模型层向更深的Agent基础设施层延伸,智能体框架露出真容。8月13日,DeepSeek Harness v0.1(简称DSH)开发者预览版正式向全球开发者开放测试,并同步以MIT协议公开源代码。
Codex「额度黑洞」终于查清!真凶竟是这个小功能
来源:市场资讯(来源:新智元)新智元报道折腾了整整一周,Codex「额度消耗过快」的悬案终于告破。就在昨天,OpenAI Codex负责人Tibo Sottiaux在X上发了一条长帖,一口气认了三处Bug。其中,最让人无语的一个是,Codex 后台会自动给每段对话起个名字。
从攻击到防御:KVGov 如何阻断 KV Cache 时间侧信道
0.前言前面已经写过两篇跟 Cache 有关的 AI 安全文章,第一篇主要研究的是 LLM 中的 KV Cache 《从原理到攻击:KV Cache 安全问题与跨会话泄漏实验》这里简单回顾一下,详细的可以看我发的链接https://www.yijinglab.
Don't Break the Cache —— 浅谈agent harness下KVCache的困境
作者:Xingyu Qu地址:https://zhuanlan.zhihu.
GPT-6缓存输入最高省九成,你的账单为啥没打一折?
你有没有碰到过这种场景:把一堆资料交给AI,让它写报告、核对出处,再做成PPT。第一版出来后,你觉得结构不对,在对话框里打了几个字:「把结论提到最前面」;
投机解码被“投机”了!多猜一次,大模型推理速度再提升5倍
如果没命中,则退回到一个后备策略,相当于降级成普通的投机解码。SGLang 社区在 2025 年底也开源了 SpecForge 框架来训练 EAGLE-3 草稿头。
千问智谱连夜开源,都比DeepSeek便宜,国产大模型价格猛卷
智东西8月27日报道,昨晚,阿里千问大模型团队开源多模态MoE模型Qwen3.8-Flash-Next,该模型是基于下一代Qwen4架构构建的先导预览版。
DeepSeek V4还能更省!新工具缓存命中率高达99.82%,2折稳定到手
鱼羊 发自 凹非寺。我悟了,DeepSeek V4系列发布1个月,价格屠夫的本色这才刚刚发力啊!官方这边,打折促销期还没过,折上折价格已官宣落定为永久降价。