起跑第一步:缓存省的是重复输入的钱
假设你每天让模型根据同一本产品手册回答问题。手册不变,用户的问题不断变化。如果每次都把整本手册当作普通输入计费,重复内容就会持续产生费用。
提示词缓存的思路是:把符合条件的重复输入保留一段时间,后续请求匹配成功时,按缓存读取规则计费。你仍然需要按照接口要求提交请求,不能因为有缓存,就直接删掉模型需要的背景资料。
缓存不是整次请求免费,也不是直接取回上次答案。新的问题仍可能产生普通输入费用,模型新生成的回答也通常照常计费。
缓存写入:第一次存下来需要多少钱
缓存写入,是把一段符合条件的输入建立为可复用的缓存。你可以把它理解为给反复使用的资料办理一次寄存。
这次寄存是否单独收费、价格是否高于普通输入、保存多久,都取决于具体模型和接口。有的采用明确的缓存写入价格,有的自动处理缓存,不会列出独立的写入费用。
因此,不要默认写入免费,也不要看到“写入价格”就自行在普通输入价格上再加一遍。它是替代对应部分的输入价格,还是额外收费,要以实际计费规则为准。
缓存读取:匹配成功的部分按什么价格算
后续请求带有可复用的相同内容,并满足缓存条件时,对应部分就可能命中缓存,按读取价格计费。读取价格通常比普通输入低,但具体优惠幅度不能跨模型套用。
一次请求也可能只有部分内容命中。例如,固定手册走缓存读取,新追加的问题走普通输入,生成的回答走输出计费。这三部分需要分开看。
缓存过期、前面的内容发生变化,或者输入没有达到缓存门槛,都可能导致未命中。未命中的内容如何计费,则要继续看是否触发了新的缓存写入。
用四次请求算清一次写入是否划算
下面只是假设价格,用来演示算法,不代表本站或任何模型的实际报价。假设同一万词元的固定资料,普通输入每次花一元,缓存写入花一点二五元,缓存读取每次花零点一元。
- 不使用缓存:重复提交四次,固定资料的输入费用合计四元。
- 成功复用缓存:第一次写入,后面三次读取,合计一点五五元。
- 只调用一次:写入花一点二五元,反而高于普通输入的一元。
这里假设缓存写入价替代对应部分的普通输入价,而且三次读取都在有效期内命中。计算没有包括新问题和回答费用。它说明的是:写入可能先增加成本,足够多的成功读取才把成本摊薄。
发车前检查:让固定内容真正重复
- 把稳定的规则、参考资料放在前面,把每次变化的问题放在后面,尽量保留一致的输入前缀。
- 不要在固定资料前插入不断变化的时间、随机编号或用户信息,以免破坏可复用部分。
- 查看目标模型的最低缓存长度、有效期和启用方式,不要假设所有模型都自动缓存。
- 先确认资料可以交给相应服务处理;支持缓存不等于可以忽略敏感信息和保留规则。
核对账单:看实际命中,不只看读取单价
测试时,重点查看用量明细中普通输入、缓存写入、缓存读取和输出各有多少词元。如果接口只提供部分字段,就结合其计费说明核对,不能把没有显示的项目直接当作免费。
如果你正在寻找按量付费的模型中转服务,推荐使用本站,并先用一小批重复请求验证缓存计费。欢迎注册本站,用新账户的小额赠送额度开始测试。
最后只记住一个判断标准:把写入、读取、未命中输入和输出的实际费用加起来,再与同样任务不使用缓存的成本比较。读取便宜只是条件之一,重复得够多、命中得稳定,才更有机会真正省钱。