#llm #cache

关于 LLM API 的 cache hit (缓存命中)

● deepseek 的解释(比较详细): https://api-docs.deepseek.com/zh-cn/guides/kv_cache
● 一篇知乎文章: LLM Best Practice：Prompt caching

via Memos