Inworld Inference 开放：为 AI NPC 长对话提供缓存与分档调用

Inworld 在 10 月 14 日宣布向开发者开放 Inworld Inference，将开放模型托管、提示词缓存、请求分档和故障切换放在同一套推理服务里。对于在游戏运行时生成 NPC 对话或互动剧情的团队，这次发布最相关的部分是：反复发送的长对话可以复用计算结果，玩家正在等的回答与后台整理记忆也可以选择不同的服务档位。发布公告给出了这些能力的具体说明。

游戏案例已经出现在 Inworld 的客户资料中。按照其 Latitude 案例，Voyage 每回合除了生成故事，还会运行约 20 项 AI 任务；World Engine 用确定性的规则管理技能检定、生命值、物品栏和持续记忆。Inworld 托管的模型承担其中的任务与故事、对话生成，六周内处理超过 2,500 万次推理调用。这是厂商公布的客户数据，说明一回合游戏可能包含多次调用，不能直接换算成其他项目的成本或性能。

重复上下文可以读缓存，回答仍逐次生成

Inworld 的前缀缓存复用已经处理过的提示词部分，例如保持不变的系统设定和对话历史。缓存命中要求前缀完全匹配；新增输入仍要处理，每次回答也会重新生成。它的路由器还会结合已有缓存和服务器负载选择处理实例，尽量减少重复计算。

具体节省多少，要看所用模型及实际命中情况。缓存文档提供了响应中的 prompt_tokens_details 和 cached_tokens 字段，开发者可以据此观察真正复用了多少输入。不同提供商的缓存条件、有效期和读写费用也有区别。

以本次公告采用的 Gemma 4 26B 为例，Default 档每百万 token 的价格为：普通输入 0.07 美元、缓存读取 0.035 美元、输出 0.34 美元，与当前模型价格页一致。缓存读取单价降低的是命中部分的输入费用，输出和没有命中的输入仍分别计费。

玩家回复与后台记忆可以分档运行

公告列出四种服务档位，可按请求设置，也可为 API key 或工作区设置默认值：

• Flex：适合可以稍后重试的摘要、评分和批量补处理；容量繁忙、无法开始时会快速失败，该次请求不计费。
• Default：标准服务，用于一般聊天、分类与决策。
• Priority：提供优先调度，以及对应模型和服务约定的可用性承诺与延迟目标。
• Fast：使用实时解码，面向更看重响应速度的生成请求。

这些档位使用相同的模型权重，但可用档位和服务承诺依模型及服务而定。对游戏团队来说，可以把玩家等待中的角色回复和后台记忆摘要分开配置；使用 Flex 的后台任务则需要处理暂时没有容量的情况。

题图中的速度、缓存命中率和成功率是 Inworld 对特定模型及流量公布的数据。例如“接近 8 倍”来自 Gemma 4 26B 的首 token 延迟比较，公告说明双方采用各自的数据快照，并非同一工作负载的对照测试。这些数字不能当作任意 NPC 对话都会达到的提速幅度。

首 token 超时可以触发备用模型

现有请求级路由文档允许配置备用模型，并设置首 token 等待期限。主要模型超过期限仍未开始回答时，路由器取消该次尝试，转向下一个模型；超时值最低为 300 毫秒，响应中的 metadata.attempts 会列出尝试记录。玩家的总等待时间仍包含前一次等待和备用模型自身的响应时间。

接入采用兼容 OpenAI Chat Completions 的请求格式，使用 Inworld 的地址、模型 ID 和 API key，可直接调用模型，无需先创建保存的路由配置。快速开始文档要求把完整 API key 留在服务端；浏览器或移动客户端使用后端签发的 token 或服务端转发。

准备把生成式对话放进游戏的团队，可以从一条角色对话开始，记录每回合调用数、缓存命中量、玩家等待时间和实际 token 费用，再决定哪些任务适合分档。站内 Inworld AI 工具页整理了它的运行时接入方向，叙事、对话与 NPC 分类则提供其他相关工具。