在 Unreal 中本地听与说
当前 UE 5.5–5.7 下载覆盖本地 ASR、LLM 与 TTS，Audio2Face 当前列出 UE 5.4–5.6。Blueprint 与 C++ 有助于搭建首条链路，但版本兼容仍需项目自行判断。
O01O02NVIDIA ACE
把语音、推理、游戏动作和面部动画接入本地 RTX 游戏角色——前提是团队能承担完整集成。
证据状态基于公开资料评估中等置信度最后核验 2026年9月12日编辑：MakeGameWithAI
应用介绍
NVIDIA ACE 是什么，以及它如何使用。
NVIDIA ACE for Games 不是在网页里生成完整 NPC 的工具，而是一组本地游戏角色技术：用于语音识别、本地语言模型与函数调用、语音合成和 Audio2Face 的 Unreal Engine 插件；提供 Agent、Chat 与 RAG 的 Beta C／C++ Game Agent SDK；以及进程内推理层 NVIGI。
一条完整角色链可以听取玩家语音、转成文字、结合角色知识与游戏状态、提出回复或游戏工具调用、合成语音，再驱动面部动画；每层也可以单独使用。角色资产、对白边界、允许动作、确定性状态变化、界面、恢复机制与试玩仍由游戏自己负责。
ACE 另有面向数字人的自托管 NIM 微服务路线，使用 gRPC、GPU 部署和不同的开发／生产许可。它不能和本地 Games SDK 混写成所有组件共享同一个包、价格、平台或许可证。
使用方式
Game Agent SDK 当前要求 Windows 10／11、NVIDIA Ampere 或更新 GPU、570.65+ 驱动、CUDA 12.8+ 与 Visual Studio 2019+；捆绑小语言模型约占 3.8 GB 显存，独立模型源码包约 3 GB。NVIGI 当前建议至少 8 GB、优选 12 GB 显存，部分插件要求 RTX 40 系。各组件要求不同，不能拿一个最低配置代替整套链路。
在原生宿主中运行 Agent、Chat 与 RAG
Beta Game Agent SDK 提供 C99 ABI 与薄 C++ 包装，包含有状态工具循环、无状态 Chat 和混合检索，并返回文字、工具调用或错误；游戏负责工具、状态和生命周期。
O03O04O05在图形渲染旁调度 AI
NVIGI 把推理放在游戏进程内，并提供图形优先、计算优先或平衡模式；它不再只是外部网页请求，但推理和渲染仍会竞争 GPU 时间与显存。
O07O08O25把语音变成面部动画
Audio2Face 可通过 Unreal 插件、开放 SDK 或独立 NIM 服务把音频转为面部动画；Rig 映射、流式缓冲、表情深度、同步、打包与目标帧率验证仍是制作工作。
O01O10O12U04U15明确选择本地 SDK 或企业 NIM
本地 Games 路线强调设备端集成与宽松许可框架；NIM 是自托管服务路线，开发用途受限，生产另需 AI Enterprise 许可。估算成本或安全前应先选定架构。
O06O11O12O14O16官方界面与示例
看看它如何工作
NVIDIA 数字人演示展示 Unreal Engine 场景中的 ACE 角色，属于厂商示例。
2026 年 9 月获取的官方素材；未注明精确界面版本。来源：NVIDIA Developer
本页评估范围
本页评估一条有边界的本地 PC 角色路线，以及独立的 NIM 许可选项；不证明完整 Unity、Godot、主机、移动端、Web 或非 NVIDIA GPU 路线，不提供通用 UE 兼容矩阵、生产并发、当前中文质量或单次合格 NPC 对话成本。
- 入门友好度门槛较高
- Blueprint 与示例能缩短首个演示，但完成受控角色仍需处理 Windows／RTX、驱动与 CUDA 兼容、模型、Unreal 或原生接入、游戏状态与工具设计、GPU 预算、打包和恢复。
- Agent 接入便利度接入受限
- Beta Game Agent SDK 提供 C99 ABI、C++ 包装、动态加载和结构化结果，可由 Python、Rust 等宿主桥接；当前未确认官方外部 Agent MCP、远程 REST 或通用任务 CLI，因此 Codex 或 Claude 仍需开发者自建包装或本地服务。
查看适用范围、接入条件与来源核验
入门范围：缺少语音 AI 或原生插件经验的开发者，在 PC 本地完成一个有边界的文字／语音角色、一个安全游戏动作和兜底。
Agent 范围：外部编程 Agent 调用本地 Game Agent SDK，并取得文字、工具调用或错误；不评价 ACE 角色在游戏内部调用工具的相反方向。
判断置信度：入门 高 · Agent 中
- NVIDIA Game Agent SDK官方 · Beta
- 准入与认证
- 安装兼容的 Windows、NVIDIA 驱动、CUDA、构建工具与模型包，再从受信任的本地宿主加载原生库。自建 binding、服务或 MCP 需要负责进程生命周期、超时、权限与结果转换。
- 费用边界
- 本地开放框架没有公开按调用软件费，但 GPU 硬件或租用、电力、工程与 QA 仍另算。NIM 开发用途不能生产；生产采用独立的按 GPU NVIDIA AI Enterprise 许可。
- 取得结果
- 加载一个模型与上下文，提交有限 Chat 或 Agent 请求，处理 ResponseText、ToolCalls 或 Error；在确定性游戏代码中校验工具请求并回传结果，再按明确生命周期关闭或复用模型。
- 关键限制
- “有限接入”表示可以编程，但不是开箱即用。SDK 仍为 Beta，当前后端有限，多模型实例会重复占用显存，而且需要包装层。ACE 内部函数调用与 NIM gRPC 都不能证明本地 SDK 已有官方外部 Agent 直连接口。
两项为独立的编辑判断，不是综合评分，也不代表本站已完成 Agent 接入测试。
- NVIDIA ACE for Games · 官方 · 入门依据
- NVIDIA Game Agent SDK · 官方 · 入门依据 · 接入依据
- Game Agent SDK API overview · 官方 · 接入依据
- NVIGI Core requirements and in-process inference · 官方 · 入门依据
- UE5.6 Audio2Face source-level debugging record · 独立来源 · 入门依据
- UE5.6 ACE lip-sync lifecycle failure and patch · 独立来源 · 入门依据
- NVIDIA NIM licensing FAQ · 官方
- NVIDIA AI Enterprise pricing guide · 官方
- Audio2Face-3D SDK and component requirements · 官方
- Audio2Face-3D NIM security · 官方
关键发现
证据支持什么，不支持什么。
编辑结论
我们的判断
中等置信度当具备技术能力的 PC 团队希望把角色智能、语音与动画留在自己的运行时里控制时，NVIDIA ACE 是很有价值的候选。开放 SDK 与 Unreal 插件能省去大量底层模型拼装，PUBG 的限时落地也说明这条架构确实能进入游戏。代价是团队必须承担基础设施责任：版本集成、GPU 预算、游戏状态权限、内容安全、打包和恢复机制。建议从一个角色、一个安全动作和真正必要的组件开始。
结论范围经 Owner 审核通过的中等置信度公开资料评估。26 条官方来源与 15 条独立记录支持产品版图、接入要求和重复出现的失败类型；2026 年的新 Game Agent SDK 仍缺少足够的独立端到端游戏证据，不能宣称已达到生产成熟。
更适合
这些情况下值得试
- 使用 Unreal 或原生引擎，准备制作一个或少量重要语音陪伴角色、讲解员或互动角色的团队。
- 优先面向 RTX PC，重视本地延迟、数据路径和不按云端调用计费的项目。
- 能承担 C++／Blueprint 集成、GPU profiling、确定性游戏工具、打包与兜底行为的团队。
- 希望把 Audio2Face、本地语音或 Game Agent／RAG 当成可拆组件，而不是封闭 NPC 服务的项目。
不太适合
这些情况下先别依赖它
- 想通过网页表单直接获得完整角色、不愿处理引擎或运行时工作的初学者。
- 当前就需要明确开箱路径的移动端、Web、主机、低配或跨厂商 GPU 项目。
- 准备让模型输出未经校验就直接发奖励、改存档、购买物品或决定战斗的游戏。
- 需要已验证多角色生产 SLA、固定单次对话价格，或一个许可证覆盖所有模型与服务的团队。
工作流定位
放在制作流程的什么位置。
定义一个有边界的角色职责
选择讲解员、证人或陪伴角色，准备简短事实表、一个对话目标和一个低风险游戏动作；明确哪些内容保持预写，哪些动作模型只能提出请求。
护栏奖励、购买、背包、战斗和存档必须留在确定性校验之后。
下载组件前先选定路线
Unreal PC 原型只选择真正需要的当前 ASR、LLM、TTS 与 Audio2Face 版本；自研引擎从 Game Agent SDK／NVIGI 开始。只有明确选择服务架构及其生产许可时才采用 NIM。
护栏集成前在项目中记录引擎、驱动、CUDA、插件、模型和许可版本。
逐段接通角色链
先做纯文字 Chat，再依次加入一个已校验工具调用、RAG、TTS、ASR 与面部动画；分别记录输入、模型状态、工具请求、音频时序与恢复，避免一个环节故障看起来像整套系统失效。
护栏把每次模型工具调用都视为不可信提议，并设置轮次、时间和重试上限。
在真实游戏中测量并保留兜底
用最终画质、代表性对白长度与预期并发角色运行目标构建，记录显存、帧时间、首段文字／音频、完整响应、动画空隙、断线和合格交互。
护栏推理缓慢或不可用时，提供字幕、预写回复和自然退出路径。
推荐工作流
把这项工具放进完整制作流程。
从可验证的 Brief 开始，逐步完成原型、资产、音频、测试与发布，并明确每一步的交接物和人工检查。
最短验证路径
先用文字、一个工具和一台目标 RTX 机器起步
以下是根据本轮证据整理出的低风险起步方法。
- 01
确定具体引擎版本和一台支持的 RTX 开发机，记录驱动、CUDA、插件与模型版本。
- 02
创建一个虚构角色，准备简短事实表、禁止声称的内容，以及一个无害工具，例如打开对白面板。
- 03
先运行当前纯文字 Chat 或 Agent 示例；加入语音前确认启动、退出、错误报告和有限工具循环正常。
- 04
依次加入 TTS、ASR、Audio2Face，每次只加一层；保留逐阶段日志和预写兜底，方便隔离故障。
- 05
打包一个可丢弃构建，在真实游戏渲染时运行小型输入集，记录显存、帧时间、首段音频延迟、崩溃、工具校验与恢复。
- 06
本地路线稳定后，再判断更多角色、RAG 或 NIM 服务是否值得增加硬件、安全和生产许可工作。
价格与权利
开放框架省去按调用费，不代表可用角色没有成本
价格与条款最后核验：2026年9月12日
- Game Agent SDK 为 Apache-2.0；NVIGI Core 与 Audio2Face SDK 主体为 MIT，并有独立许可例外。本地框架路线没有公开单独的按调用软件费。
- 框架许可 $0 不包含 RTX GPU、显存余量、电力、工程、角色内容、集成、构建支持或 QA；模型与第三方依赖许可仍需分开。
- NVIDIA Developer Program 下的 NIM 许可可 $0 用于开发、研究与测试，最多 16 GPU；它不允许生产，也不包含云端或实体 GPU 基础设施。
- NIM 生产使用需要 NVIDIA AI Enterprise。当前自管公开起价为每 GPU 每年 $4,500；NVIDIA 另描述云端约 $1/GPU/小时。计费单位是 GPU，不是 NIM、NPC 或对话。
- 只把年许可费做除法，可得每 GPU 每月 $375、每自然日约 $12.33、全年 24×7 连续小时约 $0.514。最后一项只是数学摊值，不是官方小时套餐，也不包含 GPU。
- 公开资料没有同一全栈下可比较的吞吐、并发角色数、质量门槛或通过率，因此单次合格对话、合格动画秒和生产级 NPC 成本保持未知。
成本与产出
每个公开金额究竟买到什么
根据 2026 年 9 月 12 日快照进行许可算术；不含本地硬件、云基础设施、电力、人工、内容、QA 和失败结果。任何一行都不代表一个验收 NPC 或对话。
O06O07O10O14O15O16你得到可本地集成的源码、API 与示例；不包含 RTX 机器、完成角色、生产支持或结果保证。
该许可本身等于每月 $375、每日约 $12.33 或连续小时约 $0.514；GPU 基础设施和利用率另算。
这是官方近似 GPU 时间口径，不是对话价格；缺少吞吐和通过数据时，不能把 $1 换成可信 NPC 轮数。
完整分母需要目标硬件、模型、对白长度、并发角色、帧率目标、重试与人工验收；当前公开资料没有统一测量。
实际单次合格交互成本，应以许可、GPU 或云算力、电力、全部模型环节、工程维护、内容与 QA 总投入，除以通过游戏质量和安全门槛的交互数。未测量一套固定架构前保持未知。
商用条件
商用可以进行，但不存在一个覆盖全部 ACE 的统一许可证。Game Agent SDK 为 Apache-2.0，NVIGI／Audio2Face SDK 主体代码为 MIT；下载模型、Microsoft 或其他第三方二进制、Audio2Emotion 与 NIM 生产用途各有独立条款。应按游戏实际分发组件逐项核对、保留声明，并取得参考音色所需权利与同意。本页不构成法律意见。
自托管不等于默认安全。Audio2Face NIM 文档说明认证与传输加密默认关闭；需要配置 TLS、证书、访问控制、日志和审计。玩家语音、角色记忆与克隆音色应视为敏感数据，减少保留，也不能把运行时管理或不受限游戏工具交给模型输出。
生产风险
投入生产前处理这些问题。
Beta 与版本矩阵可能在项目过程中变化
Game Agent SDK 仍为 Beta，各 UE 组件支持范围不同。应固定引擎、插件、驱动、CUDA 与模型版本，并在项目副本中验证升级。
O01O02O03U01U03渲染、推理与多角色会相互竞争
只有显存容量仍不够：图形与推理共享调度和内存；对白长度、流式处理与并发角色都会改变帧时间和响应延迟。
O08O23U04U09工具调用不等于游戏权限
模型可能反复或错误地提出工具调用。应在确定性代码中校验参数、权限和当前状态，限制循环与超时，绝不能让对白直接修改重要状态。
O02O04O24实时动画和长会话需要恢复设计
特定版本记录中出现过流式空隙、旧播放状态、长音频截断与空闲失效；缓冲、重连、字幕和预写兜底是产品功能，不是可省略的调试细节。
U02U04U05U07许可与安全随组件变化
宽松的 SDK 许可不覆盖每个模型、依赖或 NIM 生产部署；自托管服务也需要明确配置认证、加密、日志与数据保留。
O06O07O10O13O14O17O18O19O20尚未验证
本页没有声称完成的事情
- 2026 年 6 月 Game Agent SDK 具有代表性的安装成功率、维护负担或端到端生产成熟度。
- 当前 ASR、LLM、TTS 与 Audio2Face UE 5.5–5.7 下载之间的完整兼容与打包生命周期。
- 同等角色链在 Unity、Godot、自研引擎、主机、移动端、Web、本地 Linux 或非 NVIDIA GPU 上的完整支持。
- 统一硬件配置下的目标语言语音质量、首 token／音频延迟、帧率影响与并发角色容量。
- 计入硬件、人工、重试和 QA 后，单次合格 NPC 回合、运行小时、面部动画秒或完整生产角色成本。
- 让 Codex 或 Claude 无需开发者自建包装即可调用本地 Game Agent SDK 的官方 MCP、远程 REST 或通用任务 CLI。
研究方法
基于公开资料评估
本页采用“基于公开资料评估”。我们核验了 26 条官方产品、仓库、API、硬件、模型、许可、安全、价格和部署来源，并对 Epic Developer Community、NVIDIA Developer Forums、Reddit、GitHub Issues、独立工程文章与学术研究中的 15 条主要记录进行编码。NVIDIA Forum 占 6／15，低于一半；正面、负面和退出／替代证据全部保留。历史 Audio2Face／NIM 记录只在对应版本范围内使用，厂商案例不转成独立质量证据，GameDev.net、Stack Overflow 或公开 Discord 未取得可用记录也不代表没有讨论。
时间范围覆盖 2026 年当前 ACE for Games 下载、Game Agent SDK Beta、NVIGI、Audio2Face／NIM、模型许可与生产价格；历史接入记录只在对应版本范围内保留。
官方来源26
- O01NVIDIA ACE for Games核验 2026年9月12日
当前产品版图、Unreal 插件下载、本地模型、Game Agent SDK 与 NVIGI；各组件版本和许可不被当成统一套装。
- O02Build on-device AI companions with NVIDIA ACE核验 2026年9月12日
当前本地陪伴角色架构、UE 插件、所选模型，以及 NVIDIA 对延迟、状态同步和循环控制的提醒。
- O03NVIDIA Game Agent SDK核验 2026年9月12日
Apache-2.0 Beta SDK、Windows／RTX／CUDA 要求、下载、示例和模型大小；仓库活动只是成熟度信号，不是流行度评分。
- O04Game Agent SDK API overview核验 2026年9月12日
C99 ABI、C++ 包装、动态加载、Python／Rust 宿主可能性、Agent／Chat／RAG 生命周期及结构化工具调用结果。
- O05Game Agent SDK known limitations核验 2026年9月12日
当前 RAG 评分与后端限制，包括目前仅支持 llama.cpp 后端。
- O06Game Agent SDK license核验 2026年9月12日
SDK 源码采用 Apache License 2.0；模型与依赖条款仍需分别处理。
- O07NVIGI Core核验 2026年9月12日
进程内 C++ 推理框架、当前 RTX／显存／Windows 构建要求及独立许可例外。
- O08NVIGI GPU scheduling for AI核验 2026年9月12日
图形与 AI 会竞争同一 GPU；虽有优先级模式，结果仍取决于负载和硬件。
- O09Riva ASR Developer Pack 2.0核验 2026年9月12日
独立的 ASR Developer Pack 路线、后端、语言覆盖与单实例近似内存；它不等同所有 Unreal 插件。
- O10Audio2Face-3D SDK核验 2026年9月12日
当前 SDK 源码、支持系统、CUDA／TensorRT、显存／存储要求及受限模型依赖。
- O11Audio2Face-3D SDK license核验 2026年9月12日
SDK 源码采用 MIT；不能代替全部模型或依赖许可。
- O12Audio2Face-3D NIM documentation核验 2026年9月12日
自托管 gRPC 微服务与支持的 GPU profile；该 NIM 路线与本地 Games SDK 路线分开。
- O13Audio2Face-3D NIM security核验 2026年9月12日
服务本身不保留音频，但认证和传输加密默认关闭，仍由运营方负责。
- O14NVIDIA NIM FAQ核验 2026年9月12日
免费开发者计划范围、16 GPU 上限、非生产边界、生产许可与近似云 GPU 单价。
- O15Run NVIDIA NIM anywhere核验 2026年9月12日
自托管和云端部署中的开发／生产许可边界。
- O16NVIDIA AI Enterprise pricing guide核验 2026年9月12日
当前自管订阅公开起价为每 GPU 每年 4,500 美元；该许可数字不隐含基础设施。
- O17Chatterbox Turbo model card核验 2026年9月12日
MIT 许可的 350M 英语 TTS 模型与参考音色流程；声音同意和素材权利仍由开发者负责。
- O18Qwen3.5-4B model card核验 2026年9月12日
当前 NVIDIA 陪伴角色示例使用的 Apache-2.0 模型。
- O19Nemotron 3 Nano 4B model card核验 2026年9月12日
模型专属 NVIDIA 开放模型许可及其语言／编程范围。
- O20Audio2Emotion v3.0核验 2026年9月12日
模型专属条款把使用限制在 Audio2Face，并禁止情绪识别用途；不能继承 SDK 的 MIT 标签。
- O21NVIDIA ACE overview核验 2026年9月12日
更广的数字人与微服务架构，只用于解释独立的旧版／企业路线。
- O22ACE Unreal Plugin 2.5 installation核验 2026年9月12日
历史、版本限定的 UE 5.5／5.6 安装资料；不外推到所有当前插件。
- O23PUBG Ally Beta patch notes核验 2026年9月12日
限时 PC Beta、RTX 硬件要求，以及响应延迟时降低画质的建议；一个定制 AAA 部署不能证明独立开发接入容易。
- O24Minimize game runtime inference costs with coding agents核验 2026年9月12日
运行时 Agent／工具循环架构与 GPU 竞争；描述的是 ACE 内部 Agent，不是外部 Codex 或 Claude 集成。
- O25Bring ACE characters to games with in-game inference核验 2026年9月12日
较早的进程内 C++ 配置与回调路线，用于说明原生集成范围，不用于宣称易用。
- O26NVIDIA open-sources Audio2Face animation model核验 2026年9月12日
开源公告与制作案例；工作室提及仍属于厂商证据，不是独立结果。
独立证据记录15
- U01UE5.6 Audio2Face playback and animation failure核验 2026年9月12日
开发者报告示例、插件与模型不匹配、选项为空和崩溃，随后阅读源码并修补 Audio2Emotion 参数路径继续推进。
- U02UE5.6 Audio2Face lip sync stops after the first clip核验 2026年9月12日
当前 UE 栈可运行 ASR／TTS／LLM，但唇形在第一段后停止；作者定位旧 mixer 时序并提出源码补丁。
- U03Access violation in the Unreal ACE LLM plugin核验 2026年9月12日
UE 5.7 用户称 LLM 插件大多可用，但会间歇出现 access violation 崩溃。
- U04Audio2Face diffusion streaming frame gaps核验 2026年9月12日
批处理可用，但实时结果成组输出并有预热空隙；这是特定流式配置，不是通用延迟指标。
- U05A2F connection timeout and audio truncation核验 2026年9月12日
历史 NIM 版本会截断长音频并在空闲后无法恢复；它支持验证会话恢复，不代表当前普遍缺陷。
- U06Linux support for local Audio2Face Unreal execution核验 2026年9月12日
开发者发现没有预编译的本地 Linux Unreal 插件，可能需要从源码构建；远程基础插件可用。
- U07Audio2Face in a packaged Unreal application核验 2026年9月12日
打包版本在多台电脑失败，直到插件移入特定 Marketplace/Nvidia 目录才恢复；既是正面修复，也是配置敏感信号。
- U08Audio2Face versus Inworld for a MetaHuman workflow核验 2026年9月12日
一位 Unreal 用户在调整 key 和 SDK 后让 Audio2Face 工作，但认为该任务中 Inworld 插件起步更快。
- U09NVIDIA ACE NPC integration discussion核验 2026年9月12日
历史 Audio2Face 用户称 1–2 个角色或过场可用，多角色性能不佳；缺少硬件和版本信息。
- U10Alternatives to Audio2Face for game NPC dialogue核验 2026年9月12日
开发者因 A2F／UE 结果不合需求而自建替代；另一位认可 A2F，但认为情感深度有限。只覆盖面部动画，不代表整套 ACE。
- U11Audio-to-A2F-to-USD-to-Unreal workflow核验 2026年9月12日
开发者报告一天搭出录音／第三方 TTS → A2F → USD → ACE Unreal 管线；这是历史离线流程正面记录，不是当前全栈吞吐。
- U12Audio2Face SDK CMake and CPU-backend question核验 2026年9月12日
用户询问构建选项与 CPU 后端，说明公开项目中的配置假设并不显然。
- U13Audio2Face SDK Ubuntu zlib build mismatch核验 2026年9月12日
Ubuntu 24.04 因项目要求不同的 zlib patch 版本而构建失败，是明确的依赖摩擦案例。
- U14Independent NVIDIA ACE microservice integration notes核验 2026年9月12日
工程师描述旧栈文档分散，并为日语替换兼容 Riva 的 gRPC 服务；只代表历史微服务路线。
- U15Speech-driven facial animation perceptual study核验 2026年9月12日
每项实验超过 30 名参与者的受控研究中，Audio2Face 在唇形和真实感上落后 Epic 系统、领先若干研究基线；不评价 ACE 其余部分。
商业披露
这项研究如何获得支持
独立编辑研究。MakeGameWithAI 未在本页使用联盟链接，也未获得赞助、厂商账号、GPU、模型访问、采访或技术支持。Owner 于 2026 年 9 月 12 日通过基础设施定位、advanced / high 入门判断、limited / medium 外部 Agent 判断、成本表达与组件级许可边界，并于 2026 年 9 月 14 日批准正式发布。
本页已作为公开资料评估发布。结论会随定价、条款、产品版本和重要新证据变化而复核。
相关资讯
全部资讯
NVIDIA 梳理游戏开发工具进展：DLSS 5 控制、ACE 语音与高密度场景
NVIDIA 9 月 22 日汇总 DLSS 5 画面控制、ACE 语音与本地推理，以及 Mega Geometry 2.0；这些技术并非同一天首次推出。
阅读全文