GameGen-O

GameGen-O 是由腾讯推出的一款专门用于生成开放世界视频游戏的 AI 模型。这个模型能够模拟游戏引擎的功能，生成包括游戏角色、动态环境、复杂动作和事件等在内的高质量游戏内容，并且支持交互控制，用户可以通过文本、操作信号和视频提示来实时控制游戏内容的变化 。

功能特色：

• 游戏内容生成：GameGen-O 能够生成开放世界游戏中的角色、环境、动作和事件，如西部牛仔、太空人、龙卷风、海啸等各种场景和事件。
• 互动控制：支持用户通过文本、操作信号（如键盘指令）和视频提示实时控制游戏内容的变化，生成个性化的游戏场景和动态。
• 多模态输入：支持多种输入方式，包括结构化文本、操作信号和视频提示，能够生成复杂、细腻的游戏画面。
• 开放域生成：模型不局限于某种特定风格或场景，能够生成多样化的内容，涵盖从现实主义到幻想风格的各种游戏元素。
• 数据集支持：基于专有数据集 OGameData，该数据集涵盖了32,000个游戏视频，经过筛选和标注，保证了训练数据的质量和生成结果的稳定性 。

如何使用：

腾讯目前只是发布了 GameGen-O，并展示了大量视频 demo，随后会在 GitHub 发布代码和模型。用户可以访问 GameGen-O 项目地址和 GitHub 地址来获取更多关于如何使用的信息：

• GameGen-O 项目地址：https://gamegen-o.github.io/
• GitHub 地址：https://github.com/GameGen-O/GameGen-O/ 。

技术原理：

• 开放域生成：GameGen-O 能够生成各种类型的游戏元素，包括角色、环境、动作和事件，极大地扩展了游戏的可能性。
• 交互式可控性：模型支持用户通过 InstructNet 分支进行交互式控制，例如改变角色行为、环境布局、事件发生等，使得游戏生成过程更加灵活和有趣。
• OGameData 数据集：为了训练 GameGen-O，研究团队构建了大规模的开放世界电子游戏数据集 OGameData，包含来自150多个游戏的4000多个小时视频片段，覆盖多种游戏类型和风格。
• 两阶段训练：模型采用了两阶段训练策略。第一阶段是基础模型预训练，学习生成高质量的游戏视频；第二阶段是通过指令微调，赋予模型根据用户指令生成和控制内容的能力。
• 技术创新：GameGen-O 采用了多种先进技术，如2+1D VAE视频压缩、混合训练策略、掩码注意力机制等，确保模型的稳定性和生成质量。
• 数据集构建和训练过程：从互联网上收集了32,000个原始视频，经过人类专家筛选和GPT-4o标注，形成了高质量的训练数据。模型的基础训练阶段使用了变分自编码器来压缩视频片段，采用了不同帧速率和分辨率的混合训练策略。
• InstructNet：在模型的微调阶段，使用了可训练的 InstructNet 来接受多模态输入，包括文本、操作信号和视频提示，实现对生成内容的交互式控制

适用场景：

• 游戏开发：游戏开发团队可以利用 GameGen-O 生成高质量的游戏角色、场景和事件，从而大幅减少美术、动画和编程的工作量，尤其适合开放世界、角色扮演和动作类游戏。
• 快速原型设计：开发人员能够快速生成游戏原型，进行概念验证和早期的视觉设计，提升开发效率。
• 自定义游戏体验：普通用户也可以利用 GameGen-O 自行生成个性化的游戏场景，甚至创建属于自己的开放世界游戏。
• 广告与内容创作：游戏工作室、广告公司或自媒体可以通过 GameGen-O 生成定制化的视频素材，用于宣传视频、广告片或创意展示 。