昆仑万维发布并开源 Matrix-Game 2.0 与 Matrix-3D 模型,深耕交互式世界模型领域

2025-08-12 10:07:20 来源:IT之家
昆仑万维发布并开源 Matrix-Game 2.0 与 Matrix-3D 模型,深耕交互式世界模型领域

  8 月 12 日消息,昆仑万维 SkyWork AI 技术发布周于 8 月 11 日正式启动,活动将连续五天每天发布一款模型,覆盖多模态 AI 核心场景。

  在首日,昆仑万维带来了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升级版本 ——「Matrix-Game 2.0」,该模型号称实现了通用场景下的交互式实时长序列生成。为促进交互式世界模型领域的发展,「Matrix-Game 2.0」全面开源,堪称业内首个在通用场景上实现实时长序列交互式生成的世界模型开源方案。

  「Matrix-Game 2.0」在实时生成和长序列能力上实现了 “质的飞跃”。相较于上一版本,2.0 版本更侧重低延迟、高帧率的长序列交互性能,能够以 25 FPS 的速度,在多种复杂场景中稳定生成连续视频内容,且生成时长可扩展至分钟级,大幅提升了内容的连贯性与实用性。

  值得一提的是,在推理速度显著提升的同时,模型依然保持了对物理规律与场景语义的 “精准理解”,支持用户通过简单指令,自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

  除了 Matrix-Game 2.0.昆仑万维还开源了 Matrix-3D 大模型。该模型能从单图像出发,生成高质量、轨迹一致的全景视频,并直接还原可漫游的三维空间,对标李飞飞 WorldLabs 的生成效果,可实现更大范围的探索空间。

  Matrix-3D 由以下核心部分组成:

  轨迹引导的全景视频生成模块:利用场景 Mesh 渲染图作为条件输入,训练视频扩散模型生成符合给定相机轨迹的全景视频。这一模块能提升生成视频在空间结构上的一致性,缓解遮挡错误与图像伪影问题。

  双路径可选择的全景 3D 重建模块:包含优化路径和前馈网络路径。优化路径会对生成的视频进行超分与 3DGS 优化,以获取高质量 3D 结构;前馈网络路径则基于 Transformer 直接回归,从生成视频 Latent 特征快速预测 3D 几何属性,实现高效重建。

  Matrix-Pano 数据集:这是一个大规模高质量合成数据集,包含 116K 条带有相机轨迹、深度图和文本注释的静态全景视频序列。

  此次两款模型的发布与开源,不仅展现了昆仑万维在 AI 多模态领域的技术实力,也为相关领域的开发者提供了有力的工具支持,有望推动交互式世界模型技术的进一步发展与应用落地。

免责声明:本文仅代表作者个人观点,与朝闻天下无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

2024 年欧洲折叠屏手机市场风云变幻,荣耀崛起打破三星垄断

8月14日消息,市场调查机构CounterpointResearch于8月13日发布博文称,2024年欧洲折叠屏手机市场呈现快速增长态势,其中书本式折叠手机销量同比增长60%。荣耀凭借MagicV系列

市场 荣耀 三星

7小时前

联发科天玑 9000 系列芯片出货量增长,冲击高端市场成果显著

8月14日消息,市场调查机构CounterpointResearch于8月13日发布博文称,联发科旗舰天玑9000系列芯片在2024年全球出货量约为1800万颗,较2023年的1100万颗同比增长60

增长 高端 市场

7小时前

苹果公开 2025 年 PPML 研讨会成果,聚焦 AI 数据安全

8月14日消息,据科技媒体AppleInsider8月13日发布的博文,苹果近日公开了其2025年隐私保护机器学习(PPML)研讨会的演讲录播与研究成果,重点聚焦于AI处理中用户数据的安全机制。在为期

苹果 2025 AI

7小时前

苹果计划 2027 年推出 7 英寸屏 AI 桌面机器人,欲革新 AI 交互体验

8月14日消息,据彭博社8月13日发布的博文,苹果公司正筹备在2027年发布一款配备7英寸显示屏的AI桌面机器人。该产品有望重塑个人与AI的交互模式,引领家庭机器人行业标准的提升。据悉,这款机器人配备

苹果 AI 机器人

7小时前

特斯拉为 Robotaxi 进军纽约招兵买马,车辆安全员时薪 25-34 美元

8月13日消息,据《商业内幕》报道,特斯拉正筹备将Robotaxi业务拓展至更多美国城市。最新招聘信息显示,特斯拉已在纽约皇后区招募自动驾驶车辆操作员,这些人员将负责驾驶配备自动驾驶系统的原型车,同时

特斯拉 安全

1天前

2025 年上半年全球智能眼镜市场同比激增 110%,Meta 以 73% 市占率主导市场

8月12日消息,Counterpoint发布的《全球智能眼镜出货量追踪报告》显示,2025年上半年全球智能眼镜市场出货量同比增长110%。这一显著增长主要得益于Ray-BanMeta智能眼镜的强劲需求

2025 市场

2天前