苹果开发生成式 ai 技术 hugs|苹果开发生成式ai技术hugs-爱游戏app官网入口

　　it之家 12 月 20 日消息，苹果机器学习研究团队近日发布博文，展示了全新的生成式 ai 技术-- hugs，能够在 30 分钟内分析短视频，然后映射创建新的动作和角度。

　　苹果研究员 anurag ranjan 发布推文，表示 hugs 的全称叫作 human gaussian splats，使用机器学习和计算机视觉，在原始输入数据较少的情况下，创建出逼真的人像元素。

　　苹果官方介绍中表示神经渲染技术目前已经有了长足的进步，但最适合的场景依然是静态场景的摄影测量，还无法推广到环境中自由移动的人类。

　　hugs 使用 3d gaussian splatting 的技术，在场景中创建可移动的人类。

　　该方法本身需要少量的主体视频，通常在场景中运动，并显示尽可能多的表面供系统工作。

　　在某些情况下，该技术对源输入数据的要求很低，最少可以低至 50 到 100 帧的单目视频，相当于 2 到 4 秒的 24fps 视频。

　　苹果声称，该系统已经过训练，可以“在 30 分钟内解开静态场景和完全可动画化的人类化身”。

　　苹果表示 smpl 体模型虽然用于初始化人类高斯模型，但无法捕获每个细节。对于未建模的元素(如布料和头发)，该过程可以偏离 smpl 模型，来填补模型捕获中的空白。

　　苹果官方表示从训练视频到以 60fps 的渲染速度输出，能够在半小时完成人体建模和“最先进的渲染质量”动画，这比 neuman 和 vid2avatar 等其它方法快 100 倍。

编辑：齐少恒