继Seedance2.0后,又一中国视频生成大模型站到台前

观察者网
5次浏览

nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

(文/万肇生 编辑/张广凯)nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

中国的视频大模型,又发起了一场技术突围。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

2月27日,昆仑万维集团旗下Skywork AI正式发布多模态视频基础模型SkyReels V4。据称,该模型系“全球首个同时支持多模态输入、联合音视频生成、统一生成/修复/编辑任务”的视频基础模型。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

为此,观察者网查询第三方AI大模型评测机构Artificial Analysis发现,SkyReels V4目前在该机构“文生视频(带音频)的所有历史模型”排行榜中,位列第四名,已超过绝大多数明星产品。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

截止27日,SkyReels V4在AA榜单所有模型中排名位置。Artificial Analysis网站截图 nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

而在实际成品方面,以官方下述参考图生成的一段15秒视频,镜头切换恰当,音画同步,整体效果已与目前短剧水平相当。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据介绍,SkyReels V4以双流多模态扩散 Transformer(MMDiT)为核心架构,实现了1080p分辨率、32 FPS 帧率、15 秒时长的音视频同步生成。同时,还可基于参考图片和参考运动的主体进行替换/动作迁移、修改属性(如服装颜色、物体形状)、更换背景,添删物体、修改局部纹理与属性等功能。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

而在文本及音频生成方面,昆仑天工提到,SkyReels-V4支持包括中英日韩德法语等多个语种的文本合成,其中中文的语音合成上表现突出,多个指标也达到行业领先水平。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

三大技术突破 nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

昆仑天工表示,SkyReels-V4主要的贡献,是针对下述用户日常使用视频生成工具遇到的几个痛点,分别进行了突破。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

目前,市面上视频生成工具多种多样,但普遍会出现包括声音和画面经常对不上,即口型对不准。而用户生成高清长视频又特别吃算力资源,又慢且价格昂贵。当用户希望自行将视频剪辑成复杂视频时,又需要在多个软件里来回切换。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

SkyReels-V4则采用的双流 MMDiT 架构,可以实现视频和音频两条线从任务开始就并肩工作,共享同一个大脑(文本理解模型)。且通过互相参考的双向跨注意力机制,提高生成视频中角色的嘴型、动作和声音的匹配度。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

SkyReels-V4还选择了"低分辨率全序列 + 高分辨率关键帧" 联合生成策略:模型先快速生成低分辨率完整视频和高分辨率关键帧,再通过专用超分辨率和帧插值模块重构高质量视频。如此可以直接用相对较少的计算资源,生成更高分辨率、更长时间的优质视频。这意味着用户制作高质量视频的门槛和成本都显著降低了。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

当用户需要后续剪辑功能时,SkyReels-V4把生成、编辑、处理等整合在统一框架里,提出通道拼接(Channel-Concatenation)与时序拼接(Temporal-Concatenation)相结合的统一范式,减少用户剪辑时的多工具依赖,提升效率。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

如何在创造与规则中寻求平衡? nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

需要注意的是,虽然SkyReels-V4展现出了强大的技术力,但与上个月字节跳动发布Seedance2.0时大环境不同的是,技术与规则的赛跑从未如此激烈,大模型竞争已不仅仅只需卷技术,数据来源的合法性与合规成本,已经成为新的壁垒。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

就在半个月前,Seedance2.0因版权问题,陆续遭到美国电影协会(MPA)及六大好莱坞制片厂联合发出停止侵权函。随后许多用户发现,Seedance2.0开始出现了“降智”现象,原先那种令人惊艳的电影级打斗镜头一去不返,视频产出稳定性大幅下降,退回了纯抽卡游戏,令人痛心。演员王劲松也公开发文,控诉其形象被人用于AI生成视频,称“声音、口型完全看不出来真假”,他担忧深度伪造技术可能被用于诈骗,且“侵权者的代价可以忽略不计”。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

另外,创作平权与版权保护的矛盾激化也不容忽视。许多视频生成工具都可以实现“人人当导演”,但当普通用户无意间将包含IP的素材用于生成时,所产生的侵权行为将变得更加普遍且难以追责。这些都与SkyReels-V4所解决的音画不同步难题一样,是目前视频生成工具的普遍痛点。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

昆仑天工的突围值得振奋,但字节跳动的困境也提醒我们,对于中国AI企业而言,想要顺利进入并立足国际市场,所需要的远不止是算力和算法的领先。nFl速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-3-168081-0.html继Seedance2.0后,又一中国视频生成大模型站到台前

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

节后成品油调价或搁浅!下一轮存上调概率
  中新经纬2月19日电 (熊思怡)19日24时,国内成品油新一轮调价窗口将开启。机构普遍预计,本次成品油零售限价调整将搁浅。  本周期横跨春节假期前后,原油市场整体偏强运行。截至上周五(当地时间2月16日)收盘,WTI 3月原
2024年春节档观众满意度调查结果显示:4部影片超85分
  2024年春节档观众满意度调查结果显示:4部影片超85分  中新网北京2月18日电(记者 上官云)记者从中国电影艺术研究中心获悉,中国电影观众满意度调查?2024年春节档调查结果显示,春节档观众满意度得分85.9分,为2015年以
官方通报16个耕地调查问题典型案例
  中新经纬2月18日电 “自然资源部”微信号18日消息,自然资源部公开通报2023年度国土变更调查专项督察发现的弄虚作假和调查不认真把关不严典型问题。  据介绍,年度国土变更调查结果中的耕地数据是耕地保护和粮食安
最长春节假期收官:多地接待游客远超往年,“南北互换”流动趋势明显
  最长春节假期收官:多地接待游客远超往年,“南北互换”流动趋势明显  澎湃新闻记者 唐莹莹  2月17日正月初八,为期8天的史上最长春节假期正式收官。  根据全国各地文旅部门、热门景区以及多家在线旅游平台的数
八部影片半数撤档 春节档为何出现罕见“撤档潮”
  八部影片半数撤档 春节档为何出现罕见“撤档潮”  据猫眼专业版数据,截至昨日17时,2024春节档总票房破80亿,总人次1.62亿,总场次383.6万,全面刷新中国影史春节档纪录。然而,几家欢乐几家愁,今年春节档冷热不均,出现了罕
中国野生动物保护协会:切实保障旅外大熊猫的健康安全
中国发展网讯 据中国野生动物保护协会微信公众号消息,为持续推进大熊猫保护事业,中国野生动物保护协会已分别与西班牙马德里动物园和美国圣迭戈动物园就新一轮大熊猫国际保护合作事宜达成一致并签署协

热点精选

最新推荐

您可能感兴趣