中国版Sora来了！清华打造！背后创业公司已融资数亿元

时隔两(liǎng)个月，清华团队(duì)打(dǎ)造了一(yī)个中国版(bǎn)的Sora视频大模型。

4月27日，在中关(guān)村论坛未来人工智能先锋论坛上，中(zhōng)国首个长时长、高一致(zhì)性、高动态性(xìng)视频大模型Vidu正式(shì)发布。这一模(mó)型由(yóu)清华大学和大模型创业(yè)公司生数科技联合发布，可以(yǐ)一键生成长度达16秒、分辨(biàn)率为1080P的(de)高清视频内容。

证券时报记者独家获悉，清华大(dà)学人工智能研究院(yuàn)副院长、生数科技首席科学(xué)家朱军在Vidu发布后发声表示：“Vidu，we do, we did, we do together！感谢(xiè)小伙伴们日以继夜的坚持，在实验室架构上开花结果。”据介绍(shào)，这也是自OpenAI发布Sora以后，全球率先取得重大突破的视频大模型。

Sora发布后(hòu)，行业内一(yī)直(zhí)有团队(duì)宣称要追赶和复现Sora，而(ér)Vidu团队(duì)用两(liǎng)个月(yuè)的时间率先跑出来。记者梳理(lǐ)发现，生(shēng)数(shù)科技在多模态大模型领域已经有较深(shēn)的积累(lèi)，也是目前多模态大(dà)模型赛道估值(zhí)最高的初创公司之一。目前公司已(yǐ)完成三轮融资，融(róng)资额达数亿元人民币，投资方包括启明创(chuàng)投、智谱AI、BV百度风投、锦秋基金等一众(zhòng)机构。

对标Sora，生成视频连贯高清(qīng)

“画室里的一艘船驶向(xiàng)镜头(tóu)”，只需要输入(rù)这样一句简单的指令，即可以生成效果逼真、镜头连贯(guàn)的一段视频。在生数科技(jì)发布的Vidu模型生成视频样片中，视(shì)频(pín)的整体质感几乎可(kě)与Sora相媲美。

据生数科技介绍，Vidu模型采(cǎi)用团队原(yuán)创的Diffusion与(yǔ)Transformer融合的(de)架构U-ViT，支持一(yī)键(jiàn)生成长达16秒、分辨率高达1080P的高清视频内容。“U-ViT架构早在2022年9月就由团(tuán)队提出，早于Sora采用的(de)DiT架构，是全球首个Diffusion与Transformer融合的架(jià)构。”生数科技表(biǎo)示。

记者注意到，今年(nián)3月生数科技完成新一轮融资后，公(gōng)司就(jiù)公开表示，虽然Sora的出现(xiàn)表明美国在(zài)多模态大模型领域具有领先性，“但中国也并非完全从零开始的阶段”。据介绍(shào)，朱军在2023年1月就提出了基于Transformer的多模态(tài)扩散大模型UniDiffuser，采用了U-ViT，该架构(gòu)与Sora的(de)架构路线完(wán)全一致，区别在于UniDiffuser主要应用于图像生成(chéng)任务，但也可以以此为(wèi)基础进(jìn)行视(shì)频任务的(de)拓展。

正是基于在机器学习和多(duō)模(mó)态大模型的长期积累(lèi)，团队才能够在短短(duǎn)的两个月时(shí)间(jiān)里突破了长视频表示与处理的多项(xiàng)关键技术，成(chéng)功研发推出Vidu视频大模型。朱军在Vidu模型发布现场表示，Vidu主要(yào)有以(yǐ)下方面的特点(diǎn)与优(yōu)势：

一是模拟真(zhēn)实(shí)物理世界，可以生(shēng)成复杂、细节丰(fēng)富的场景，光影(yǐng)效果与人(rén)物表情都(dōu)能够符合(hé)真实的物理规律。

二是(shì)富(fù)有想象力，可以虚构场景(jǐng)以及想象超现实主(zhǔ)义的画面。

三(sān)是具有多镜头(tóu)语言，不再局限于固定镜头，能够(gòu)在遵循主体一致(中国版Sora来了！清华打造！背后创业公司已融资数亿元zhì)性的情况下实现远景、近景、中景(jǐng)、特写等(děng)不(bù)同镜头(tóu)的动态切换(huàn)，还可(kě)以实现长镜头、追焦(jiāo)等效果。

四是有出色的视频时长，能支(zhī)持16秒(miǎo)长度的视频生成，保持镜头和(hé)主体的连贯一致。

五是能理解中国(guó)元素(sù)，可以(yǐ)更好地理解生成熊猫、龙等富有中国文化(huà)特色的形象。

Vidu生成的龙(lóng)、熊猫等中国文化元素视频

背后团队来自清华，已融(róng)资数亿元

Vidu的背后，是一家来自清华的明星创业公(gōng)司生数科技(jì)。

公开资料显示，生数科技成立(lì)于2023年3月，核心成(chéng)员来自清华大学人工智能研究院(yuàn)，致力于自主研发世界领先的可控多模态通用(yòng)大模型。公司的CEO本(běn)硕就读于清华大学计算(suàn)机(jī)系的唐家渝，首席科(kē)学家由清华人(rén)工智能研究院副院长朱军(jūn)担任，CTO鲍(bào)凡则(zé)是(shì)清华大学计算(suàn)机系博士生、朱(zhū)军教授的课题组成员，长期关注扩散(sàn)模型(xíng)领域研究(jiū)。

记(jì)者注意到，今年3月，唐(táng)家渝曾在(zài)沟通会上向媒体表示，今年(nián)内公司的大模型一定(dìng)能(néng)达到Sora目前版本(běn)的效果，“但(dàn)很难说是三个月还是半年”。然而(ér)，Vidu却提前交出了一份令人惊艳的考卷，这主要得益于团队(duì)是国内最早布局多模态大(dà)模型的团队之一，多年以来在这一领域形成了深厚(hòu)的积累(lèi)。

据唐家渝介(jiè)绍，生数科技目前采取模型层和应用(yòng)层两条路走路的模式。一方面，构建覆盖文本、图像、视频、3D 模型等多模态能力的(de)底层通用大模(mó)型，面向B端(duān)提供模型(xíng)服务能力；另一方面，面向图像生成、视频生成等场景打造垂(chuí)类应用(yòng)，按(àn)照订(dìng)阅等形式收费，应用(yòng)方向主要是游(yóu)戏(xì)制作、影视后期等(děng)内容创作场景。

记(jì)者梳(shū)理发现，生数科技(jì)自成立以来就(jiù)备受资(zī)本关注。天眼查数据显示，生(shēng)数科技目前共(gòng)完成3轮融资(zī)。2023年6月，完成近亿(yì)元人(rén)民(mín)币天使轮融资，投(tóu)资方包括蚂蚁集团、BV百度风投、卓源(yuán)亚洲、卓源资本；2023年8月，完成(chéng)数千万(wàn)人民币天使+轮融资，投资方为锦秋基金；2024年3月，完成数亿元人民币A轮融资，投资方除了启明创投、达泰资(zī)本、智(zhì)谱(pǔ)AI等新机构以外，还有BV百度风投、卓源亚(yà)洲两个老股东。

在三轮融资总计数亿元(yuán)人民币的资本加持下，生数科技已成为目前国内多模态大模型中估值最(zuì)高的初创公司之一。生(shēng)数科技表(biǎo)示中国版Sora来了！清华打造！背后创业公司已融资数亿元，Vidu的问世不仅是U-ViT融合架构在大规模视觉任务中的又一次成(chéng)功验(yàn)证，也代表了生数科技在多模态原生大模型领(lǐng)域的持续创新能力和领(lǐng)先性。

责编：朱(zhū)雨蒙

校对：冉燕青

时隔两个月，清华团队打造了一个中国(guó)版的Sora视频(pín)大(dà)模型。

4月27日，在中关村论坛未来人工智能先锋论坛(tán)上，中(zhōng)国首个长时长、高一致性、高动态性视频(pín)大模(mó)型Vidu正式发布。这一模型(xíng)由清华大学和大模型创业公司生数科技联合发布，可以一键(jiàn)生成长度(dù)达16秒、分(fēn)辨率为1080P的高清视频内容。

证券时报记者独家获悉，清(qīng)华大学人工智能研究院副院长、生数科技首席科学家朱军在Vidu发布后发声表示：“Vidu，we do, we did, we do together！感谢小(xiǎo)伙伴们日以继夜的(de)坚持，在实验室架构上(shàng)开花结果。”据介绍，这也是自OpenAI发布Sora以后，全(quán)球率先取得重大突破的视频大模型。

Sora发布后，行业(yè)内一(yī)直有团队宣称要(yào)追赶和复(fù)现 Sora，而Vidu团(tuán)队用两个月的时间率先跑出来。记(jì)者梳理发现，生数科技在多模态大(dà)模型领域(yù)已经有较深的积累(lèi)，也是目前多模态大模型赛道估值最高的初创公司之一。目(mù)前(qián)公司已完成三轮融资，融资额达数亿元人民币，投资方包括(kuò)启明创投、智谱AI、BV百度风投、锦(jǐn)秋(qiū)基金(jīn)等一众机(jī)构。

对标Sora，生成视频连贯高清

“画室里的一艘船(chuán)驶向(xiàng)镜头”，只需要输入这样一句简(jiǎn)单的指令，即可以生成效果逼真、镜头连贯的一(yī)段视(shì)频。在生数科技发布的Vidu模型生成视频样片中(zhōng)，视(shì)频(pín)的整体质感几乎可与(yǔ)Sora相媲美。

据生数科技介绍(shào)，Vidu模型采用团队原创(chuàng)的Diffusion与Transformer融合的架构(gòu)U-ViT，支持一(yī)键生成长达16秒、分辨率高达1080P的高(gāo)清视频内容。“U-ViT架构早在2022年9月就由团队提出，早于Sora采用的DiT架构，是全(quán)球首个Diffusion与Transformer融合的架构。”生数科技表示(shì)。

记者注意到，今年3月生数科技完(wán)成新一轮融资后，公司就公开表示，虽然Sora的出现表明美国在多模态大模型领域具有领先(xiān)性，“但中国也并非完全从零开始的(de)阶段”。据介绍，朱军在2023年1月就提出了基于Transformer的多模态扩散大(dà)模型UniDiffuser，采用了U-ViT，该架构与(yǔ)Sora的(de)架构路线完全一致，区别在于UniDiffuser主要应(yīng)用于图像生成任务，但(dàn)也可以以此为(wèi)基础进(jìn)行视频任务(wù)的拓展(zhǎn)。

正是基于在机器学习和多模态大模型(xíng)的长期积累，团队才能够(gòu)在短短的两(liǎng)个(gè)月时(shí)间里突破了长(zhǎng)视频表示与处理的多(duō)项(xiàng)关键技术，成功研发推出Vidu视频大模型。朱军在Vidu模型发(fā)布现场表示，Vidu主要有以下方(fāng)面(miàn)的特点与优势：

一是模拟真实物理世界，可以生成复杂、细节丰(fēng)富的场景，光影效果与人物表情都(dōu)能(néng)够符合(hé)真实的物(wù)理规律。

二(èr)是富有想象力，可以虚(xū)构(gòu)场景以(yǐ)及想(xiǎng)象超现实(shí)主义的画(huà)面。

三是具有多镜头语言，不再局限于(yú)固定镜头，能够在遵(zūn)循主体一致性的情况下实(shí)现(xiàn)远景、近景、中景、特写等不同镜头(tóu)的(de)动态切换，还可以实现长镜头、追焦等效(xiào)果。

四是有出色(sè)的视(shì)频(pín)时长(zhǎng)，能支持16秒长(zhǎng)度的(de)视频生成，保持镜头和主体的连贯一致。

五是能理解中国元素(sù)，可以更好(hǎo)地理解生成熊(xióng)猫、龙等富有中国文化特色(sè)的形象。

Vidu生成的龙、熊猫等中国文化元素(sù)视频(pín)

背后团队来自清华，已融资(zī)数亿元

Vidu的背后，是一家(jiā)来自(zì)清华(huá)的明星创业公司生数科技。

公开(kāi)资料显示(shì)，生(shēng)数科技成立(lì)于2023年3月，核心(xīn)成员来自清华大学人工智能研究院，致力于自主研发(fā)世界(jiè)领先的可控多模态通(tōng)用大模(mó)型。公司的CEO本硕就读于清华(huá)大学计算机(jī)系的唐(táng)家渝(yú)，首席科学家由清华人工(gōng)智能研究(jiū)院副院长朱军担任，CTO鲍凡则是清华大学计算机系博士生、朱军教授的课题组成员，长期关注扩散模型领(lǐng)域研究。

记者注意到(dào)，今年3月，唐家渝曾在沟通会上向(xiàng)媒体表(biǎo)示，今年内公司的大模型一(yī)定能达到Sora目前版本的效果，“但很难说是三个月(yuè)还是半年”。然(rán)而(ér)，Vidu却提前(qián)交出了一份令人(rén)惊艳的考卷，这主要得益于团队是国内(nèi)最早布局多模态大(dà)模型的团队之一，多年(nián)以来在这一领域形成了(le)深(shēn)厚的积累。

据唐家渝介绍，生数科技目(mù)前采取模型层和应用层两条路走路的模式(shì)。一方面，构建覆盖文本、图(tú)像、视频、3D 模型等多模态能力的底层通用大模型，面向B端提供模型(xíng)服务能力；另一(yī)方面(miàn)，面向图(tú)像(xiàng)生(shēng)成、视频生成等场景打造垂类应用，按照订阅等形式(shì)收费，应用(yòng)方向(xiàng)主要是游戏制作(zuò)、影视后期等内容(róng)创(chuàng)作场(chǎng)景(jǐng)。

记者梳理发现，生数科技自成立以(yǐ)来就备受资本关注。天眼查数据显示，生数科技目前共完成3轮融资。2023年6月(yuè)，完成近亿元人民币天使轮融(róng)资(zī)，投资方包括蚂(mǎ)蚁(yǐ)集团(tuán)、BV百度风投、卓源亚洲、卓源资本；2023年8月，完成数千万人民币天使+轮融资，投资方为锦秋(qiū)基金；2024年3月，完成数亿元人民币A轮(lún)融资，投(tóu)资方(fāng)除(chú)了启明(míng)创投、达泰资本、智谱AI等新机构以外，还有BV百度风投、卓源亚洲两(liǎng)个老股东。

在三轮融资(zī)总计(jì)数亿元人民(mín)币的资本加持(chí)下，生数(shù)科技(jì)已成为目前(qián)国内多模态大模型中估值最高的初创公司(sī)之一。生数科技表(biǎo)示，Vidu的问世不仅(jǐn)是U-ViT融合架构在大规模视觉任务中的又一次成功(gōng)验证，也代表了生数科技在多模态原生(shēng)大模型领域的持续创新能力(lì)和领先性。