清华大学文生视频专利公布

来源:观察者网

2024-02-20 21:03

国家知识产权局网站显示,2月2日,清华大学申请的“一种定制化多主体文生视频方法、装置、设备及介质”专利公布。

专利摘要显示,该申请提供一种定制化多主体文生视频方法、装置、设备及介质,涉及神经网络技术领域,包括:获取多个主体分别对应的主体文本表述以及主体图像;基于多个主体分别对应的主体文本表述以及主体图像,获取混合文本以及组合图像;将混合文本以及组合图像输入文生视频模型,生成第二噪声预测值,并基于第二噪声预测值与组合图像,获取第二损失和第三损失;基于第一损失、第二损失与第三损失,对文生视频模型进行优化,得到优化的文生视频模型。该申请通过多种损失对文生视频模型的参数进行优化,使优化的模型基于文本描述生成视频中的图像时,文本描述与定制化主体保持一致,且在每个主体在生成过程中的特征不会发生混淆的同时消除合成痕迹。

责任编辑:范维
观察者APP,更好阅读体验

熬夜敲定“作战手册”,欧洲还在等美国的“胡萝卜”

“巴拿马要付出沉重代价,长和也该彻底清醒了”

“中国何以挑战美国AI霸权?这就是答案”

“中美竞争,不会造物的终将衰落”

哈梅内伊:近期抗议示威形同政变,已被平定