持续记录短剧创作应用2.0版本的升级进度

Rolf 2026-05-25 09:18 1


今天终于把影视短剧创作平台的1.0版本(Docker本地包)完成并推送到Github上面去了,算是小小的一个里程碑,所以想记录一下,有点啰嗦。Vibe Coding的应用,大佬们别笑话!
去年下半年因为爱好接触到了动漫视频制作,也因为一时的冲动,怒冲了一年的可灵黑金会员,但当时做视频需要结合gemini规划分镜的图片及视频提示词,再到可灵的网页版上面输出视频,就觉得非常麻烦。当时我就想为什么不做…


2.0版本的升级终于快到尾声了,记录一下。


之前1.0版本主要是把各功能区全部搭建好了,发现对小白用户来说不是很友好,太多的功能页面不知道如何下手,所以就新增了一个模型—创作向导,也就是小白模式,跟着流程做就完事,首先把界面简洁化了。



创建项目后,小白用户就能够清晰的了解整个创作的流程和逻辑,一目了然,在当前页只需要导入剧本内容,选择内容风格和画面比例,底层逻辑会自动解析后续的资产库所需的内容。



对于小白用户,如何写提示词是最头痛的一件事情了,但是在我的这个应用里面,最不怕的就是写提示词了,因为完全不需要你写,剧本解析会把所有的人物、场景、物品以及后续的生图、生视频提示词全部输出,你只需要点点点点点就行啦!




当然了,对于进入资产库的人物、场景、物品还需要更精准的一致性锚定,所以需要把人物的情绪图、多维视角图,场景的空间多维图、物品的视角图生成出来,这样才能更好的在生图环节保持人物的一致性以及人物对于空间的理解逻辑。



然后就是根据分集内容输出对应的分镜脚本,分镜脚本会把每一分镜的画面提示词、视频提示词、人物台词全部输出出来,接下来就是重头戏啦,考虑到很多人嫌麻烦,所以增加了人为调控的并发按钮------①如果想要每个画面都有上下连贯且有叙事性,那就一张一张生成吧②当然如果你觉得太慢了,也可以选择3张并发③还有人觉得依然慢的,那就可以选择5张生图并发的模式,但牺牲的是前后叙事的连贯性,但是每批次的5张生图的叙事连贯性依然存在。



在考虑到输出音画同步的视频质量效果可能不会太好的情况下,所以增加了一个后续语音配音功能,这个主要是弥补有些视频的人物台词表达不清晰或者胡言乱语的情况,这就需要后续用同样的声线输出对应的台词,在剪辑阶段进行弥补了,毕竟我们奔着是做精品漫剧的方向前行的。



最后就来到我们的终点------视频输出页,目前视频的一致性、音画同步的效果都表现还不错,更多的是使用grok模型测试的,其他成本较高的模型的测试比较少,但只能说效果和质量会更好,因为我接入官方seedance2.0模型,测试8S视频就花了我8块钱,肉疼啊。



最后呢,还是想说一句,该应用前前后后打磨的时间差不多3个月了,可能跟我的星座有关,总想着把功能做全做好,因为最初的目的就是想通过它能自动化产出高质量的视频或者短剧,每当我快要收尾的时候,又觉得还可以再打磨一下。


截至到现在,脚本测试不下于上百个、图片一致性测试已经输出了几千张、视频效果测试也生成了几百个,整体来说过程还是比较坎坷,但欣慰的是目前能达到的效果还是不错的,因为我一直在用效果较差的VEO模型和Grok模型实测,如果接入国产的可灵、seedance2.0模型只会更好。


今天就记录到这里,下次有新的进展会持续更新!

最新回复 (19)
  • 繁星之子卡萨蒂亚 05-25 09:26
    1

    可以做短片么 其实是想问下佬 能跳过自动分析剧本的阶段 自己构建分镜嘛 (毕竟做高品质短片不能像短剧一样完全自动生成)

  • Rolf 楼主 05-25 09:28
    2


    可以啊,这才是真正形态

  • 繁星之子卡萨蒂亚 05-25 09:28
    3

    那确实可以用来做点认真创作了哈哈 佬太强了

  • AK1314 05-25 09:31
    4

    佬后面项目会开源吗?还是收费的呀?

  • 可喜可乐 05-25 09:33
    5

    是可以借鉴这个成熟的项目 希望佬的项目也越来越好

  • huan fu 05-25 09:41
    6

    成本这块佬友算非常成功的路,1s才1块钱

  • Rolf 楼主 05-25 09:43
    7

    1.0Docker版本已经上传到GITHUB了,但不算完全开源,所以没办法放链接,以免有推广嫌疑。2.0版本成熟后,会考虑先对1.0版本完全开源

  • 陈平安 05-25 09:43
    8

    持续关注下佬友的项目发展,感觉很不错

  • Masha0507 05-25 09:46
    9

    这位佬儿是杭州体面厂的吗,如果不是就是我认错了

  • Catking 05-25 09:49
    10

    图片生成是不是可以考虑换成image2,这个成本比较低质量也比较好

  • Rolf 楼主 05-25 10:30
    11

    生图模型用了image2和gemini flash。而且只能用这2个多模态生图模型效果才能达到最佳

  • tomato.potato 06-01 17:02
    12

    能发下 github 地址吗,体验一下,感谢佬友。

  • Albert 06-01 17:37
    13

    厉害!佬的 github 地址可以分享一下不?想尝试一下 1.0 是什么效果

  • roy.tfei 06-01 17:50
    15

    厉害了,可以给个地址学习一下吗?想试试看

  • PayneX 06-16 14:15
    16

    佬可以给个项目的github地址吗,想学习一下 ^-^

  • yanan_6 06-16 15:17
    17

    大佬,2.0这个现在有地方下载吗。怎么试用

  • Chin 06-16 16:00
    18

    github 地址可以分享一下不



    github地址可以分享一下吗,想尝试一下

  • Lv10000 06-16 16:14
    19

    佬,我目前也正在学习创作漫剧,github地址可以分享学习一下,看看能否简化漫剧的创作流程缩减时间成本

  • Albert 06-16 16:37
    20

    私信开源的佬就可以了,后续还要激活码的

* 帖子来源Linux.do
返回