想研究AI漫剧,探索了几天还是没有跑通全流程,真心求教社区各位佬们

kibozh 2026-04-10 14:33 1

我想实现的是:输入一本短篇小说或者一篇作文,一个故事。AI自动生成一部漫剧。

独自探索了了几天,目前能做到的是:

1、输入小说-》文本大模型自动提取人物外貌特征描述。

2、文本大模型根据人物描述生成人物提示词。

3、文生图大模型根据提示词生成人物图片。

4、文本大模型生成分镜片段描述。

5、现在还缺的是如何根据3和4,生成具备人物一致性分镜视频。最好是本地comfyui可以直接部署的工作流。

希望各位佬不吝赐教。。。 ^-^

最新回复 (19)
  • sa0jun 04-10 14:47
    2

    这类项目非常多,比如站内的免费开源!已经盈利的AI影视/短剧agent制作系统 waoowaoo

    基本都能符合你的需求,或者可以二开补全自己需求

    但是看到即梦的小云雀和即将内测的小章鱼,还有 b 站 updream ,这些七七八八的功能未来都会整合在闭源算法自家平台内

    现在只不过都是昙花一现或者是大厂学习的样板

  • kibozh 楼主 04-10 14:59
    3

    感谢佬,我在github确实翻过很多次,翻出了toonflow之类的,这种本地化管理,但是文生图和图生视频不知道怎么对接本地工作流。即梦和小云雀这些得不停充钱抽卡,分集多的话害怕不保持一致性,而且费时费力。这次看到你分享的这个感觉比较符合我的需求,回去深度体验一下。。。

  • sa0jun 04-10 15:02
    4

    即梦自带的 agent 不要钱,小云雀 agent 的功能应该也是,就是到出分镜之后后面的人物设定场景设定会要积分 每天的免费额度也足够了 然后你看故事剧本分镜都差不多了再开个会员直接出视频就行了

    而且即梦小说转分镜提示词有个好处就是基本可以规避因为自己写的提示词违规的可能

  • kibozh 楼主 04-10 15:09
    5

    送的积分,不够生成一个完整视频啊,算上试错的,顶多一两个分镜就没有积分了。

  • sa0jun 04-10 15:17
    6

    送的积分够你生成分镜,人物,场景图 想生视频还得开会员 免费生视频难度比较大

  • kibozh 楼主 04-10 15:22
    7

    嗯嗯,好的,我先研究一下你分享的那个项目,低成本充值token就能在一个项目内跑通全流程的话,中间素材都在本地,我也能接受,也不一定追求全流程免费。

  • Jamyang Dolma 04-12 00:16
    8

    如果他只是准备做一个很小的短视频还性,但是他如果想做小说改AI漫剧,只是免费额度生成就不现实了。别说一整部小说,就算是一集也需要N天才能完成

  • kibozh 楼主 04-12 00:32
    9

    是的,免费额度远远不够,有准备充值的,但是目前还是需要剪映之类的软件介入。AI全流程都没有跑通。


    [





    |
    kibozh
    [email protected]
    |



    • | - |



    ](QQ邮箱名片)

  • xiaoxie999 04-13 19:57
    10

    已经搞了几天漫剧,真的很赞同。太费时费力,有氪金,有点想放弃了

  • xiaoxie999 04-13 19:59
    11

    蹲一个 佬 研究到工作流了嘛 自己拼拼凑凑做出来的是真的啦

  • kibozh 楼主 04-13 21:29
    12

    还没呢,拼凑的步骤,效果不太好,也可能是模型问题


    [





    |
    kibozh
    [email protected]
    |



    • | - |



    ](QQ邮箱名片)

  • xiaoxie999 04-13 23:53
    13

    哎,是的,我也是很难受。东拼西凑,就是没有做出一个好的 AI 视频。

  • William77 04-13 23:55
    14

    AI漫剧?那么难搞吗?我听别人说用在AI生成视频上的钱老多了这是不是真的?

  • 小把戏 04-16 02:03
    15

    即梦的小章鱼感觉挺好的,看b战测评说是一步步引导你生成视频

  • kibozh 楼主 04-16 10:06
    16

    这几天深度体验了一下这个老友推荐的开源项目,跟各位老友分享一下相关进展。

    先说优点

    1、waoo项目能做到导入小说直到生成分镜视频。完成了全流程中的大部分,比起我上面自研的流程多了自动合成分镜视频。

    2、配置简单,快速上手,流程指引简单。

    再说欠缺

    1、小说文本长度有限制,超过长度限制直接报错。(改进建议:放宽小说长度限制,并把长度限制转移放到剧集编排这一步,等于是原著无需改动,只在剧集改编的时候缩减。有时间我会提个pr)

    2、模型配置有问题,目前配置了官方模型名称强校验,而官方模型名称又是写死在本地的。导致比如文本模型百炼提供商新增的qwen3.6-plus,或者一些被提供商重命名的模型名称,手动添加进去也用不了。(改进意见,去掉模型名称强校验或者把本地写死的模型名称改成从/models接口获取,这个我也准备提个pr)

    3、还有一个功能缺失是目前还没有提供合成完整视频的功能。包括分镜之间的转场,配音,仍需剪映人工编辑。这个我不清楚目前有没有比较好的平替方案。比如接入某个comfyui工作流?或者接入某个开源库专门用于合成完整视频?

    4、项目还有一个比较严重的bug就是,返回去看中间流程,会让你重新生成!(项目资产一旦生成应该可以反复查看,除非手动确认重做某个资产,否则都不应该被抹掉,我有个习惯会反复回去看图片资产,这个我本地肯定要修复了,不然token消耗比付费api消耗的更快,老友们说这要不要也提pr还是提issue?)

    5、人物一致性保持的不算好,容易串人物外貌,比如原本A人物的发型和衣着,突然在某个分镜变成了B人物的,不知道该怎么调整修复这个问题。

    最后汇总:别看我提的问题多,但是我依然很喜欢这个项目,起码它搭起了一个完整的框架,挑的刺多是因为我想让它变得更好。

  • kibozh 楼主 05-11 17:02
    17

    发现一个新的不错的AI漫剧库,分享给各位佬:pixelle-video

    https://github.com/AIDC-AI/Pixelle-Video

  • 东邪西毒 05-11 17:04
    18

    GitHub上很多开源的短剧的代码拉下来部署一下接入api爽歪歪。

  • kibozh 楼主 05-11 17:15
    19

    这个库可以对接本地comfyui,这点才是最打动我的。


    [





    |
    kibozh
    [email protected]
    |



    • | - |



    ](QQ邮箱名片)

  • Alexander190 06-15 13:59
    20

    谢谢佬!对我也很有帮助,我刚好最近也在研究ai生成短视频之类的。

* 帖子来源Linux.do
返回