流影升级版：用 QwenVL + InternVL 给擦边短视频自动打标签

之前发过一个帖子，折腾了一个自己搭建的擦边小姐姐跳舞视频站：

^-^ 公益推广声明（点击展开）
[流影]
^-^ 流影 · 直播舞蹈聚合
8000+ 抖音小姐姐舞蹈视频，聚合虎牙、斗鱼、B站直播内容

^-^ 第二弹：换个口味
昨天已经吃过荤菜了，今天给大家换换口味。
这一弹主打：

绿色、健康、清淡，全是素菜。

你问我荤菜在哪里？
昨天还没吃腻吗？ ^-^

流影 · 直播舞蹈聚合
…

用了一段时间之后发现一个问题：

视频实在太杂了。

大家虽然都是来看素菜的，但素菜也得分个菜系，总得带点肉沫星子吧。

所以这次开始折腾视频自动分类。

用 QwenVL + InternVL 给视频打标签

目前的做法是用 QwenVL + InternVL 双教师模型，先把收集到的视频批量分析并生成标签。

现在主要想区分几类内容：

• 北半球


• 南半球


• 东西半球


• 以及其他普通舞蹈内容

教师模型负责生成标签，后面准备拿这些数据训练一个更小的模型，专门做短视频快速分类。

毕竟每次都直接跑大 VLM 成本和速度都不太合适，如果小模型能把这个任务做好，后面批量处理视频会方便很多。

流影 - 升级版

点击进入流影升级版

目前已经可以按照标签筛选视频。

不过数据还有不少问题。

北半球

这一类目前识别效果相对正常。

南半球

南半球为什么这么少？

我估计不是模型突然正经了，单纯是因为我收集的视频里这类样本本来就比较少，导致数据分布严重不均衡。

东西半球

这一类目前感觉判断得不是特别准。

应该还是数据的问题，准备继续收集一些样本，再看看能不能把标签规则和训练数据重新清洗一下。

看来为了训练模型，还得继续辛苦搜集擦边视频。

目前还在摸索

之前完全没做过这类视频识别相关的东西，这套基本都是 Vibe Coding + AI 边写边试 搞出来的。

目前大致路线是：

视频抽帧 → QwenVL / InternVL 打标签 → 清洗数据 → 训练小模型 → 在线分类

现在最大的问题应该还是：

• 样本数量不均衡


• 教师模型标签存在噪声


• 一些类别边界比较模糊


• 同一个视频不同帧差异很大


• “东西半球”这类标签准确率还不太稳定

先抛砖引玉。

如果有佬友做过 视频分类、多标签分类、蒸馏、视觉模型训练 这类东西，欢迎评论区指点一下。

尤其想听听大家对 数据清洗、类别不平衡、小模型选择和视频抽帧策略 有什么建议。