2. Linux.do
  3. 如何避免实验室炼丹共用显卡oom

如何避免实验室炼丹共用显卡oom

Annoying7811 2026-07-10 20:01 1

苦逼炼丹ing，实验室显卡不足，大家共用显卡，但是train和infer的时候受限于batch 不是完全的padding到一定大小的，经常oom。

之前考虑过slrum，但是实验室人不太接受，因为没有直接挂tmux方便，而且是独占显卡，别人不能和你一起用（目前是h100所以显存还能跑下几个不同的推理）。

问过gpt没有找到好的解决方法，求助各位佬 有没有什么建议，十分感谢^-^

最新回复 (7)
  • 湾狐狸🦊 07-10 20:05
    1楼

    这种感觉只能提前算好一定余量了？

    实在不行在显存占用少的阶段额外跑点东西预留住显存啥的 总之就是提前占住显存（x

  • erhu 07-10 20:09
    2楼

    把他们的代码kill掉^-^^-^^-^或者加钱再买点

  • 刀哥最严厉的父亲 07-10 20:12
    3楼

    有点绷 一般不是 申请不同的节点 独占该节点吗。 感觉需要一个排期 对大家都好。

    或者考虑切片，我这边的超算 要么独占显卡，要么单卡切片切好了，独占某一个切片。

  • 白洲梓 07-10 20:19
    4楼

    搞个在线表格。没填默认直接杀就行了。另外你可以搞单线程限制

  • Annoying7811 楼主 07-10 20:49
    5楼

    直接被实验室群殴了 ^-^ ^-^ ^-^ ^-^

  • Annoying7811 楼主 07-10 20:49
    6楼

    这个也是比较尴尬的 就是有的任务显存占用是不固定的 比如有些缓存释放了 就尴尬了

  • Annoying7811 楼主 07-10 20:50
    7楼

    实验室太穷了 没有超算 人均不到一张卡

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐