618本来想买个5060TI 16G

这两天在抖音看到专门针对2080t优化的跑模型项目，感觉是目前个人跑LLM的最优解，QWEN27B可以80-100T，GitHub - weicj/vLLM-2080Ti-Definitive: The definitive vLLM runtime for dual RTX 2080 Ti 22GB + NVLink, delivering 27B/31B local inference with 100+ tok/s single-request decode with support of FP8 weight · GitHub 不过二手卡看人品

是的 有心在上一块魔改2080Ti，16g跑32b还是差点,而且跑视频的话 sage Attention 也更友好

跑视频就需要单卡大显存了，这个多卡无解，只能堆钱，LLM可以堆显卡，平民化本地部署

5060ti 16G不是挺好的,不太理解为什么要拆开.V100有点老了,算力不太够,出厂时间太长显存还容易挂,是不是费电另说.

我前2天刚换 我看5060TI太贵了 换了RX 9060 16G打打游戏跑个本地模型

3200的 5060TI 16G,

佬看的是哪一款可以给我分享一下不

费电还好吧，我挂着5090d跑一天就几块钱 ^-^

玩comfyui跑不了是真难受

哈哈 A卡性价比杠杠的,兼容性咋样啊？

自从qwen-image/wan22不开源后,感觉本地部署没啥好玩的了,兴趣骤减.

LTX2.3,最新的数字人工作流还可以，效果比infinity-talk自然，动作控制也多一些

嗯嗯 犹豫了一波,后来想把游戏 和 算力分开,而且我感觉我本地大模型这股热乎劲长久不了 ^-^

最近刚把wan2.2 跑通,回头试试LTX

和瑟数码的 现在还躺在我购物车里 但是下架了

用Qwenimage 给我们孩子弄了个入园照,这也是本次618显卡经费 家庭财政审批能通过的主要原因 ^-^

我相信我老婆会给我买的，我就再等一等就好了

是的 目前也就720p的玩一玩,也不当生产力

还有心用本地ai,把家庭相册整理整理,要不nas里的照片光存不看

我还是觉得应该多加预算的,V100属于能用,但绝对让你用的不舒服那种,兴趣很容易在长期等待中消磨殆尽.

我记得自己去年写过一篇相关文章,嫌弃自己的显卡怎么办？, 现在已经换显卡了, 双刀流(单机双GPU)

哦 楼主说的5060ti 我还说我看的怎么都7800以上 5070ti16 想入手 但是感觉不如花在大模型订阅上了，还能回本

5060ti 我起初的想法和你一样 源自于看了B站 后来发现根本跑不了 5090估计才行。