制造业, 公司批了8w的AI尝鲜预算, 求各位佬推荐下计算卡

前情提要

人在某医药公司, 首先要感谢L站各位佬百花齐放的中转站.

经过三个月的持续推荐(huyou), 终于在上周 claude science 的最终一击下说服了领导.

现在是开心的花预算时刻. 不过多年不当垃圾佬, 对计算卡实在也不太了解, 因此希望各位佬指点一二.

业务需求

因为实际是制造业(但是有机房和运维), 其实方向还很迷茫, 只是研发数据实在不能上云才会有本地算力需求, 目前特别具体的需求应该只有

1. 知识库的推理


2. 知识库中 文档的OCR


3. 生物学中 基于esm2和boltz2(需要cuda)的蛋白质计算


4. 我们部门想试试千问70B这个级别的LLM.

个人功课

已经在tb和闲鱼逛了一圈了解了一下行情. 个人选定的决赛圈有这几个:

1. RTX Pro 6000D 84G /5.1w


2. L20 48g *2 /5.2w


3. A100 80G /4.8w

希望得到各位佬的指点. 提前祝各位佬下周末快乐:)