本地部署AI大模型求教【35万预算配置】

公司制造业，推智能化一年多了，顺带想搞本地大模型，折腾了三四个月，硬件配置已经定了，端午后到货：

CPU：Intel Xeon Platinum 8368 38C 2.4GHz ×2

内存：DDR4 3200 64G RDIMM ×8

系统盘：480G SATA SSD ×2（RAID1）

热数据盘：3.84T U.2 NVMe SSD（直通）

冷数据盘：8T SATA HDD ×3（RAID5）

RAID卡：LSI 9560-8i 4G + 超级电容

GPU：RTX 4090 24G 双宽涡轮 ×8

网卡：双口1G RJ45 + 双口25G

电源：2000W ×4

需求还比较模糊，大方向是：员工能用上本地聊天AI，有类似阿里百炼那样的工作流/智能体/知识库平台（倾向Dify），做好权限管理，另外对OpenClaw和Hermes也比较感兴趣。预计并发也就几个到十几个人，带不动就限制使用。

现在卡在几个问题上，请教各位：

1. 
   

   宿主机用裸机还是虚拟化？
   
   直接装Ubuntu/Rocky，还是上PVE之类的虚拟化，坏了能回滚？主要担心虚拟化对GPU直通和NVMe直通有没有坑。

   
   


2. 
   

   模型怎么选？
   
   Qwen3.6-35B-A3B（MoE）和Qwen3.6-27B是最近看到的，但不确定名字记对没有。要不要上量化版本？或者直接DeepSeek/Kimi/GLM系列更稳？

   
   


3. 
   

   Dify的知识库怎么搞？
   
   听说Dify知识库挑格式，用起来麻烦。有人建议上知识图谱，是微软开源的那个GraphRAG吗？能和Dify集成吗？

   
   


4. 
   

   权限管理怎么做？
   
   One API还是New API？有没有更好的方案？

   
   

随便从哪个角度聊都行，有一点思路对我帮助都很大，谢谢各位！