2. Linux.do
  3. 如何在Slurm调度系统的HPC集群上使用codex等agent开发

如何在Slurm调度系统的HPC集群上使用codex等agent开发

FantasticJoe 2026-06-08 15:35 1

如题，最近有了一个HPC集群的使用权限，这个集群使用slurm调度任务，请问各位有hpc集群使用经验的佬友，使用hpc的时候能否在hpc上使用codex等agent。了解到大多数hpc集群的登陆节点有网络连接但是计算节点没有网络连接，并且使用规则里一般都规定登陆节点不能运行计算任务，不太确定在登陆节点用codex debug算不算是这里定义的计算任务。如果不能的话是怎样开发这种大计算量的任务的，先本地debug然后再放到hpc上跑吗？

最新回复 (7)
  • Kitakoji 06-08 15:47
    1楼

    我是为了避免HPC标记我为高风险或者拉黑名单，所以我都是在本地debug然后小批量测试完成后再上传到服务器使用计算节点进行运行，可能slurm运行后会报错，就把log日志下到本地再调试，虽然流程长点但是被风控了感觉更得不偿失

  • hackinglove 06-08 15:58
    2楼

    建议本地codex smoke debug，然后可以把集群连接信息写到agent.md或者memory里,codex自己有能力把debug过的任务通过slurm推上去，以及从服务器拉结果和log。整个远端运行流程都是自己完成，不需要你管，其实从体验上没差。

  • rainoffallingstar 06-08 16:00
    3楼

    使用conda安装，然后就在登陆节点偷偷使用（）

    我连的超算系统是一个32核的小服务器

    还没有被杀过

  • FantasticJoe 楼主 06-08 16:02
    4楼

    ok那我还是为了合规还是本地用agent吧，谢谢佬友^-^

  • FantasticJoe 楼主 06-08 16:03
    5楼

    好的我研究一下这个方案，谢谢佬友

  • 凡凡爱吃毛豆 06-08 16:05
    6楼

    学校算力中心吧哈哈 我是直接给sshpass权限让其ssh 在uv虚拟环境中跑

  • wyjistest 06-08 16:08
    7楼

    不是都用sbatch提交吗，你可以先用非常小的数据集在登录节点用sbatch提交测试，然后再sbatch提交大批量的任务，codex直接读日志就知道啥情况了。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐