2. NodeSeek
  3. arxiv下论文还需要家宽ip？我也是醉了。

arxiv下论文还需要家宽ip？我也是醉了。

xsbati 2026-09-15 23:31 1

arxiv下论文，一开始用瓦工可以的，估计并发太多了，下载2，300篇之后，直接429了，3天没解封。

用racknerd，cc，ovh……这些机房ip通通直接429.瓦工一开始还是200.


直连不用代理，大陆ip也是直接429.


这是逼我买国外家宽ip吗？


进来的兄弟可以帮忙试试，下面的命令，你的代理vps能够curl出 200 状态码 吗？


curl -sS -m 45 -w '\nhttp=%{http_code} time=%{time_total}\n' \

  -A 'FEEDS/probe-once' \

  -o /tmp/arxiv.xml \

  'https://export.arxiv.org/api/query?search_query=cat:cs.CL&max_results=1'
最新回复 (32)
  • LUCAS-UM09 09-15 23:35
    1楼

    你家宽高并发应该也封的

  • sv6cr 09-15 23:36
    2楼

    megabox


    curl: (28) Operation timed out after 45001 milliseconds with 0 bytes received
    

    
http=000 time=45.001084
  • xsbati 楼主 09-15 23:37
    3楼

    @LUCAS-UM09 #1 发布于9/15/2026, 11:35:43 PM

    你家宽高并发应该也封的


    大哥，封了会解封吗？知道错了，调整了频率，不并发，1分钟一次，但是不给机会了啊。555

  • sv6cr 09-15 23:38
    4楼

    crunchbits


    http=429 time=39.728130
  • xsbati 楼主 09-15 23:39
    5楼

    @sv6cr #2 发布于9/15/2026, 11:36:28 PM


    curl: (28) Operation timed out after 45001 milliseconds with 0 bytes received
    

    
http=000 time=45.001084

    这个是45秒内没返回，等同于429.我有vps就是第一次000，第二次就429了。基本属于服务器早就黑名单了，第一次懒得理你。

  • mbao-9028 09-15 23:39
    6楼

    woc，第一次碰到 arxiv 大规模下载的，这是要干嘛，开镜像吗

  • xsbati 楼主 09-15 23:42
    7楼

    @mbao-9028 #6 发布于9/15/2026, 11:39:44 PM

    woc，第一次碰到 arxiv 大规模下载的，这是要干嘛，开镜像吗


    跟踪agent相关几个订阅源的论文，下载，翻译，分析，结合现有项目给建议。自动化流程刚搭好，就被打了。

  • jr028740 09-15 23:43
    8楼

    arxiv不支持这么刷，跟ip纯净度以及是不是家宽没关系。

  • xsbati 楼主 09-15 23:43
    9楼

    @sv6cr #4 发布于9/15/2026, 11:38:43 PM

    crunchbits


    http=429 time=39.728130

    3ks

  • sv6cr 09-15 23:44
    10楼

    暴论：


    https://www.nodeseek.com/post-701515-3#21:


    自由开源软件比科学更自由更开放


    放弃科学，拥抱自由开源软件


    https://www.nodeseek.com/post-707287-1#3:


    暴论：硬件，电子，固件，工艺这些软件之外的工程体系和软件不一样，它们尖端工程技术都是不自由闭源专有的。例如硬件的核弹火箭轮船，电子的ASML的光刻机，固件的nvidia显卡的固件，工艺见光刻机。不像软件的尖端技术：linux内核（曾经是，现在或许是闭源的AI吧，害），是自由开源软件。除软件之外的体系都是死胡同，不得大逍遥。这也是为啥现在大学无用的原因之一，工程技术都被大企业与国家敝帚自珍。想象一下，大学里的集成电路知识全是20年前的，最近的只有大公司偶尔发的几点残羹剩饭论文，这样的大学能学个屁呢。还有科学界也是被工程界的恶臭沾染，软件论文不给源码我也是呵呵了。自由开源软件比科学与工程更开放更自由


    https://www.nodeseek.com/post-514943-4#36：


    直接掀桌子，自由开源卷死一切，让所有人都赚不了钱。哪怕工作996，空闲时间只够一周修一个自由开源软件的BUG，星星之火也可燎原。让自由开源再次伟大！自由开源软件，自由开源固件（做梦），自由开源硬件（给Arduino烧纸中），自由开源工艺（做梦），自由开源军事。最极致的卷，圣贤先辈们早就已经为我等指明了道路，放弃一切，自由开源！若为自由故，一切皆可抛。若我已无路可走，我要让所有人都无路可走，再卷卷的过自愿当奴隶的自由开源软件贡献者？要死一起死，谁都别想活。卷死他们


  • xsbati 楼主 09-15 23:45
    11楼

    @jr028740 #8 发布于9/15/2026, 11:43:11 PM

    arxiv不支持这么刷，跟ip纯净度以及是不是家宽没关系。


    国内直连可以下载吗？为什么国内N个宽带ip今晚试了一下，直接都429？因为国内宽带ipv4共用都脏了吗？

  • Kap 09-15 23:46
    12楼

    并发高了触发风控是很正常的事情, 家宽ip也没有免死金牌

  • LUCAS-UM09 09-15 23:47
    13楼

    @xsbati #3 这个真没招吧，export.arxiv.org这个接口就是拿来批量下载的，你都给搞风控了，只能等着解封了，或者你改改ua试试有用没

  • sv6cr 09-15 23:47
    14楼

    ihostart也是000，虽说这家ip和纯净二字八竿子打不着，哈哈


    我也就这些小鸡了

  • xsbati 楼主 09-15 23:47
    15楼

    @Kap #12 发布于9/15/2026, 11:46:47 PM

    并发高了触发风控是很正常的事情, 家宽ip也没有免死金牌


    关键是有没有机会救回来？需要冷却多少天？

  • LUCAS-UM09 09-15 23:48
    16楼

    我记得国内不是有镜像站吗，现在没人维护了？

  • jr028740 09-15 23:48
    17楼

    @xsbati #11 看21楼。

  • sv6cr 09-15 23:49
    18楼

    megabox，curl用-4flag强制ipv4:


    http=429 time=18.481283

    唉不对，export.arxiv.org只有ipv4，强制ipv6的话DNS不解析

  • KEVI 09-15 23:50
    19楼

    不会一直 429 的，下午两点后再试试

  • sv6cr 09-15 23:53
    20楼

    国内移动


    curl: (35) Recv failure: Connection reset by peer
    

    
http=000 time=0.357518
  • jr028740 09-15 23:53
    21楼

    arxiv对每个api请求有3秒的限制，而且不让并发请求:

    https://info.arxiv.org/help/api/tou.html

  • xsbati 楼主 09-15 23:55
    22楼

    @jr028740 #21 发布于9/15/2026, 11:53:52 PM，编辑于9/15/2026, 11:54:07 PM

    arxiv对每个api请求有3秒的限制，而且不让并发请求:

    https://info.arxiv.org/help/api/tou.html


    对的，我被封了才去搜规则。大意了。

  • xsbati 楼主 09-15 23:57
    23楼

    @jr028740 #17 发布于9/15/2026, 11:48:27 PM

    @xsbati #11 别折腾这个api了，什么ip都会被rate limited.

    试试别的方法，比如用selenium去请求真实页面。


    过一个星期不解封，再来折腾。

  • xsbati 楼主 09-15 23:58
    24楼

    @LUCAS-UM09 #13 发布于9/15/2026, 11:47:15 PM

    @xsbati #3 这个真没招吧，export.arxiv.org这个接口就是拿来批量下载的，你都给搞风控了，只能等着解封了，或者你改改ua试试有用没


    改ua的，没用，哈哈哈。只能等了。3天了，今晚再试一次，还是429，破防了。就来发帖。

  • xsbati 楼主 09-15 23:58
    25楼

    @KEVI #19 发布于9/15/2026, 11:50:56 PM

    不会一直 429 的，下午两点后再试试


    为什么是2点？api调用低谷期么？明天2点试试。

  • sv6cr 09-16 00:00
    26楼

    arxiv好像有个啥亚马逊s3 bulk下载，不知道具体是啥，见https://github.com/arXiv/arxiv-base/issues/73，指向了https://info.arxiv.org/help/bulk_data_s3.html，或许可以试试


    我是突发奇想arxiv有没有torrent所以搜了搜，但根据那个issue里说的应该是官方不支持的，但有老的其他人的torrent，见https://archive.org/details/arxiv-bulk?sort=-publicdate与https://academictorrents.com/collection/arxiv


    懒得继续搜了，办法应该还是有的

  • xsbati 楼主 09-16 00:01
    27楼

    @sv6cr #26 发布于9/16/2026, 12:00:28 AM

    arxiv好像有个啥亚马逊s3 bulk下载，不知道具体是啥，见https://github.com/arXiv/arxiv-base/issues/73，指向了https://info.arxiv.org/help/bulk_data_s3.html，或许可以试试


    我是突发奇想arxiv有没有torrent，但根据那个issue里说的应该是官方不支持的，但有老的其他人的torrent，见https://archive.org/details/arxiv-bulk?sort=-publicdate与https://academictorrents.com/collection/arxiv


    懒得继续搜了，办法应该还是有的


    如果一个星期不解封，也只能找新方法了

  • BoYaJun 09-16 00:07
    28楼

    我记得好像是不需要的，之前没用机房下载过几次

  • KEVI 09-16 00:11
    29楼

    @xsbati #25 拉 export 接口其实都是读 cache，最近基本上是北京时间下午两点更新一批次，这接口随便 IP 都能拉，我已经拉了很久了



    但注意要遵守他的规范，不然就小黑屋 ^-^

  • PassionAries 09-16 00:23
    30楼

    emmm 那不正常？

  • szp2005 09-16 05:18
    31楼

    刚拿你那条跑了下，我这边 http=200。同机器再试下 export.arxiv.org/rss/cs.CL，通了就说明封的是 api 路径不是你 IP。

  • corenuclear 09-16 06:27
    32楼

    家宽也扛不住高并发啊

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐