2. NodeSeek
  3. 搜狗爬虫太疯狂了，1天爬了200+GB数据

搜狗爬虫太疯狂了，1天爬了200+GB数据

windzzm 2026-10-14 08:50 1

地主家也熬不住这么爬啊，搜狗是疯了吗？

想根据UA禁止了，但又舍不得搜狗已经收录的排名

最新回复 (5)
  • yundabei 10-14 08:57
    1楼

    限速

  • jimiy123456 10-14 08:58
    2楼

    爬虫爬的多，不怕牢底坐穿？

  • rangxi 10-14 08:59
    3楼

    我的博客都只有谷歌收录

  • RiverMao 10-14 08:59
    4楼

    @windzzm #0

    熔断+限速

  • zjkal 10-14 11:42
    5楼

    根据UA做速率限制

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐