好奇这个比价网站数据都是怎么来的自己在网上找吗?

master 2026-09-09 03:19 1

最新回复 (10)
  • verse4 09-09 03:20
    1

    有可能是 这种价格数据应该不需要定时采集 幅度比较少 动态数据只有汇率

  • master 楼主 09-09 03:30
    2

    @verse4 #1 有点费时间

  • verse4 09-09 03:50
    3

    @master #2 发布于2026/9/9 03:30:58

    @verse4 #1 有点费时间


    还好吧 一次采集基本很长时间不用改变

  • Daydream5532 09-09 03:58
    4

    就是爬虫,每个小时爬一次就行了

  • Daydream5532 09-09 04:00
    5

    @verse4 #3 发布于2026/9/9 03:50:53


    @master #2 发布于2026/9/9 03:30:58

    @verse4 #1 有点费时间


    还好吧 一次采集基本很长时间不用改变


    你想太多了,售价随时都在变化。尤其是team之类的炸弹车,几个小时开一班,然后随着时间慢慢降价,只要你爬虫频率不够高,数据就没有时效性

    链动也是这样被逼的加了验证码,你同时打开几个商品链接就触发了

  • dimension 09-09 04:13
    6

    通过定时采集更新,一般30min一次,对于热门商品调高采集频率就行,比如10分钟集中一次,加上动态采集调度策略,以及动态ip代理,成本还行

  • verse4 09-09 04:41
    7

    @Daydream5532 #5 发布于2026/9/9 04:00:20


    @verse4 #3 发布于2026/9/9 03:50:53


    @master #2 发布于2026/9/9 03:30:58

    @verse4 #1 有点费时间


    还好吧 一次采集基本很长时间不用改变


    你想太多了,售价随时都在变化。尤其是team之类的炸弹车,几个小时开一班,然后随着时间慢慢降价,只要你爬虫频率不够高,数据就没有时效性

    链动也是这样被逼的加了验证码,你同时打开几个商品链接就触发了


    对于正价plus pro这些不需要吧

  • Daydream5532 09-09 04:44
    8

    @verse4 #7 发布于2026/9/9 04:41:26


    @Daydream5532 #5 发布于2026/9/9 04:00:20


    @verse4 #3 发布于2026/9/9 03:50:53


    @master #2 发布于2026/9/9 03:30:58

    @verse4 #1 有点费时间


    还好吧 一次采集基本很长时间不用改变


    你想太多了,售价随时都在变化。尤其是team之类的炸弹车,几个小时开一班,然后随着时间慢慢降价,只要你爬虫频率不够高,数据就没有时效性

    链动也是这样被逼的加了验证码,你同时打开几个商品链接就触发了


    对于正价plus pro这些不需要吧


    确实,只不过比价网站不包含team这种羊毛的比价还挺奇怪的

  • verse4 09-09 04:48
    9

    @Daydream5532 #8 发布于2026/9/9 04:44:49


    @verse4 #7 发布于2026/9/9 04:41:26


    @Daydream5532 #5 发布于2026/9/9 04:00:20


    @verse4 #3 发布于2026/9/9 03:50:53


    @master #2 发布于2026/9/9 03:30:58

    @verse4 #1 有点费时间


    还好吧 一次采集基本很长时间不用改变


    你想太多了,售价随时都在变化。尤其是team之类的炸弹车,几个小时开一班,然后随着时间慢慢降价,只要你爬虫频率不够高,数据就没有时效性

    链动也是这样被逼的加了验证码,你同时打开几个商品链接就触发了


    对于正价plus pro这些不需要吧


    确实,只不过比价网站不包含team这种羊毛的比价还挺奇怪的


    羊毛就太多了 渠道多 就看站长信息源了

  • corenuclear 09-09 07:19
    10

    热门商品得高频爬

* 帖子来源NodeSeek
返回