电商爬虫佬请进

大腿君君 2026-09-14 15:42 1

目前我们公司接了个活,是做电商商品数据采集的要做淘宝 pdd 京东 等头部电商商品的数据采集,估计每天一起要采集30万条数据吧。用ai写了协议级别的爬虫,调研了几个平台 发现有点费账号啊。有没有大佬能交流下经验的

最新回复 (19)
  • 长夜 09-14 15:43
    1

    核心商业机密,怎么可能有人告诉你?

  • DanielHill 09-14 15:45
    2

    我去,你也太小看这些平台的风控了吧 ^-^

  • cicikiller 09-14 15:45
    3

    没办法 老老实实付费买服务吧 特别是阿里系的 特别变态

  • cf48rty 09-14 15:48
    4

    采集好了记得叫叫我, 或者是你们报价是多少,咱们可以合作看看,对于这种的话他本身就是账号标记,你既然逆向过来就应该知道,他是有头 那些标记的

  • 大西王 09-14 15:48
    5

    老老实实付费买服务,就算有好用的爬虫也不可能有人会告诉你的,能弄出来的90%靠这东西吃饭呢

  • Tord 09-14 15:49
    6

    这种商详数据,不说0.1一条,0.05一条也有了,一天30w 公司给你开多少工资?

  • Tord 09-14 15:49
    7

    (帖子已被作者删除)

  • richard3 09-14 15:51
    8

    这么搞,服务器ip顶得住不啊

  • cf48rty 09-14 15:51
    9

    1688 京东 可以开接口无限,淘宝就算开货盘对接,我们目前也就最多一天 2W 的量,

  • lka 09-14 15:52
    10

    想从正面直接拿数据,难度极高,唯一有可能可行的是,使用影刀那种。然后加上各种随机的小动作模拟真实用户的真实使用。


    而且就算如此,他也会不断的跳出验证码之类的东西,我觉得倒不一定是自动化行为高危触发风控。而是他们限制的非常死,料定了你不是正常用户,正常用户不会这样长时间的频繁使用。


    国内的各平台现在对数据的态度,前所未有的严格。反爬手段都不说了。连商家的经营数据都完全指数化,而且完全不给逆向转化,谁碰谁死。

  • n 09-14 15:53
    11

    烧号那是必经之路,慢慢你会发现还是买服务更省心省力。说一个取巧的方法如果不是要特殊数据可以借助对应各家的AI能力然后你就会发现 它会给你想要的东西。 ^-^

  • 月球宇航员 09-14 15:53
    12

    量大还是老老实实买万邦的api把,或者一下二流的api服务商 ^-^

  • TimelessPeak 09-14 15:54
    13

    抖店有渠道么,最近在研究抖店的

  • yuanps 09-14 15:54
    14

    RPA+插件都试过了,我每天还只是10w左右,你这个量级不仅是废账号,还费IP,前期还只是封账号,在升级就到ip了。不知道你要什么数据,但是大部分第三方都有的。

  • 大腿君君 楼主 09-14 16:13
    15

    哈哈哈 税后1万不到

  • 大腿君君 楼主 09-14 16:13
    16

    就商品详情 还有评论

  • 大腿君君 楼主 09-14 16:14
    17

    在哪能买到呢?啥价格

  • dhdh 09-14 16:15
    18

    数据孤岛可不是白叫的,老老实实买服务吧

  • dunNaNa 09-14 16:16
    19

    佬们已经给方案了,买第三方服务,说实话这些问题搞定了都能自己开公司了

* 帖子来源Linux.do
返回