给朋友做了个爬虫, 5-10 并发爬取某网站的商品价格,每次爬取 1 万条数据左右,每隔 1-2 两小时爬取一次。买了代理 IP 服务,轮换着 IP 爬取。感觉是不是犯法了?会被抓吗? BtoC 的网站, 10 并发感觉没啥吧。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
evan1
V2EX    问与答

给朋友做了个爬虫, 5-10 并发爬取某网站的商品价格,每次爬取 1 万条数据左右,每隔 1-2 两小时爬取一次。买了代理 IP 服务,轮换着 IP 爬取。感觉是不是犯法了?会被抓吗? BtoC 的网站, 10 并发感觉没啥吧。

  •  
  •   evan1
    PRO
    1 天前 1024 次点击
    第 1 条附言    21 小时 20 分钟前
    我看了下代理 IP 的供应商的网站说明,就是专门给爬虫用的呀。那网站上甚至都有爬虫教程(一个公众号)。这么大的公司,总不能违法提供代理 IP 吧。

    怎么我用他们的代理 IP 去做爬虫就不行了呢。

    感觉我是在狡辩,但确实有点说不通。
    第 2 条附言    21 小时 17 分钟前
    不好意思没注意看,他们网站上说的滴水不漏……
    数据采集人家说的是“公开合法数据采集”

    14 条回复    2025-12-27 09:05:36 +08:00
    coconutwater
        1
    coconutwater  
       23 小时 54 分钟前   1
    国外的没啥问题
    国内不建议搞,黑灰产卖数据分平台价格在 1 分到 1 元不等。你这个量也算有点大了
    evan1
        2
    evan1  
    OP
    PRO
       23 小时 47 分钟前
    @coconutwater #1 国内的。

    我看我爬取的目标网站有接入的入口,可以直接调官方 API 查数据。
    但是我朋友体量太小达不到准入门槛。只好做爬虫。

    相当于爬取价格之后再根据价格投放到别的地方,套利。

    我再研究研究,感谢。
    coderluan
        3
    coderluan  
       23 小时 40 分钟前
    楼主你要有这种担心,不如 @站里嫖娼哥学习下经验,线上聊天拒绝,线下见面替他部署,他给你只收现金。
    evan1
        4
    evan1  
    OP
    PRO
       23 小时 35 分钟前
    @coderluan #3 关系好免费做的,啥都不要。

    我不只是担心我,也担心他。
    anexplore
        5
    anexplore  
       23 小时 35 分钟前   1
    看网站大小,大网站这种都懒得管你;小网站,容易暴露目标;问题不大,维权也有成本呢。只提供工具
    cctv180
        6
    cctv180  
       23 小时 27 分钟前   1
    @coderluan 看过律师解答,你如果调用系统公开 api 截图 OCR 之类识别管不了你,但从 app 截取的 api 接口算破坏计算机。
    evan1
        7
    evan1  
    OP
    PRO
       23 小时 23 分钟前
    @cctv180 #6 那 GG 了。我是抓包拿到的接口。
    bobox
        8
    bobox  
       23 小时 10 分钟前
    进去的都是给朋友做了个软件
    IlIl
        9
    IlIl  
       23 小时 5 分钟前
    你问下你朋友愿意替你坐牢吗 愿意你就接着干
    iorilu
        10
    iorilu  
       22 小时 6 分钟前   1
    人家公司比如能检测到你的

    反正频留超过普通用户, 人家自己会过滤出来

    至于找不找你, 看人家心情, 反正证据肯定是够的

    我建议不要搞, 如果一定要搞, 做好安全措施

    我能想到比较好得法子就是弄个国外 vps, 最好再跳转 1,2 次, 全是国外得, 这样即便对方想找人, 也没那么简单

    任何事都有成本, 如果人家很容易找到你, 可能你就危险了
    evan1
        11
    evan1  
    OP
    PRO
       21 小时 22 分钟前
    @iorilu #10 目前抓的接口不用登陆就能抓,没有用户信息。逆向网站 js 搞出来的。

    国外 vps 不一定能访问这个网站,起码延迟会高很多。而且流量成本估计会很高。
    另外如果在国内跳的话,国内的这些服务都是要实名的,感觉还是在裸奔。

    我看一下,谢谢。
    kruskal
        12
    kruskal  
       19 小时 16 分钟前   1
    逆向出的 API?
    那太可铐了
    这个朋友值得你冒这个风险吗?
    他知道你冒了多少风险吗?
    你想清楚
    evan1
        13
    evan1  
    OP
    PRO
       18 小时 48 分钟前
    @kruskal #12 我再找他聊聊。发小来着。

    他自己开公司的,小公司,几个人。赚钱不容易,我是想帮帮他多赚点钱。
    IvanLi127
        14
    IvanLi127  
       7 小时 41 分钟前   1
    看你实力,只要对方看不出来,你肯定不会被抓。

    至于代理 ip ,人家最多算灰,咱还能买菜刀呢。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2797 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 08:47 PVG 16:47 LAX 00:47 JFK 03:47
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86