V2EX milu05163614 的所有回复 第 1 页 / 共 2 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    milu05163614    全部回复第 1 页 / 共 2 页
回复总数  26
1  2  
2017-01-16 14:25:55 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@wtcoder 只能有这么大,这意思是说软件太大,还是太小了。我没领会。
2017-01-14 16:07:20 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@milu05163614 软件即使重启,依然有效。就像你把浏览器关了,你再直接输入论坛网站,论坛不也照样认定你是已经登录状态吗?
2017-01-14 16:06:18 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 不需要再输入多次。就好比我登录这个论坛,这个论坛根据 cookie 判断我是否是登录状态。只要我把这个 cookie 给程序,程序就能代表我天天登录这个网站。这个网站也没叫你天天登录吧,说明 cookie 一般是长期有效的。
2017-01-14 15:58:25 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@yivanus 你现在还是觉得复制个 cookie 很麻烦?只需要用户在浏览器登录,然后软件自己就自动获取 cookie ,复制都不需要?还是什么,我没听明白。
2017-01-14 15:41:27 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@yivanus 目前软件的方式就是,用户自己在浏览器登录,然后复制 cookie 就可以采集登录可见的内容。
这个过程很简单也没有什么技术门槛。除非有更好的方式。
2017-01-14 14:51:34 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@yivanus 是的,首先产品会变得复杂了。你需要填用户名、密码、有时候还需要填其他东西,还得告诉程序,登陆成功的标志是什么,如果程序内置自己判断的话,后面的代码可想而知。

从程序、产品上都是成本很高的东西。手动填 cookie 没什么问题,这是最简便成本最低的方式。
2017-01-13 14:33:29 +08:00
回复了 milu05163614 创建的主题 程序员 说说小程序。
@gaobh 你这么说倒挺合理,可能我比较少遇到这类需求。
2017-01-13 14:20:55 +08:00
回复了 milu05163614 创建的主题 程序员 说说小程序。
小程序是能解决一部分的需求,但是远没有我们想象那么重要。
看见铺天盖地的热度,分析文章,一大堆程序员摩拳擦掌,跃跃欲试。
我感觉这东西 过于放大了。没多久估计又冷下来了。
2017-01-13 14:18:25 +08:00
回复了 milu05163614 创建的主题 程序员 说说小程序。
@1stlulu 就像我说的,这类程序,日常需求能有多少呢。
2017-01-13 13:54:52 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@taolu729099134 用的啥解压软件
2017-01-13 13:17:41 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 你采集什么网站,几十个都要登录才能看见内容。我接触过的采集需求,只有 5%左右需要登录可见。

拷贝 cookie 进去采集,这个没什么麻烦的,只有这个办法。除非你有更好的办法。
2017-01-13 01:26:47 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 说实话。很少。不是很少,是没遇到过。一个网站不可能因为一个用户频繁访问而封掉这个账号。这样做,成本很高。程序上面得写程序检测,又不能误杀什么的。这么一套东西下来,很繁琐。
至少我没有遇到这类情况。
2017-01-13 00:30:03 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630 手动登录有什么问题吗?难道要大家输入账号密码,然后程序去登陆?想不通为啥需要这样做。
2017-01-13 00:05:43 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@spice630
1 、可以采集登录可见的内容,甚至可以采集一些论坛回复才能看见的内容。设置 cookie 就行了。详细教程看这里 http://www.dxcer.com/guide/cookie.html

2 、我不知道你说的什么前后端是啥。什么基于 linux 啥的,我听不懂。
2017-01-12 21:33:36 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@miao 目前软件可以在 linux 图形界面下面运行没问题的。不过很多服务器都是命令行。这个需要花点时间。
2017-01-12 21:28:05 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@miao 老夫正有此意。
2017-01-12 14:19:52 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@zqjilove QQ 452192831
2017-01-12 14:19:37 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
@sharpdevelop 有些用户有这个问题,好像解压软件的问题,我在 mac 平台打包的,估计跟这个有关系。但是大部分用户都没问题。所以解决的办法,换一个解压软件试试。
2017-01-12 14:02:31 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
回复 居然不支持 markdown 代码。

截图:<img alt="img" src="http://ww1.dxcer.com/6D3FB20A-2755-4BA0-872C-EAA51C180537.png">
提取规则:

"url":"[data]",



@zqjilove
2017-01-12 14:01:28 +08:00
回复了 milu05163614 创建的主题 分享创造 DXC 采集,一个跨平台的数据采集软件
你这个很简单。我上面给的就是例子。

<img alt="img" src="http://ww1.dxcer.com/6D3FB20A-2755-4BA0-872C-EAA51C180537.png">



>"url":"[data]",
1  2  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5156 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 15ms UTC 01:10 PVG 09:10 LAX 18:10 JFK 21:10
Do have faith in what you're doing.
ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86