![]() | 1 incompatible 2017-04-13 23:39:11 +08:00 via iPhone Java 和 Python 各跑各的,共用同一个数据库而已。 |
![]() | 2 backfrw OP @incompatible 是的是的,但是使用上是用户先设定关键词,放数据库,爬虫根据这个关键词找数据,存数据库,页面再展示,,,, python 小白,不知道怎么 python 怎么能马上知道数据库有关键词可以跑了,和后台不知道什么时候有新数据可以展示了,,,比较懵逼 |
![]() | 4 backfrw OP @yuelang85 恩恩,我去研究下,谢谢 用两门语言是因为老师不给过开题报告,说 Java 的 ssm 写网站太简单了 |
![]() | 5 misaka19000 2017-04-14 00:04:36 +08:00 via Android RPC 可以吗? |
![]() | 6 backfrw OP @misaka19000 没有接触过,得研究下,谢谢建议 |
8 luban 2017-04-14 00:18:16 +08:00 方法使很多,但是为什么要用两门语言, Java 写爬虫不行吗,或者 python 写网站? |
![]() | 11 backfrw OP @luban 麻烦大佬随便来两种比较原始的实现方法啊?看了楼上大大们说的 RPC ,要用的话得从头学,感觉会再坑自己一次 |
![]() | 12 ipconfiger 2017-04-14 00:57:45 +08:00 ![]() 用 redis |
![]() | 13 mhycy 2017-04-14 01:01:37 +08:00 ![]() Java Web 后端在收到爬虫请求后写入到数据库,并发送到队列 Python 爬虫监听队列,并执行 两个服务都是持续在线,利用数据库和队列解耦 |
![]() | 14 incompatible 2017-04-14 01:11:38 +08:00 via iPhone ![]() @backfrw Python 轮询数据库里的关键词表就行了。别做 RPC , RPC 根本就不是干这个用的。 |
![]() | 15 backfrw OP @incompatible 好的,谢谢大佬建议,似乎逃过一坑 |
![]() | 17 Mogugugugu 2017-04-14 01:35:42 +08:00 ![]() 最原始的办法就是 数据库 里面加一个标志位,标志爬虫是否爬取完成, Java 每次请求数据库 先判断标志位是否是完成,如果是前取值展示。反正这俩都要读取数据库的,这是最原始的办法了。 |
![]() | 18 Tneciv 2017-04-14 01:44:30 +08:00 via Android ![]() 上 mq 啊 |
![]() | 19 fy 2017-04-14 01:48:44 +08:00 ![]() 哪有那么多高科技啊?轮询不就完了…… |
![]() | 20 ChasYuan 2017-04-14 09:22:58 +08:00 那看来我专业毕设要求比较水了。仰望楼主。 |
![]() | 21 gcli 2017-04-14 09:47:26 +08:00 果断上 mq |
![]() | 22 bk201 2017-04-14 10:33:53 +08:00 建议上 storm ,瞬间开题报告高大上 |
![]() | 23 backfrw OP @Mogugugugu 大佬你这个办法我喜欢,看上去很简单,谢谢啦 |
![]() | 28 wsbnd9 2017-04-14 14:51:51 +08:00 两者之间用 Rpc 调用呗 |
![]() | 29 ryV60s 2017-04-14 14:58:35 +08:00 Java 开个( http/tcp)接口, python 跑完就访问下。 |
![]() | 30 lianxiaoyi 2017-04-14 17:32:39 +08:00 http 接口啊。。谁跑完告诉另一放就行了。。。。不过如果搞 socket 比较高大上 |
![]() | 31 backfrw OP @ryV60s @lianxiaoyi 谢谢建议,大家给了这么多建议,已经想通,应该可以解决了,谢谢 |
![]() | 32 wanjun 2017-04-14 21:33:13 +08:00 via iPad 我的方式: cython 打包为 so 文件, jni 调用 |
33 introom 2017-04-17 02:00:58 +08:00 via Android zmq,你还想多说什么,,, |