1 yrj 2021-01-19 18:50:08 +08:00 via iPad 静态化 html ?没必要吧,缓存还是可以做一做的。 |
![]() | 2 zfish 2021-01-19 19:34:28 +08:00 考虑到 SEO 的话,可以做个定时静态化任务 |
![]() | 4 Andywww OP @zfish 页面的形式已经是.html 结尾了,对爬虫来说应该会当静态网页来处理吧,我就是想要不要真的把它们都变成 nginx 里面的静态 html |
![]() | 5 zfish 2021-01-19 20:23:55 +08:00 @Andywww 考虑到性能问题,也可以做静态化的,对爬虫来说,静态动态与否和它需要不需要解析 Javascript 有关系,如果不需要解析那就是静态的 |
![]() | 6 Andywww OP @zfish 感谢回复,网站我没啥经验,内容不是 JS 动态生成的,那应该算静态的,我也是觉得虽然性能提升不明显,还是有必要的,就当它 PV 百万了吧。。。优化到极致 |
7 han3sui 2021-01-19 20:35:15 +08:00 via iPhone 这没版权问题? |
![]() | 9 justin2018 2021-01-19 20:47:31 +08:00 视频采集站的接口? 看到了熟悉的广告 哈哈哈~ |
![]() | 10 Andywww OP @justin2018 没办法,提供在线看的这些视频人家都是加了广告的,我是不加广告,但是挡不住他们要加啊,另外就算是字幕组也很多变相加广告的啊,片头广告,片尾广告,中间有水印,广告可以通过 no ad 那个按钮挡住顶部的一部分, |
![]() | 11 Andywww OP 其实我一开始只是想做下载,收集下载链接,后来发现了这些提供在线看的,又才临时加的,之前我自己都是习惯下载到内网服务器之后再看 |
12 meeken 2021-01-19 20:56:41 +08:00 看起来不错,mark 之 |
![]() | 14 zktz 2021-01-19 21:04:32 +08:00 视频看不了 |
![]() | 15 justin2018 2021-01-19 21:10:00 +08:00 |
![]() | 16 ryV60s 2021-01-19 21:10:14 +08:00 既然当前性能不是瓶颈,更应该去让它达到瓶颈。几百 pv 操几百万的心,这好吗,这不好。如果楼主时间多当我没说。 |
![]() | 17 justin2018 2021-01-19 21:13:13 +08:00 |
![]() | 18 eason1874 2021-01-19 21:29:05 +08:00 用不着纠结,简单配置一下就跟静态化差不多了。 你在 Nginx 配置两个 server,一个 dynamic 动态源站,一个 www 公开域名,www 反代 dynamic,然后在 www 给内容页面配置 proxy 缓存时间,比如 10 分钟,那么无论单个页面流量有多大,每 10 分钟都只有一次动态页面请求。 |
![]() | 19 areless 2021-01-19 22:12:24 +08:00 via Android ![]() 需要的。最早很多伪静态站性能都没问题,结果上了全静态发现自己以前想法太幼稚了。做站呢,不是访问量多少决定你需要什么样的性能,而是要用性能去决定访问量!真正的访问量是扛下一波一波洪峰积累的,是不可预料的。 |
![]() | 20 IDAEngine 2021-01-19 22:36:55 +08:00 搜索限流不就好了,淘宝搜索过快了直接提示服务器繁忙,接口请求次数达到限额。 |
![]() | 21 GG668v26Fd55CP5W 2021-01-19 22:40:00 +08:00 via iPhone 不要过早优化 |
22 moking97 2021-01-19 22:43:29 +08:00 感觉挺不错的,收藏一下 |
![]() | 23 zohar727 2021-01-19 23:00:30 +08:00 网站不错 没有乱七八糟的广告 收藏了 |
![]() | 24 love 2021-01-19 23:59:44 +08:00 via Android 现在不用优化,很可能你还没撑到有性能问题站就没了,我之前用了好几个类似的挺好用的后来都没了,当然我不知道是为什么没的,不会是被告了或被抓了吧 |
25 YouLMAO 2021-01-20 02:03:36 +08:00 via Android 国内很好很强大 |
![]() | 26 xcstream 2021-01-20 05:18:21 +08:00 静态化是给爬虫优化 url 的意思 哈哈哈 |
27 lidongyo 2021-01-20 08:15:56 +08:00 可以可以~~白嫖了哈哈哈哈 |
![]() | 28 incesa 2021-01-20 08:50:42 +08:00 胆子够大 |
29 mai852852 2021-01-20 08:54:41 +08:00 XX 荷官在线发牌? |
![]() | 30 jawilx 2021-01-20 08:57:04 +08:00 看着挺不错的 收藏了 |
![]() | 31 xuxuxu123 2021-01-20 09:17:40 +08:00 tips:小心版权问题~~~ |
![]() | 32 blogfeng 2021-01-20 09:18:32 +08:00 via Android ![]() 见一个举报一个 |
![]() | 33 dinjufen 2021-01-20 09:44:35 +08:00 版权? |
![]() | 34 hzz2 2021-01-20 09:44:52 +08:00 之前使用 golang 爬虫的时候写了一个 https://github.com/hezhizheng/go-movies 把数据抓完之后,表面在加一层缓存,就没考虑其他的了 网站基本就是演示用 |
![]() | 35 Andywww OP |
36 gppola666 2021-01-20 09:56:23 +08:00 流量大的话,这么多视频传输,带宽不是很大吗,相当于每个人都在下一部电影 |
![]() | 37 Andywww OP 版权问题统一再回复啊:网站仅供测试交流,没有投放广告,不打算盈利,视频里面的广告是提供播放服务的人加的,视频里面还有片头广告,片尾广告是字幕组加的,所有广告都跟我无关 |
![]() | 38 Andywww OP @gppola666 视频的服务器跟我无关啊,不论是点播还是下载都是别人的,我只是搜集了这些链接而已,带宽小的很,,, |
![]() | 39 Andywww OP @justin2018 就是把做好几个字段的 and 查询,对应的条件要翻译一下 |
![]() | 41 onlineismy 2021-01-20 10:02:02 +08:00 这个不就是电源资源站吗。。飞飞、马斯克,多着开源的 cms 。。 |
![]() | 43 Andywww OP @onlineismy 对,我没有用 CMS,也是后来才知道的 cms |
![]() | 44 d873139022 2021-01-20 10:20:35 +08:00 版权问题 不是你说与你无关就没用的。你的网站播放就算侵权了,无论盈利与否。 别问我咋知道,我的网址就是这样关停的,这是违规行为。 广电的电话直接打到域名注册人的手机上,然后通知立即关停,之后就是停止接入域名,然后 gg |
![]() | 45 ifoto 2021-01-20 10:34:11 +08:00 可以,在你追海贼王了 |
46 stanchenxxx2015 2021-01-20 10:38:07 +08:00 老哥,这个你偷偷自己玩玩就好了,不建议放出来让大家看到。。。。 您这网站是妥妥的侵犯版权的,跟您是否从中盈利没有任何关系。不是你觉得没问题就没问题的。 劝您还是小心点,这东西要是被版权方爬到,轻则一个律师函让你下架内容,重则随便按啥口径走司法仲裁要你罚款。 |
47 bzj 2021-01-20 10:40:48 +08:00 全是视频资源站提供的接口,视频放在别人服务器上,几万个视频跟你有啥关系,你就一个视频播放页面 |
![]() | 48 Andywww OP @bzj 是的,终于来了个明白人,主要是网上同样类型的网站太多放广告的,乱七八糟的页面广告,我是想提供一个清爽的,起码没有页面广告的,视频里面的广告那跟我没关系了 |
49 binfun 2021-01-20 10:59:33 +08:00 还是搞点抖音美女视频吧,哈哈 |
![]() | 50 evefree2 2021-01-20 11:01:48 +08:00 这种没有版权的问题吗? |
![]() | 54 hooon 2021-01-20 11:07:00 +08:00 放着微信、支付宝收款码这样的实名信息,不怕吗? |
58 lonelymarried 2021-01-20 11:28:27 +08:00 必须静态啊,比如人家要搜索个神奇女侠 1984 在线播放,直接就到你网站了,多爽。 |
![]() | 59 justin2018 2021-01-20 13:46:31 +08:00 @Andywww 懂了 多谢~ |
![]() | 60 hotlook10 2021-01-20 14:00:07 +08:00 你这相当于盗版网站聚合,一样的违法,迅雷以前有个狗狗资源搜索,后来为什么砍掉? hao123 之类的导航站为什么不放这些盗版影视站? |
![]() | 61 alect 2021-01-20 15:04:41 +08:00 很好奇源是从哪里来的 |
![]() | 62 pkwenda 2021-01-20 15:07:12 +08:00 这玩应应该算灰色吧,楼主这么不避讳吗。。 建议低调 |
![]() | 63 ElmerZhang 2021-01-20 15:30:19 +08:00 加个缓存就好了,没必要静态化 |