
最近在调试 Cloudflare Workers ,发现日志中总有莫名其妙的请求。IP 来源是俄罗斯,UA 是 Yandex 的爬虫。
具体表现为,当我访问只有我知道的一个 API 地址时,5 分钟之后会有 Yandex 爬虫访问该地址。由于是 HTTPS 链接,检查过证书没有问题,因此排除 MITM 。
首先怀疑自己安装的插件,于是开 InPrevite 窗口,该问题复现。新建一个 Edge Profile ,请求该 URL ,依然复现。因此排除是插件问题。
使用 Firefox 请求该 URL ,无法复现。
1 p8YFk4f3E8SJ3aEv 2022-06-30 15:28:21 +08:00 俄罗斯? |
2 12101111 2022-06-30 15:33:44 +08:00 中毒了吧 |
3 cnrting 2022-06-30 16:02:21 +08:00 via iPhone 了 index now 吧 |
4 wangshouh 2022-06-30 17:25:48 +08:00 个人感觉是 indexnow 的锅,但 indexnow 一般是默认关闭,你可以之前打开过,可以看一下 cloudflare 自己对于 indexnow 的[博客]( https://blog.cloudflare.com/cloudflare-now-supports-indexnow/) |
5 zxxufo008 2022-06-30 17:38:01 +08:00 怀疑是 edge 浏览器的问题,应该去用 chrome 去复现吧,火狐和 edge chromium 架构都不一样 |
6 wiix 2022-06-30 18:07:47 +08:00 |
7 dfgxcvbcv 2022-06-30 18:15:36 +08:00 虽然感觉不太像,但 MS Edge 除了是主流浏览器中上报设备信息和遥测数据最多的浏览器,还是唯一一个同步没有端到端加密的浏览器 techcommunity.microsoft.com/t5/discussions/edge-continues-to-be-the-only-major-browser-with-no-end-to-end/m-p/1865592 |
8 wiix 2022-06-30 18:18:45 +08:00 |
10 learningman 2022-06-30 18:23:54 +08:00 在我自己服务器上开了个端口用 edge 访问了,目前无法复现 |
11 learningman 2022-06-30 18:24:07 +08:00 @c0t #9 现在也会 |
13 xmoer 2022-06-30 18:42:56 +08:00 我记得之前 edge 浏览器会弹出一个数据共享的弹窗,点开看详细能见到一大堆合作商列表,会不会是这个导致的?我自己当时是把所有的合作商勾选都去掉了。 |
14 rpman 2022-06-30 21:19:30 +08:00 via iPhone 商业软件,不爱不要用 |
16 greenskinmonster 2022-06-30 21:39:02 +08:00 微软靠得住,母猪也上树。 |
17 Shorekeeper 2022-06-30 22:03:32 +08:00 Cloudflare 也有帮助搜索引擎的选项,先用 robots.txt 试试吧 |
19 HertzHz 2022-07-01 07:32:14 +08:00 我用的是 Chrome ,当时搭建了一个东西,是从未使用过的域名,在 Chrome 访问后 Yandex Bot 也马上就到了,当时非常非常疑惑,现在看来难道是 Chromium 里的某个东西导致的? |
20 HertzHz 2022-07-01 07:34:13 +08:00 搜索了下,好像是 Cloudflare 导致的,有帮助搜索引擎的选项 |