
某个网站会对浏览器 navigator 的 webdriver 字段进行检测
写了一段 js 来修改 webdriver 的值,如下
Object.defineProperty(window.navigator, 'webdriver', {configurable:true}); 现在的问题是,这段 js 在 pyppeteer 中可以过检测,但是在 selenium 中不可以。
经过测试大概有以下几种 case
pyppeteer 中不注入 js,不过检测
pyppeteer 中注入 js,过检测
selenium 中注入 js 不过检测,但是控制台查看 webdriver 字段已被修改
在 selenium 中不刷新网页,控制台重新输入上述 js,不过检测
在 selenium 中刷新网页(手动),在控制台输入上述 js,过检测
pyppeteer 代码如下
async def main(): launch_kwargs = { "headless": False, } browser = await launch(launch_kwargs) page = await browser.newPage() # await page.goto("https://www.xxxx.com") await page.evaluate(pageFunction=""" Object.defineProperty(window.navigator, 'webdriver', {configurable:true}); """, force_expr=True) while True: time.sleep(1) selenium 代码如下
url = "https://www.xxxx.com" driver = webdriver.Chrome() driver.get(url) driver.execute_script(js) #driver.execute_async_script(js)(也不行) while True: time.sleep(1) 按理说,通过 case1、case2、case5 应该可以确定 webdrier 是过不过检测的关键字段,那么如果
pyppeteer 和 selenium 这俩在注入 js 的时候有什么不一样的地方吗?
还有最让我迷惑的是 case4 和 case5 为什么结果不一样啊?
1 Loooom 2019-07-15 16:50:44 +08:00 4 和 5 效果应该是一样的吧,看掘金一篇文章这样说:当你执行 driver.get 的时候,浏览器会打开网站加载页面并运行网站自带的 js 代码。所以在你重设 window.navigator.webdriver 之前,实际上网站早就已经知道你是模拟浏览器了。另外顺便问下,为什么 selenium 无头模式不能用,要么报错要么好长时间响应 |
2 qgb 2020-10-30 14:31:13 +08:00 @Loooom pyppeteer 可以设置 page.evaluateOnNewDocument,只要这个标签没关闭 永久有效的,但 |