《硒》慢慢向下滚动

Selenium scroll down slowly(《硒》慢慢向下滚动)
本文介绍了《硒》慢慢向下滚动的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在尝试使用Python语言在呈现为Java脚本的网页上进行动态Web抓取。

1)但是,元素仅在我缓慢向下滚动页面时加载。

我已尝试:

driver.execute_script("window.scrollTo(0, Y)") 

(这不起作用,因为它只滚动到页面上的某个点,而忽略了其他结果)

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

(这不起作用,因为元素在向下滚动到页面末尾时不会加载-它需要用户缓慢地滚动整个页面)

2)如何让Selify等待加载完所有元素后再将它们返回给我?

我知道此解决方案存在:

myElem = WebDriverWait(browser, delay).until(EC.presence_of_element_located((By.ID, 'IdOfMyElement')))
但是,如果结果在用户向下滚动页面时不断出现,这将如何工作?此代码会不会在检测到该元素第一次出现时使Selify停止?

推荐答案

使用execute_async_script向下滚动到页面末尾:

driver.execute_async_script(
            """
        count = 400;
        let callback = arguments[arguments.length - 1];
        t = setTimeout(function scrolldown(){
            console.log(count, t);
            window.scrollTo(0, count);
            if(count < (document.body.scrollHeight || document.documentElement.scrollHeight)){
              count+= 400;
              t = setTimeout(scrolldown, 1000);
            }else{
              callback((document.body.scrollHeight || document.documentElement.scrollHeight));
            }
        }, 1000);"""
        )

这篇关于《硒》慢慢向下滚动的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

Leetcode 234: Palindrome LinkedList(Leetcode 234:回文链接列表)
How do I read an Excel file directly from Dropbox#39;s API using pandas.read_excel()?(如何使用PANDAS.READ_EXCEL()直接从Dropbox的API读取Excel文件?)
subprocess.Popen tries to write to nonexistent pipe(子进程。打开尝试写入不存在的管道)
I want to realize Popen-code from Windows to Linux:(我想实现从Windows到Linux的POpen-code:)
Reading stdout from a subprocess in real time(实时读取子进程中的标准输出)
How to call type safely on a random file in Python?(如何在Python中安全地调用随机文件上的类型?)