网络爬虫–Selenium的使用pythonWangtuo1115的博客-

为什么要使用Selenium?

JS动态渲染的页面不止Ajax这一种, 有些网站，不能直接分析Ajax来抓取， 难以直接找出其规律。

如何解决上述问题呢?

• 直接使用模拟浏览器运行的方式来实现，可见即可爬。
• Python提供了许多模拟浏览器运行的库，如Selenium、Splash、PyV8、Ghost等。

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。

为了模拟浏览器运行，需要安装对应的浏览器的驱动driver。
安装三大浏览器的驱动：chrome driver驱动器、Firefoxr驱动器、IE驱动器

以Linux下Firefox浏览器驱动安装为例：

1. 将 geckodriver-v0.23.0-linux64.tar.gz 移动到linux环境下，并解压。

2. mv geckodriver /usr/bin
   这样驱动就安装成功了。

模拟浏览器的步骤（以Firefox浏览器为例）：

1、声明浏览器对象

Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还有Android、BlackBerry等手机端的浏览器。另外，也支持无界面浏览器PhantomJS。

2、访问网址

运行后发现，弹出了Firefox浏览器并且自动访问了百度，然后控制台输出了百度页面的源代码，随后浏览器关闭。

# 1). 通过浏览器驱动打开浏览器 from selenium import webdriver  browser = webdriver.Firefox() # 2). 通过浏览器访问网址 browser.get('https://www.baidu.com') print(browser.page_source) 

3、查找节点：单个节点/多个结点

Selenium可以驱动浏览器完成各种操作，比如填充表单、模拟点击等。比如，我们想要完成向某个输入框输入文字的操作，总需要知道这个输入框在哪里吧？查找多个节点只是element多了一个s。

节点交互的文档：https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

• find_element_by_id
• find_element_by_name
• find_element_by_xpath
• find_element_by_link_text
• find_element_by_partial_link_text
• find_element_by_tag_name
• find_element_by_class_name
• find_element_by_css_selector
• find_element(By.ID, ‘q’)
• browser.find_element_by_id(‘q’)
• browser.find_element_by_css_selector(’#q’)
• browser.find_element_by_xpath(’//*[@id=“q”]’)

Selenium可以驱动浏览器来执行一些操作，也就是说可以让浏览器模拟执行一些动作。比较常见的用法有：输入文字时用send_keys()方法，清空文字时用clear()方法，点击按钮时用click()方法。

节点交互代码：

import time  from selenium import webdriver  # 1). 通过浏览器驱动打开浏览器 browser = webdriver.Firefox() # 2). 通过浏览器访问网址 browser.get('https://www.baidu.com') # 2-1) 节点查找：根据id=wd查找我们输入的表框对象 input = browser.find_element_by_id('kw') # 2-2) 往表框input中填写信息python input.send_keys('python') # 2-3) 节点查找：根据id查找点击按钮 button = browser.find_element_by_id('su') # 点击按钮 button.click()  time.sleep(5) # 清空查询表单的内容 input.clear() # 输入新的查询内容 input.send_keys('Java') time.sleep(5) button.click() 

基于Selenium实现爬虫：

import time  from selenium import webdriver from selenium.webdriver.common.keys import Keys  # 1.通过驱动打开浏览器 brower = webdriver.Firefox() # 2.浏览器通过get方式打开网页 brower.get('https://www.baidu.com') # 3.通过id查找输入关键字的节点 input = brower.find_element_by_id('kw') # 4.提交关键字 input.send_keys('python') input.send_keys(Keys.ENTER)  time.sleep(10) # 5.关闭浏览器 brower.close() 

动作链

模拟浏览器过程中有一些操作，没有特定的执行对象，比如鼠标拖曳、键盘按键等，这些动作用动作链来执行。

下面以一个拖拽的案例为例：

1. 访问网址，查看源代码，发现源代码在子内联标签内,需先切换到frame
   2. 然后获取节点，实例化行为链，具体代码如下：

from selenium import webdriver  from selenium.webdriver import ActionChains  # 1.通过驱动打开浏览器 brower = webdriver.Firefox() # 2.通过浏览器打开网址 brower.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') # 3.源代码信息在子内联标签内,需先切换到frame获取源代码 brower.switch_to.frame('iframeResult') # 4.获取source对象, id = draggable source_element = brower.find_element_by_id('draggable') # 5. 获取target对象, id = droppable target_element = brower.find_element_by_id('droppable') # 6. 实例化行为链,将拖拽行为存储到行为链中 actions = ActionChains(brower) # 7. 编写拖拽行为代码 actions.drag_and_drop(source_element, target_element) # 8. 执行所有存储的行为链 actions.perform() # 9. 关闭浏览器 brower.close() 

获取节点信息与延时等待

获取节点信息:

方法一: page_source属性获取网页源代码，接着使用解析库提取信息。
方法二: Selenium提供选择节点的方法，返回的是WebElement类型，可直接提取节点信息。
  – 标签对象.get_attribute(‘属性名’)
  – 标签对象.text

延时等待：
  隐式等待： browser.implicitly_wait(10)
  显式等待： wait = WebDriverWait(browser, 10)
        input = wait.until(EC.presence_of_element_located((By.ID, ‘q’)))

前进与后退

常使用浏览器时都有前进和后退功能，Selenium也可以完成这个操作，它使用back()方法后退，使用forward()方法前进。

Cookies

使用Selenium，还可以方便地对Cookies进行操作，例如获取、添加、删除Cookies等。

选项卡管理

在访问网页的时候，会开启一个个选项卡。在Selenium中，我们也可以对选项卡进行操作。

import time  from selenium import webdriver  # 1.通过驱动打开浏览器 brower = webdriver.Firefox() # 2.通过浏览器打开网页(第一个窗口) brower.get('https://mail.qq.com') # 3.打开新的窗口,通过执行script脚本 brower.execute_script('window.open()') # print(brower.window_handles) # 4. 切换到新的窗口 # brower.switch_to.window(brower.window_handles[0]) brower.switch_to.window(brower.window_handles[1]) # 5.新的窗口打开新的网址 brower.get('https://www.python.org') time.sleep(5) # 6.关闭浏览器 brower.close() 

异常处理

在使用Selenium的过程中，难免会遇到一些异常，例如超时、节点未找到等错误，一旦出现此类错误，程序便不会继续运行了。这里我们可以使用try except语句来捕获各种异常。

项目案例：基于Selenium实现QQ邮箱登录

项目介绍: 本项目通过Selenium来模拟浏览器操作，并用Xpath解析输入邮箱账户名和密码并实现登录测试。一般用于自动化测试中。

1. 登录QQ邮箱网址，查看源代码，发现源代码中包含frame窗口
   2. 查看账号、密码和登录按钮的节点，最后点击登录按钮
   3. 具体代码如下：

import time import unittest  from selenium import webdriver   class QQ_mail(unittest.TestCase): def setUp(self): """         执行测试之前做的事情         """ # 1.通过驱动打开浏览器         self.driver = webdriver.Firefox() # 要访问的网址         self.mail_url = 'https://mail.qq.com' print("QQ邮箱正在启动中......") def test_mail_qq_login(self):         driver = self.driver         # 将窗口最大化         driver.maximize_window() # 2.通过浏览器get方式访问QQ邮箱网址         driver.get(self.mail_url) # 3.切换到login_frame的frame窗口,查看源代码         driver.switch_to.frame('login_frame') # 4.获取填写用户名/QQ号码的input对象         username = driver.find_element_by_id('u') # 填写用户名/QQ号码         username.send_keys('854429157') # 5.获取填写密码的input对象         password = driver.find_element_by_id('p') # 填写密码         password.send_keys('*****') # 6.获取登录按钮的对象         login_button = driver.find_element_by_id('login_button') # 点击登录按钮         login_button.click() # 7.关闭浏览器         time.sleep(10)         driver.close() print("QQ邮箱登录成功")