使用python简单封装selenium常用函数
前言
年前走查脚本代码时,发现大家对selenium功能都在重复造轮子,而且容易出现一些常见低级bug。于是在闲暇之余,封装一些常用的selenium功能。一、自动切换frame寻找元素
在某些网页中,存在多个frame嵌套。而selenium提供的findelement函数只能在当前frame中查找,不能切换到其他frame中,需要从最上级frame中逐步切换(当然也可以指定xpath的绝对路径,但是一般没人这么做)。在我们写代码过程中,需要明确知道当前frame位置和需要寻找元素的frame位置。在frame切换过程中,容易因为疏忽导致frame切换错误导致元素无法找到的bug。
页面中分布的frame,可以理解为树状结构。因此我们可以采用递归的方式,沿着某条搜索路线frame节点,依次对树中每个节点均做一次访问。
我们以163网址上的登录框为例:点击登录按钮,弹出登录iframe页面。输入框位置在iframe中,因此我们不能使用xpath获取元素位置,需要进入iframe中,然后获取元素。
点击登录按钮
输入框在iframe中
手动切换ifame可能会产生bug,因此需要一套自动切换和检索frame的机制。具体代码如下:fromselenium。webdriver。common。byimportByfromseleniumimportwebdriverimporttimedefswitchtoframe(browser,iframe)::parambrowser::paramiframe:iframe的绝对路径:return:从最上层开始逐层切入browser。switchto。defaultcontent()forframeiniframe:browser。switchto。frame(frame)deffindelement(browser,xpath,iframe,kwargs)::parambrowser::paramxpath:元素的xpath:paramiframe:页面中的iframe路径,在这个iframe中搜索xpath:paramkwargs:扩展值:return:如果没指定iframe就进入默认的iframeifnotiframe:browser。switchto。defaultcontent()try:returnbrowser。findelement(By。XPATH,xpath)exceptException:如果当前iframe中没有找到元素,则寻找当前页面所有的子iframe,在子iframe中搜寻元素iframesbrowser。findelements(By。XPATH,iframe)forframeiniframes:(iframe(frame,)子iframe的绝对路径switchtoframe(browser,(iframe(frame,)))elementfindelement(browser,xpath,(iframe(frame,)))ifelement:returnelementreturnNonedeflogin(browser):findelement(browser,a〔idjsNnavlogintitle〕)。click()time。sleep(3)elefindelement(browser,input〔dataplaceholder网易邮箱常用邮箱〕)print(ele)ifnamemain:browserwebdriver。Edge(executablepathmsedgedriver)browser。get(https:www。163。com)try:login(browser)exceptExceptionase:print(e。class。name,e)browser。quit()
需要注意的是:如果页面中多个frame中,存在相同的xpath元素。还是需要指定frame的路径,否则会返回搜索到的第一个元素。二、强制等待、隐式等待和显示等待
强制等待
直接调用系统time。sleep函数,不管页面加载情况一定会等待指定的时间,即使元素已被加载。
1。如果设置的时间较长,会浪费时间
2。如果设置的时间较短,元素可能没有加载。
隐式等待
页面中某元素如果未能立即加载,隐式等待告诉WebDriver需等待一定的时间,然后去查找元素。默认不等待,隐式等待作用于整个WebDriver周期,只需设置一次即可。
1。在上文的findelement函数中,采用递归方式在所有frame寻找元素。若采用隐式等待,则在每个frame中都需要等待设定的时间,耗时非常长。
2。某些页面我们想要的元素已经加载完毕,但是部分其他资源未加载。隐式等待必须等待所有元素加载完毕,增加额外等待时间。
显示等待
显示等待一般作用于某一个元素,在设定的时间范围内,默认每间隔0。5秒查找元素。返回被加载的元素,若超过设定的时间范围未能查找则报错。显示等待作为selenium常用的等待机制,我们来看下他的源码和机制。
WebDriverWait初始函数
driver注释中解释为WebDriver实例,但是代码中并未有相关检测,因此可以传入任何对象defrepr(self):return{0。module}。{0。name}(session{1})。format(type(self),self。driver。sessionid)
但是repr函数中使用到sessionid属性,如果需要显示属性或者转为str对象,最好在driver对象中添加sessionid属性
WebDriverWait的until函数
在until函数中,我们可以看到driver对象传入method函数。在计时结束前,在不断循环执行method函数,如果method函数有正常返回值则退出循环,否则报TimeoutException错误。fromselenium。webdriver。support。waitimportWebDriverWaitdeftest():return1deftest2(fun):print(fun)return2fun()ifnamemain:test。sessionid123print(WebDriverWait(test,2))eWebDriverWait(test,2)。until(test2)print(e)输出结果入下:selenium。webdriver。support。wait。WebDriverWait(session123)functiontestat0x000001E8D60800483
可以采用装饰器对隐式等待进行封装,这样代码更加精简defwaittime(fun):defwrapper(args,kwargs):timekwargs。get(waittime,10)iftime:webelementWebDriverWait(fun,time)。until(lambdax:x(args,kwargs))else:webelementfun(args,kwargs)returnwebelementreturnwrapper
同样的,采用装饰器对其他常用的函数进行封装,例如强制等待、点击、输入文本等。三、解除装饰器
装饰器虽然很方便,但也会产生一些麻烦。例如在findelement函数递归调用过程中,理应只要执行一次装饰器函数。但因为装饰器已经装饰完毕,导致每次递归都会执行。例如强制等待的sleep函数,如果递归次数越多等待时间越长。
解除装饰器一般有两种做法:一是约定参数,当递归第二次调用时则不生效。例如defsleep(fun):defwrapper(args,kwargs):firstsleepkwargs。get(firstsleep,True)iffirstsleep:kwargs〔firstsleep〕Falsesleeptimekwargs。get(sleep,0。2)time。sleep(sleeptime)resultfun(args,kwargs)returnresultreturnwrapper
这种方式实现简单,容易理解。但是增加了参数限制,在fun函数中就不能使用firstsleep参数。
二是采用装饰器采用wrapped实现,通过访问wrapped属性获得原始函数。例如defsleep(fun):wraps(fun)defwrapper(args,kwargs):sleeptimekwargs。get(sleep,0。2)time。sleep(sleeptime)resultfun(args,kwargs)returnresultreturnwrapper
但是某一个函数被多个装饰器装饰时,需要递归解除装饰器。例如defwrapped(fun):解除所有的注解ifwrappedindir(fun):funfun。wrappedfunwrapped(fun)returnfun
最后整体代码如下importdatetimeimporttimefromselenium。webdriver。common。byimportByfromdatetimeimporttimedeltafromseleniumimportwebdriverfromselenium。webdriver。remote。webelementimportWebElementfromfunctoolsimportwrapsfromselenium。webdriver。support。waitimportWebDriverWaitdefsleep(fun):wraps(fun)defwrapper(args,kwargs):sleeptimekwargs。get(sleep,0。2)time。sleep(sleeptime)resultfun(args,kwargs)returnresultreturnwrapperdefclick(fun):wraps(fun)defwrapper(args,kwargs):browserargs〔0〕isclickkwargs。get(click,False)webelementfun(args,kwargs)ifisinstance(webelement,WebElement)andisclick:browser。executescript(arguments〔0〕。click();,webelement)returnwebelementreturnwrapperdefsendkeys(fun):wraps(fun)defwrapper(args,kwargs):keyskwargs。get(sendkeys,)webelementfun(args,kwargs)ifisinstance(webelement,WebElement)andkeys:webelement。clear()webelement。sendkeys(keys)returnwebelementreturnwrapperdefwaittime(fun):wraps(fun)defwrapper(args,kwargs):timekwargs。get(waittime,10)iftime:webelementWebDriverWait(fun,time)。until(lambdax:x(args,kwargs))else:webelementfun(args,kwargs)returnwebelementreturnwrapperdefwrapped(fun):解除所有的注解ifwrappedindir(fun):funfun。wrappedfunwrapped(fun)returnfundefswitchtoframe(browser,iframe):从最上层开始逐层切入browser。switchto。defaultcontent()forframeiniframe:browser。switchto。frame(frame)sleepclicksendkeyswaittimedeffindelement(browser,xpath,iframe,kwargs):如果没指定iframe就进入默认的iframeifnotiframe:browser。switchto。defaultcontent()try:returnbrowser。findelement(By。XPATH,xpath)exceptException:iframesbrowser。findelements(By。XPATH,iframe)forframeiniframes:switchtoframe(browser,(iframe(frame,)))elementwrapped(findelement)(browser,xpath,(iframe(frame,)))ifelement:returnelementreturnNonedeflogin(browser):2。通过浏览器向服务器发送URL请求browser。get(http:192。168。。)findelement(browser,〔idloginName〕,sendkeys)findelement(browser,〔idpassword〕,sendkeys)findelement(browser,〔idlogin〕,clickTrue)findelement(browser,a〔text()项目个人任务〕,clickTrue)ifnamemain:browserwebdriver。Edge(executablepathmsedgedriver)browser。maximizewindow()try:login(browser)finally:time。sleep(6)browser。quit()结束语
这次的封装其实还存在很多问题
1。findelement函数不仅仅只是提供查找元素功能,还提供一些其他功能,因此叫elementoperation更为合适。
2。findelement函数的参数过多,并且很多参数的使用并不在函数本身中,对代码阅读很不友好。
3。得小心避免参数重复问题,假设装饰器sleep和装饰器waittime都使用time这个参数,将无法区分具体是哪个函数使用。
4。不利于扩展和维护,当功能过多时findelement的参数过于庞大。
如果只是简单地封装和使用,上面这种方式也能达到较好的效果。如果想进一步封装,建议采用链式调用方式,装饰器辅助封装。例如findelement(browser,〔idlogin〕)。sleep(3)。click()。sendkeys(123456)
这样函数的扩展性和可阅读性有较大的提升