Python爬虫之xpath语法及案例使用

　　我们在写Python爬虫时，经常需要对网页提取信息，如果用传统正则表达去写会增加很多工作量，此时需要一种对数据解析的方法，也就是本章要介绍的Xpath表达式。Xpath是什么
　　XPath，全称XMLPathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言。最初是用来搜寻XML文档的，但同样适用于HTML文档的搜索。所以在做爬虫时完全可以使用XPath做相应的信息抽取。
　　XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供超过100个内置函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有想要定位的节点都可以用XPath来选取。
　　下面介绍实战中常用的几个知识点，详细也可以看W3C介绍：https：www。w3school。com。cnxpathindex。aspXpath语法介绍路径常用规则
　　表达式
　　描述
　　实例
　　nodename
　　选取此节点的所有子节点
　　xpath（p）
　　选取了p节点的所有子节点
　　从根节点选取
　　xpath（p）
　　从根节点上选取p节点
　　选取所有当前节点，不考虑位置
　　xpath（p）
　　选取所有的p节点
　　。
　　选取当前节点
　　xpath（。p）
　　选取当前节点下的p节点
　　。。
　　选取当前节点的父节点
　　xpath（。。）
　　回到上一个节点
　　选取属性
　　xpath（calss）
　　选取所有的class属性谓语规则
　　谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点
　　表达式
　　结果
　　xpath（bodyp〔1〕）
　　选取body下的第一个p节点
　　xpath（bodyp〔last（）〕）
　　选取body下最后一个p节点
　　xpath（bodyp〔last（）1〕）
　　选取body下倒数第二个p节点
　　xpath（bodyp〔positon（）〕）
　　选取body下前两个p节点
　　xpath（bodyp〔class〕）
　　选取body下带有class属性的p节点
　　xpath（bodyp〔classmain〕）
　　选取body下class属性为main的p节点
　　xpath（bodyp〔price35。00〕）
　　选取body下price元素值大于35的p节点通配符
　　通配符来选取未知的XML元素
　　表达式
　　结果
　　xpath（p）
　　选取p下的所有子节点
　　xpath（p〔〕）
　　选取所有带属性的p节点取多个路径
　　使用运算符可以选取多个路径
　　表达式
　　结果
　　xpath（ptable）
　　选取所有的p和table节点功能函数
　　使用功能函数能够更好的进行模糊搜索
　　函数
　　用法
　　解释
　　startswith
　　xpath（p〔startswith（id，ma）〕）
　　选取id值以ma开头的p节点
　　contains
　　xpath（p〔contains（id，ma）〕）
　　选取id值包含ma的p节点
　　and
　　xpath（p〔contains（id，ma）andcontains（id，in）〕）
　　选取id值包含ma和in的p节点
　　text（）
　　xpath（p〔contains（text（），ma）〕）
　　选取节点文本包含ma的p节点语法熟悉
　　下面举一段HTML文本进行语法热身，代码如下！usrbinenvpythoncoding：utf8time：2022880：05author：gangtieemail：648403020qq。comfromlxmlimportetreetextulidultestliclassitem0firstitemliliclassitem1seconditemliliclassiteminactivethirditemliliclassitem1spanfourthitemspanliliclassitem0fifthitemul调用HTML类进行初始化，这样就成功构造了一个XPath解析对象。利用etree。HTML解析字符串pageetree。HTML（text）print（type（page））
　　可以看到打印结果已经变成XML元素：classlxml。etree。Element字符串转换HTML
　　字符串利用etree。HTML解析成html格式：print（etree。tostring（page，encodingutf8）。decode（utf8））htmlbodyulidultestliclassitem0firstitemliliclassitem1seconditemliliclassiteminactivethirditemliliclassitem1spanfourthitemspanliliclassitem0fifthitemliulbodyhtmlProcessfinishedwithexitcode0
　　经过处理可以看到缺失的li也自动补全了，还自动添加html、body节点。查找绝对路径
　　通过绝对路径获取a标签的所有内容apage。xpath（htmlbodypullia）foriina：print（i。text）firstitemseconditemthirditemNonefifthitem查找相对路径（常用）
　　查找所有li标签下的a标签内容htmletree。HTML（text）ahtml。xpath（atext（））print（a）〔firstitem，seconditem，thirditem，fifthitem〕当前标签节点
　　。表示选取当前标签的节点。
　　我们先定位ul元素节点得到一个列表，打印当前节点列表得到第一个ul，
　　接着打印ul节点的子节点li，text（）输出。pageetree。HTML（text）ulpage。xpath（ul）print（ul）print（ul〔0〕。xpath（。））print（ul〔0〕。xpath（。li））print（ul〔0〕。xpath（。liatext（）））〔Elementulat0x234d16186c0〕〔Elementulat0x234d16186c0〕〔Elementliat0x234d1618ac0，Elementliat0x234d1618b00，Elementliat0x234d1618b40，Elementliat0x234d1618b80，Elementliat0x234d1618bc0〕〔firstitem，seconditem，thirditem，fifthitem〕父节点
　　。。表示选取当前标签的父节点。
　　可以看到得到ul的上一级ppageetree。HTML（text）ulpage。xpath（ul）print（ul〔0〕。xpath（。））print（ul〔0〕。xpath（。。））〔Elementulat0x1d6d5cd8540〕〔Elementpat0x1d6d5cd8940〕属性匹配
　　匹配时可以用符号进行属性过滤
　　查找a标签下属性href值为link2。html的内容htmletree。HTML（text）ahtml。xpath（a〔hreflink2。html〕text（））print（a）〔seconditem〕函数
　　last（）：查找最后一个li标签里的a标签的href属性htmletree。HTML（text）ahtml。xpath（li〔last（）〕atext（））print（a）〔fifthitem〕
　　contains：查找a标签中属性href包含link的节点，并文本输出htmletree。HTML（text）ahtml。xpath（a〔contains（href，link）〕text（））print（a）〔firstitem，seconditem，thirditem，fifthitem〕实战案例
　　上面说完基本用法，接下来做几个实战案例练练手。案例一：豆瓣读书coding：utf81。请求并提取需要的字段2。保存需要的数据importrequestsfromlxmlimportetreeclassDoubanBook（）：definit（self）：self。baseurlhttps：book。douban。comchart？subcatallicnindextopchartpopularself。headers｛UserAgent：Mozilla5。0（WindowsNT10。0；Win64；x64）AppleWebKit537。36（KHTML，likeGecko）Chrome104。0。0。0Safari537。36｝请求并提取需要的字段defcrawl（self）：resrequests。get（self。baseurl，headersself。headers）lisetree。HTML（res。text）。xpath（〔idcontent〕pp〔1〕ulli）print（type（lis））books〔〕forliinlis：print（etree。tostring（li，encodingutf8）。decode（utf8））print（）title。join（li。xpath（。a〔classfleft〕text（）））score。join（li。xpath（。p〔classclearfixw250〕span〔2〕text（）））list输出带有〔刘瑜20224广西师范大学出版社82。00元精装〕publishing。join（li。xpath（。p〔classsubjectabstractcolorgray〕text（）））。strip（）book｛title：title，score：score，publishing：publishing，｝books。append（book）self。savedata（books）defsavedata（self，datas）：withopen（books。txt，w，encodingutf8）asf：f。write（str（datas））defrun（self）：self。crawl（）ifnamemain：DoubanBook（）。run（）案例二：彼岸图片下载！usrbinenvpythoncoding：utf8author：钢铁知识库email：648403020qq。comimportosimportrequestsfromlxmlimportetree彼岸图片下载classBiAn（）：definit（self）：self。urlhttps：pic。netbian。comself。headers｛UserAgent：Mozilla5。0（WindowsNT10。0；Win64；x64）AppleWebKit537。36（KHTML，likeGecko）Chrome104。0。0。0Safari537。36，cookie：yjsduid1cb922eedbda97280755010e53b2caca41659183144320；Hmlvtc59f2e992a863c2744e1ba985abaea6c1649863747，1660203266；zkhanecookieclassrecord2C232C542C552C662C602C；Hmlpvtc59f2e992a863c2744e1ba985abaea6c1660207771；yjsjssecuritypassport1225f36e8501b4d95592e5e7d5202f4081149e511630209607js｝如果目录不存在会报错ifnotos。path。exists（BianPicture）：os。mkdir（BianPicture）请求拿到ul列表defcrawl（self）：resrequests。get（self。url，headersself。headers）res。encodinggbkulsetree。HTML（res。text）。xpath（p〔classslist〕ul〔classclearfix〕li）print（etree。tostring（uls，encodinggbk）。decode（gbk））循环拿到图片名、图片地址，拼接请求再次下载到图片forulinuls：imgnameul。xpath（。abtext（））〔0〕imgsrcul。xpath（。aspanimgsrc）〔0〕print（imgnameimgsrc）imgurlself。urlimgsrc拼接后下载图片，转义Bytesimgresrequests。get（imgurl，headersself。headers）。contentimgpathBianPictureimgname。jpgdata｛imgres：imgres，imgpath：imgpath｝self。savedata（data）数据保存逻辑defsavedata（self，data）：withopen（data〔imgpath〕，wb）asf：f。write（data〔imgres〕）print（data）defrun（self）：self。crawl（）ifnamemain：BiAn（）。run（）
　　案例三：全国城市名称爬取！usrbinenvpythoncoding：utf8author：钢铁知识库email：648403020qq。comimportosimportrequestsfromlxmlimportetreeclassCityName（）：definit（self）：self。urlhttps：www。aqistudy。cnhistorydataself。headers｛UserAgent：Mozilla5。0（WindowsNT6。1；Win64；x64）AppleWebKit537。36（KHTML，likeGecko）Chrome104。0。0。0Safari537。36｝判断目录是否存在ifnotos。path。exists（cityproject）：os。mkdir（cityproject）defcrawl（self）：resrequests。get（urlself。url，headersself。headers）。textulsetree。HTML（res）。xpath（p〔classall〕p〔2〕ulp〔2〕li）allcitynamelist（）forulinuls：citynameul。xpath（。atext（））〔0〕print（type（cityname））allcityname。append（cityname）self。savedata（allcityname）defsavedata（self，data）：withopen（。cityprojectcity。txt，w）asf：f。write（str（data））defrun（self）：self。crawl（）ifnamemain：CityName（）。run（）xpath使用工具chrome生成XPath表达式
　　经常使用chome的朋友都应该知道这功能，在审查状态下（快捷键ctrlshifti，F12），定位到元素（快捷键ctrlshiftc），在Elements选项卡中，右键元素CopyCopyxpath，就能得到该元素的xpath了
　　XpathHelper插件
　　为chome装上XPathHelper就可以很轻松的检验自己的xpath是否正确了。安装插件需要特别上网，安装好插件后，在chrome右上角点插件的图标，调出插件的黑色界面，编辑好xpath表达式，表达式选中的元素被标记为黄色
　　钢铁侠的知识库2022。08。15结语：
　　以上就是利用XPath的所有用法，从常用语法，到案例练习都走了一遍。下一章钢铁知识库会继续介绍另一种好用的解析框架，BeautifulSoup
　　文章来自https：www。cnblogs。comjibap16589856。html