Python爬虫 XPath语法和lxml模块（python爬虫怎么学）

获取所有li元素下的所有class属性的值：

from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/@class') print(result)

获取li标签下href为​​baidu.com​​的a标签：

from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a[@href="baidu.com"]') print(result)

获取li标签下所有span标签：

from lxml import etree html = etree.parse('hello.html') #result = html.xpath('//li/span') #注意这么写是不对的： #因为 / 是用来获取子元素的，而 并不是

获取li标签下的a标签里的所有class：

from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a//@class') print(result)

获取最后一个li的a的href属性对应的值：

from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()]/a/@href') # 谓语 [last()] 可以找到最后一个元素 print(result)

获取倒数第二个li元素的内容：

from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a') # text 方法可以获取元素内容 print(result[0].text)

获取倒数第二个li元素的内容的第二种方式：

from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a/text()') print(result)

使用requests和xpath爬取电影天堂

示例代码如下：

import requestsfrom lxml import etreeBASE_DOMAIN = '= { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36', 'Referer': 'spider(): url = ' resp = requests.get(url,headers=HEADERS) # resp.content：经过编码后的字符串 # resp.text：没有经过编码，也就是unicode字符串 # text：相当于是网页中的源代码了 text = resp.content.decode('gbk') # tree：经过lxml解析后的一个对象，以后使用这个对象的xpath方法，就可以 # 提取一些想要的数据了 tree = etree.HTML(text) # xpath/beautifulsou4 all_a = tree.xpath("//div[@class='co_content8']//a") for a in all_a: title = a.xpath("text()")[0] href = a.xpath("@href")[0] if href.startswith('/'): detail_url = BASE_DOMAIN + href crawl_detail(detail_url) breakdef crawl_detail(url): resp = requests.get(url,headers=HEADERS) text = resp.content.decode('gbk') tree = etree.HTML(text) create_time = tree.xpath("//div[@class='co_content8']/ul/text()")[0].strip() imgs = tree.xpath("//div[@id='Zoom']//img/@src") # 电影海报 cover = imgs[0] # 电影截图 screenshoot = imgs[1] # 获取span标签下所有的文本 infos = tree.xpath("//div[@id='Zoom']//text()") for index,info in enumerate(infos): if info.startswith("◎年　　代"): year = info.replace("◎年　　代","").strip() if info.startswith("◎豆瓣评分"): douban_rating = info.replace("◎豆瓣评分",'').strip() print(douban_rating) if info.startswith("◎主　　演"): # 从当前位置，一直往下面遍历 actors = [info] for x in range(index+1,len(infos)): actor = infos[x] if actor.startswith("◎"): break actors.append(actor.strip()) print(",".join(actors))if __name__ == '__main__': spider()

chrome相关问题：

在62版本（目前最新）中有一个bug，在页面302重定向的时候不能记录FormData数据。这个是这个版本的一个bug。详细见以下链接：​​https://stackoverflow.com/questions/34015735/http-post-payload-not-visible-in-chrome-debugger。​​

在金丝雀版本中已经解决了这个问题，可以下载这个版本继续，链接如下：​​https://google.com/chrome/browser/canary.html​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。