Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

发布时间:2022-07-01 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了Python爬虫实战,requests模块,Python实现抓取某站美女壁纸脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

前言

利用Python爬取回车桌面壁纸壁纸,废话不多说。

让我们愉快地开始吧~

开发工具

Python版本: 3.6.4

相关模块:

requests模块;

re模块

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

思路分析

目标网址 https://mm.enterdesk.com/dalumeinv/1.html

进入网站后下拉即可看到以下内容:

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

点击任意图片,进入图片详情页,里面为一组图片,包含大图和缩略图:

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

此网页禁止鼠标右键,按ctrl+u进行查看网页源代码,发现图片链接可在网页源代码中获取;每张图片有两条链接,对比两条链接发现其中一条多了参数_360_360,而没有此参数的链接为高清原图,另一条为标清图!

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

详情页是由首页链接进入的,我们再退到首页,按ctrl+u进行查看网页源代码;发现网页源代码中存在进入详情页的链接,由此可推断首页和详情页都为静态加载的网页!

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

在首页下拉网页,发现其会不断加载数据,但网址却没有发生变化:

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

但单独点击下方翻页操作,网址会发生变化:

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

由此可见,进行翻页操作我们只需要更改网址的参数即可:

https://mm.enterdesk.com/dalumeinv/1.html
https://mm.enterdesk.com/dalumeinv/2.html
https://mm.enterdesk.com/dalumeinv/3.html

核心代码

def main(html_url): # 传入首页url
    response = get_response(html_url) # 请求函数接收首页url并请求数据
    urls = re.findall('<a href="(.*?)" target="_blank">.*?</a>', response.text)[31:47] # 提取详情页url
    for link in urls:
        response_ = get_response(link)# 请求函数接收详情页url并请求数据
        image_url = re.findall('src="(https://up.enterdesk.com/edpic/.*?)"', response_.text)[1:] # 提取图片url
        url_data(image_url) # 返回图片url

删选数据

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

完整源码可以私信获取

数据保存本地

Python爬虫实战,requests模块,Python实现抓取某站美女壁纸

脚本宝典总结

以上是脚本宝典为你收集整理的Python爬虫实战,requests模块,Python实现抓取某站美女壁纸全部内容,希望文章能够帮你解决Python爬虫实战,requests模块,Python实现抓取某站美女壁纸所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: