脚本宝典收集整理的这篇文章主要介绍了Python爬虫必备技能,使用 动态代理ip 爬取 Youtube游戏模块主页 示例,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
- 🎬 博客主页:https://xiaoy.blog.csdn.net
- 🎥 本文由 呆呆敲代码的小Y 原创,首发于 CSDN🙉
- 🎄 学习专栏推荐:Unity系统学习专栏
- 🌲 游戏制作专栏推荐:游戏制作专栏
- 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
- 📆 未来很长,值得我们全力奔赴更美好的生活✨
动态代理IP,字面意思来说这个IP会随时随机发生变化,不是固定的,就是动态代理IP。动态代理IP一般会有网络爬虫用户使用。
动态IP 分为 长效代理 和 短效代理:
长效代理代理IP:支持采集数据或者游戏挂机等许多业务,由于网络爬虫采集的数据量比较大,很少会选择长效代理,长效代理IP就相当于本地IP一样,访问一个网站久了自然IP也会被限制,而且采集的量非常小。不利于爬虫使用。
短效代理IP:支持数据抓取、seo优化、 APP刷量,问答推广等许多业务。一般是网络爬虫用户选择动态短效代理IP的比较多。爬虫的业务量大,使用动态短效代理IP去进行数据采集的话,能大大提高业务效率。
动态代理IP 还分为透明代理,匿名代理,高匿代理。 以此可以看出代理IP的质量强度。对于网络爬虫来说可以根据自己的需求来购买定制需要动态IP。
高匿代理自然也是动态代理IP类型中质量最好的一种,不少的企业爬虫用户都会选择隧道转发的高匿爬虫代理IP来给业务提供需要,保证自己的业务效果和质量。
透明代理和匿名代理虽然也是代理IP,但是大大降低的爬虫业务的进展和效率,所以网络爬虫选择隧道转发的爬虫代理才是正确选择。
简单介绍了一下动态代理IP的概念和好处,再来说说怎样申请这个 动态代理IP 。
目前有很多的代理IP网站,根据稳定性和安全性对比价格差异很大。
那我这里使用的是 IPIDEA 这个网站,现在新用户有500M流量白嫖,正好我们可以拿来做实验。
可以直接点击注册就行了:http://www.ipidea.net/?utm-source=csdn&utm-keyword=?xy
进入网站之后点击 获取代理 -> API获取
然后根据自己的喜好选择 数量和地区,其他的使用默认选项即可,然后点击下面的 生成链接
如果没有实名认证的话会跳出这个界面,点击认证就好然后复制我们生成的链接,这个链接要保存好,后面使用Python爬取的时候会用到。
把链接单独复制再打开就会看到刚才生成的IP,这部分可以用于我们自己的浏览器手动设置使用。上一步中我们获取到了一个 ip代理池,接下来拿QQ浏览器示例,简单看一下怎样使用这些代理ip。
在QQ浏览器菜单列表内 - 设置 - 高级 - 网络 - 更改代理服务器设置
在弹出的Internet属性窗口,点击局域网设置
填写我们复制的 IP 和 端口号,并点击 确定
打开百度/谷歌搜索引擎,搜索:IP,查看当前代理后的IP地址 到这里我们就是成功使用 代理ip 了,接下来使用 该代理ip 就可以干一些其他事情了~但是这只是一个最简单的用法,更高级的应该是在使用爬虫的时候使用该动态IP代理池达到一个更好的效果。
下面就来简单写一个用代理ip来访问CSDN博客个人主页的实例。
使用Python写一个简单的 ip代理 示例,后面使用Python爬一些其他数据的时候都可以参照。
直接使用 requests
模块来做,然后再加一个随机请求头模块 fake_useragent
和 UserAgent
。
下面就以 Youtube游戏模块 做一个简单的示例,界面内容如下:
完整代码如下所示,注释很详细,就不多做说明了。
# 微信搜索:[呆呆敲代码的小Y],回复[白嫖]获取超多精品编程学习资料!!
# 爬虫使用代理IP
# 导入模块:requests、fake-useragent、UserAgent
import requests
from fake_useragent import UserAgent
# 要访问的url地址
url='https://www.youtube.com/gaming'
# 随机请求头
headers={'User-Agent':UserAgent().random}
# 代理ip 的API(IPIDEA网站获取的)
api_url='http://tiqu.ipidea.io:81/abroad?num=100&type=1&lb=1&sb=0&flow=1®ions=&port=1'
res = requests.post(api_url,headers=headers, verify=True)
# proxies = {'协议': '协议://IP:端口号'}
proxie = "https://%s"%(res.text)
proxies = {'http': proxie}
# 打印所有的代理ip
print(proxies)
# 访问Youtube游戏模块测试并输出结果
html=requests.get(url=url,headers=headers,proxies=proxies).text
print(html)
# 微信搜索:[呆呆敲代码的小Y],回复[白嫖]获取超多精品编程学习资料!!
运行效果所示:
爬取Youtube游戏模块主页的完整信息如下:
这里只是演示了使用 代理ip 爬取了 Youtube游戏模块主页,利用好 动态代理ip 能用的事情可就更多了,大家自行体验吧!
只要能用爬虫的地方,我们可以自定义一个时间自动切换ip,这样在爬取大量数据的时候就会避免被限制访问,提高爬虫效率。
🚀 优质专栏分享 🚀 |
资料白嫖,技术互助
学习路线指引(点击解锁) | 知识定位 | 人群定位 |
---|---|---|
🧡 Unity系统学习专栏 🧡 | 入门级 | 本专栏从Unity入门开始学习,快速达到Unity的入门水平 |
💛 Unity实战类项目 💛 | 进阶级 | 计划制作Unity的 100个实战案例!助你进入Unity世界,争取做最全的Unity原创博客大全。 |
❤️ 游戏制作专栏 ❤️ | 难度偏高 | 分享学习一些Unity成品的游戏Demo和其他语言的小游戏! |
💚 游戏爱好者八万人社区💚 | 互助/吹水 | 游戏爱好者社区,白嫖奖品 |
💙 Python零基础到入门 💙 | Python初学者 | 针对没有经过系统学习的小伙伴,核心目的就是让我们能够快速学习Python的知识以达到入门 |
🚀 社区活动,重磅来袭 🚀 |
【游戏开发爱好者社区】在本周重磅新推出【每日打卡】活动
🎁 新玩法,奖励升级!游戏开发爱好者社区:https://bbs.csdn.net/forums/unitygame
社区中心思想:今天你学到了什么?
在社区你可以做些什么: 每日强化知识点,白嫖书籍礼品!
一个人可以走的很快,一群人才能走的更远!🔥爆C站的游戏开发爱好者社区欢迎您的加入!
更多白嫖活动详情:https://bbs.csdn.net/forums/unitygame?typeId=19603
温馨提示: 点击下面卡片可以获取更多编程知识,包括各种语言学习资料,上千套PPT模板和各种游戏源码素材等等资料。更多内容可自行查看哦!
以上是脚本宝典为你收集整理的Python爬虫必备技能,使用 动态代理ip 爬取 Youtube游戏模块主页 示例全部内容,希望文章能够帮你解决Python爬虫必备技能,使用 动态代理ip 爬取 Youtube游戏模块主页 示例所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。