说说:代理IP是什么?要怎么设置使用?
代理ip使用原理,怎么在自己的爬虫里设置代理ip,怎么知道代理ip是否生效,没生效的话哪里出了问题,个人使用的代理ip(付费)。代理iphttps://netnut.cn/NetNut提供全球代理IP,http代理,socks5代理,数千万全球住宅ip,动态ip,静态ip,高匿ip,适合企业及个人进行电商运营,数据采集,SEO监测,社交账户注册,多账户管理等,更快更稳定。
https://netnut.cn/wp-content/uploads/2020/07/netnut-new-300x155.png
1. 代理ip原理
输入网址后发生了什么呢?
代理ip做了什么呢?
为什么要用代理呢?
2. 爬虫代码中使用代理ip
3. 检验代理ip是否生效
4. 未生效问题排查
请求协议不匹配
代理失效
1.1 输入网址后发生了什么呢?
浏览器获取域名
通过DNS协议获取域名对应服务器的ip地址
浏览器和对应的服务器通过三次握手建立TCP连接
浏览器通过HTTP协议向服务器发送数据请求
服务器将查询结果返回给浏览器
四次挥手释放TCP连接
浏览器渲染结果
其中涉及到了:
应用层:HTTP和DNS
传输层:TCP UDP
网络层:IP ICMP ARP
1.2 代理ip做了什么呢?
简单来说,就是,原本你的访问:
使用代理后你的访问:
1.3 为什么要用代理呢?
因为我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这时候打开网页一看,可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫措施。比如,服务器会检测某个IP在单位时间内的请求次数,如果超过了这个阈值,就会直接拒绝服务,返回一些错误信息,这种情况可以称为封IP。而代理ip就避免了这个问题:
就像是请求时伪装头一样,伪装ip,注意是 { }
我们访问一个网站,这个网站会返回我们的ip地址:
我们看一下我使用了四个不同的代理ip,全部生效了:
如果你返回的还是本机地址,99%试一下两种情况之一:
1.请求协议不匹配
简单来说就是,如果你请求的是http,就要用http的协议,如果是https,就要用https的协议。
如果我请求是http ,但只有https,就会使用本机ip。
2.代理失效
如果确实大规模爬虫是必须的话,还是用付费的代理ip比较好,网上广告满天飞,实际还是要自己测一测才OK。而且价格方面也是我们参考的一个很重要的因素。具体想看的宝子们可以看我之前写的:
隧道代理IP7月价格对比,内附表格分析
《韭菜反割攻略》第二弹!多家http代理按量计费对比分析
《韭菜反割攻略》第三弹!动态短效ip代理-按时付费价格对比
本文转载自:https://blog.csdn.net/yingpu618/article/details/108025994
举报/反馈
页:
[1]