VPS(Virtual Private Server 虚拟专用服务器)技术,将一台服务器分割成多个虚拟专享服务器,每个VPS都可选配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离,为用户和应用程序模拟出“独占”使用计算资源的体验。VPS可以像独立服务器一样,重装操作系统,安装程序,单独重启服务器。美国云服务器https://www.henghost.com/cloud_vps_usa.shtml恒创科技:海外数据中心服务商,APNIC/ARIN会员单位,专注香港服务器,香港云服务器,国外服务器,高防服务器,美国服务器等海外服务器租用托管服务,双向CN2,GIA+BGP高速网络服务。
我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而再长时间频繁抓取后可能就会出现错误,比如403 Forbidden,或503 service unavailable这样的超出连接数错误,这时候打开网页一看,可能会看到“您的IP访问频率太高”这样的提示。出现这种现象的原因是网站采取了一些反爬虫的限制措施。比如,服务器或者机房出口的防火墙会检测某个IP在单位时间内的请求次数太多,或者连接数超过了某个阈值,就会直接拒绝服务,返回一些错误信息,这种情况下封IP,就需要更换IP去继续爬取数据。