在进行网页爬虫的时候使用HTTP代理,可以进行匿名抓取网页信息,爬取大数据等使用方向。HTTP代理我们很了解,但是你有了解过HTTP协议是什么吗?HTTP协议即超文本传输协议,是Internet上信息传输时使用最为广泛的一种简单通信协议。部分局域网对协议进行了限制,当网站采取限制的时候可以使用代理ip进行反爬虫。
以使用IPIDEA为例进行http代理方式操作。
1.进入HTTP,生成api打开链接并复制
2.在搜狗浏览器右上角菜单列表内 – 代理设置 – 代理服务器设置
3.点击添加按钮,并填写在IPIDEA内提取复制的IP和端口号
4.打开百度查下IP,查看当前代理后的IP地址