哈喽，爬虫爬大家好，小白我是入门a在线观看网址小爬虫，上一节我们讲了Python基础语法的使用搜狗搜索学习，不知道大家有没有学废呢。页面今天我们要学一个非常有用的爬虫爬网络请求的库，这个库在我们以后的小白爬虫中几乎是都会用到，这个库就是入门：requests
在介绍requests之前，我们先简单讲一讲urilib。使用搜狗搜索其实urilib是页面Python内置的网络请求框架，我们使用urilib来进行网络请求非常简单，爬虫爬只需要一句
resp = urlopen("http://www.baidu.com")而requests 是小白⽤Python语⾔编写，基于urllib，入门采⽤Apache2 Licensed开源协议的使用搜狗搜索 HTTP 库，其用法和urilib类似。页面a在线观看网址
那么问题来了，既然Python已经内置了urllib，为什么还要使用requests呢？原因很简单，因为requests比urllib更为便捷，requests可以直接构造get，post请求并发起，而urllib.request只能先构造get，post请求，再发起。而且requests可以将返回内容自动转换成你想要的数据格式，比如你想要提取文本就用text，但是如果你想要提取图片、文件等二进制文件，就要用content，如果想要json也可以转换成json格式。
requests使用很简单，首先安装requests
pip install requests导入requests就可以使用了
import requests使用requests发送一个get请求
resp = requests.get("http://www.baidu.com")使用requests发送一个post请求
data = { name: Tom, age: 24} resp = requests.post("http://httpbin.org/post", data=data)获取response中的文本
text = resp.text获取response中的二进制数据
content = resp.content获取response中的json
json_data = resp.json()添加请求头
headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36" } resp = requests.get(url, headers=headers)怎么样，requests的使用是不是超级简单。那么接下来我们使用requests来实现我们的第一个案例。
我们的需求是这样的，输入你想搜索的内容，输出搜狗搜索返回的网页源代码。我们首先找到搜狗搜索的网址，我们先在搜狗搜索页面随便搜一下，就能找到其地址：
那么这里的地址就是下面这样的，其中xxx就是我们要搜索的内容：
https://www.sogou.com/web?query=xxx接下来我们要先输入我们想要搜索的内容，可以使用input来实现
query = input("请输入你想查询的内容：")拿到query之后，拼接到上面链接中的xxx处，就是我们要请求的url
url = f"https://www.sogou.com/web?query={ query}"然后就是用requests去get请求了
resp = requests.get(url)我们输入搜索的内容然后运行之后发现了这样的一个错误
这是为什么呢？其实这是因为搜狗网站监测到我们使用的是自动化程序去访问的这个网站，不是使用浏览器去访问的，所以直接给我们抛出这个错误了。要解决这个错误也很简单，那就是我们只需要将我们的程序伪装成浏览器去访问就好了。那么怎么伪装呢，其实就是上面讲到的给请求头添加一个User-Agent
headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36" } resp = requests.get(url, headers=headers)那么这个User-Agent的内容从哪里来的呢，我们可以打开我们刚刚搜索的周杰伦的页面，鼠标右键然后点击检查
这里我们会进入Chrome浏览器的调试界面，然后刷新网页，进入Network这个tab，这里面就是我们刷新这个页面之后所做的网络请求都罗列在这里，我们随便进入一个请求，找到Headers下面的Request Headers下面的User-Agent，这个就是我们当前浏览器的User-Agent
设置User-Agent之后再次运行程序，就可以正常请求到内容了。那么我们的第一个简单的爬虫就写完了，接下来把源码贴出来供大家参考
import requests query = input("请输入你想查询的内容：") url = f"https://www.sogou.com/web?query={ query}" headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36" } resp = requests.get(url, headers=headers) print(resp.text)以上就是我们写的第一个爬虫程序，怎么样，是不是非常有趣，接下来我们还会有更有趣的内容，敬请期待。记得关注小爬哦~
本文首发于公众号：小爬虫
(责任编辑：娱乐)