番禺建设网站哪个好,高端网站教建设,服务类型的网站怎么做,谷歌官方网站前面已经讲解过 Requests 结合 BeautifulSoup4 库抓取数据#xff0c;这种方式在抓取数据时还是比较方便快捷的#xff0c;但是这并不意味着所有的网站都适合这种方式#xff0c;并且这也不是抓取数据的最快方式#xff0c;今天我们来讲一种更快速的获取数据的方式#xf…前面已经讲解过 Requests 结合 BeautifulSoup4 库抓取数据这种方式在抓取数据时还是比较方便快捷的但是这并不意味着所有的网站都适合这种方式并且这也不是抓取数据的最快方式今天我们来讲一种更快速的获取数据的方式通过 API 接口抓取数据。
一、API接口概述
API 接口是负责传递数据的在现今互联网已存在的网站中除了极个别非常古老的网站大部分的网站都会采用 API 接口进行数据的传输。那么为什么 API 接口这么受欢迎呢那当然是其带来了很多的好处最直观的便是极大地节省了开发的成本。 举个例子一个团队想制作一个游戏在这个游戏里有付费的功能那么相应的就需要有一个提供支付服务的平台众所周知支付平台是需要有能力去保证资金交易安全且需要有资质的普通的团队压根搞不起啊所以对于这个团队来说花钱买现成的支付平台的服务是最好的选择那么这个服务是以何种方式介入的呢答案就是 API 接口通过这个 API 接口实现交易功能及交易数据的传递。 所以网站中显示的数据也是可以通过 API 接口从数据库传递到网站中的。 那么如何利用好 API 接口获取数据这便是我们本文要学习的内容。
二、API接口结构
API 接口长什么样子呢请看示例https://v.api.aa1.cn/api/api-qq-gj/index.php?qqxxxxxnumxxvipxxx 上方这个 URL 便是一个 API 接口它是由请求地址和请求参数两部分构成的请求地址和请求参数之间使用?连接请求参数要写成keyvalue的形式我们常说的键值对形式如果同时有多个请求参数请求参数之前使用连接。 请求地址顾名思义就是你请求的服务器的入口 请求参数就是按照设定你得告诉服务器你要做什么。 相信大家也尝试打开这个链接了结果发现什么也没有甚至还报错那是因为这个 API 接口的请求参数设定不正确使用 API 接口就需要保证请求参数的正确性。 上面的 API 接口其实是一个QQ价格评估接口这是它需要的参数信息以及返回结果信息 我们只需要按照上图的信息稍微修改下便能得到一个正确的可访问的 API 接口https://v.api.aa1.cn/api/api-qq-gj/index.php?qq1766935706num68vip1这是我用自己的 QQ 做的实例演示结果如下这就是此 API 接口实现的功能以及传递的数据。 那么 API 接口中的数据是如何被爬虫获取到呢
三、Requests请求API
API 接口本质也是一个 URL所以也是可以使用 Requests 进行请求的。
import requestsAPI_URL https://v.api.aa1.cn/api/api-qq-gj/index.php?qq1766935706num71vip1
Headers {User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36
}
response requests.get(urlAPI_URL, headersHeaders, verifyFalse)
result response.text if response.status_code 200 else 状态码异常
print(result)我们请求这个 API 接口的结果如下图所示。 注意上述代码中有一个还未曾涉及到的知识点我暂时先给大家做一个简单的解释Requests 请求时我在 get 方法中添加了一个 verifyFalse表示移除 SSL 认证因为我们请求的这个 API 接口没有 SSL 证书不添加 verifyFalse 会报错后续我们会出一篇文章单独进行说明。 至此我们使用爬虫获取到了一个 API 接口中的数据在下一篇文章中我将带大家学习如何在一个网页中寻找 API 接口从而将数据快速无误的抓取下来。
