网站后台打打开空白,js 取网站域名,做网站首选智投未来1,用什么程序做资讯类网站目录 一、此处需要安装第三方库requests:
二、抓包分析及编写Python代码 1、打开百度翻译的官网进行抓包分析。 2、编写请求模块 3、输出我们想要的消息
三、所有代码如下#xff1a; 一、此处需要安装第三方库requests:
在Pycharm平台终端或者命令提示符窗口中输入以下代…目录 一、此处需要安装第三方库requests:
二、抓包分析及编写Python代码 1、打开百度翻译的官网进行抓包分析。 2、编写请求模块 3、输出我们想要的消息
三、所有代码如下 一、此处需要安装第三方库requests:
在Pycharm平台终端或者命令提示符窗口中输入以下代码即可安装
pip install requests
二、抓包分析及编写Python代码 1、打开百度翻译的官网进行抓包分析 打开百度翻译的官网按下F12键打开开发者界面此时由于翻译页面没有数据传输属于静态页面开发者界面也就没有任何数据传输的情况在单词输入框中输入单词cat在开发者界面中可以看到有数据正在进行传输百度翻译是局部刷新也就是Ajax框架的异步加载在过滤器中输入sugsug是服务器响应给客户端的数据这里可以看到有3条sug这是因为单词是由三个字母所组成的 第一个sug是输入c服务器所响应的消息里面携带翻译c数据在data中可以看到第二个sug是输入ca服务器所响应的消息里面携带翻译ca数据在data中可以看到第三个sug是输入cat服务器所响应的消息里面携带翻译cat数据在data中可以看到 如下图所示 展开第三个sug中的data可以看到翻译的数据如下可以看到 里面除了有单词cat的翻译还有其相似单词的翻译。其中data为字典类型k和v是key值k为单词v为翻译。此处就是我们所需要的信息了我们需要的是输入的完整单词的sug故此处需要的是第三个sug。 2、编写请求模块 此处有两种方式编写第一种是借助第三方网站的方式编写第二种为自己抓包分析的方式编写。 第一种方式此种方式比较小白不利于对爬虫的学习。 借助第三方网站Convert curl commands to code 1选中需要的输入的完整单词的sug右键鼠标复制为cURL(bash) 2打开第三方网站复制。选择Python即可得到请求的Python代码。 3复制Python代码到Pycharm中。 此处已经帮我们把请求头书写完了但需要注意的是data中的kw的值为cat。也就是只翻译cat的请求信息此处我们希望通过键盘输入需要翻译的单词来进行请求翻译。故需要进行一点修改 keyword input(请输入需要翻译的单词)
data {kw: keyword
} 这样就可以通过键盘来输入单词进行翻译 第二种方式此种是自己通过抓包分析后自己编写请求头模块利于对爬虫的学习。 requests请求模块有get方法和post方法此处使用的是post方法。不清楚的可以百度一下post方法里面包含多个参数不写的话requests模块会有默认的参数里面需要自己写明三个参数。分别为url访问地址header请求头data请求数据通过抓包分析我们可以知道以上三个参数 url所在位置 header所在位置 可以把header中的信息全部复制以字典的类型封装为请求头。但此处只需要使用到一个关键信息--User Agent用户身份认证也可以只将这一个关键信息放入header中。 data所在位置 这里我们只需要用到kw信息将其放入到data中以字典的形式进行存入即可。 此处的代码书写为
# 1、导入请求模块
import requests
# 将url地址复制过来
url https://fanyi.baidu.com/sug
# 2、通过键盘输入需要翻译的单词
keyword input(请输入需要翻译的单词)
# 3、请求数据即为输入需要翻译的单词
data {kw: keyword
}
# 4、header请求头装入了user—angent信息
header {User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36
}
# 5、使用post按照urlheaderdata顺序依次写入数据
response requests.post(urlurl, headersheader, datadata)3、输出我们想要的消息 此时response里面所有的内容就是我们在抓包分析过程中sug中的视图内容。找到我们所需要的信息对其进行打印即可。
如果只要翻译所输入的单词不需要拓展其相关单词的翻译。
# a、如果只需要翻译单词不需要其他相关单词及其翻译
# 将response变成字典形式并提取data中的信息
res response.json()[data]
# 我们需要的信息是data中的第一行数据找到后对其进行打印
print(res[0][k]\tres[0][v])
如果既要翻译所输入的单词又需要拓展其相关单词的翻译。
# b、如果需要翻译单词还需要其他相关单词及其翻译
# 将response变成字典形式并提取data中的信息
res response.json()[data]
# 通过循环读取res中的k和v的值即可
for x in res:print(x[k]\tx[v])
三、所有代码如下
# 1、导入请求模块
import requests
# 将url地址复制过来
url https://fanyi.baidu.com/sug
# 2、通过键盘输入需要翻译的单词
keyword input(请输入需要翻译的单词)
# 3、请求数据即为输入需要翻译的单词
data {kw: keyword
}
# 4、header请求头装入了user—angent信息
header {User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Mobile Safari/537.36
}
# 5、使用post按照urlheaderdata顺序依次写入数据
response requests.post(urlurl, headersheader, datadata)
# print(response)
# # 6、输出我么想要的信息
# # a、如果只需要翻译单词不需要其他相关单词及其翻译
# # 将response变成字典形式并提取data中的信息
# res response.json()[data]
# # 我们需要的信息是data中的第一行数据找到后对其进行打印
# print(res[0][k]\tres[0][v])
# b、如果需要翻译单词还需要其他相关单词及其翻译
# 将response变成字典形式并提取data中的信息
res response.json()[data]
# 通过循环读取res中的k和v的值即可
for x in res:print(x[k]\tx[v]) 运行以上代码即可注运行代码时需要保证处于联网状态。因为requests模块会对服务器进行请求服务器会响应数据。需要联网才能传输数据
基于以上内容 可以基于搜狗翻译或其他翻译网站进行编写PYthon3在线翻译爬虫程序。
四、基于搜狗翻译的PYthon3在线翻译爬虫程序 可以基于以上内容自己制作一个基于搜狗翻译的PYthon3在线翻译的爬虫程序下面给出其代码
# 基于搜狗翻译编程成Python爬虫程序输入单词进行实时翻译并附加相关单词的翻译学习
# post方法是用于向Web服务器提交数据的HTTP请求方法。它允许客户端将数据作为请求的一部分发送给服务器以便服务器进行处理或存储。
# 1、导入requests模块
import pprint
import requests
# 2、复制搜狗翻译的链接
query_url https://fanyi.sogou.com/reventondc/suggV3
# 3、制作请求头模拟人的操作
keyword input(请输入你要翻译的单词)
data {from:auto,to: zh-CHS,client: wap,text: keyword,uuid: 21ef11c5-e2cd-49b8-a397-c89a32dd67da,pid: sogou-dict-vr,addSugg: on,
}
# 4、模拟识别码
header {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36}
# 5、使用post方法进行请求
response requests.post(urlquery_url, headersheader, datadata)
# 6、提取所需要的信息
result response.json()[sugg]
# 循环打印
for x in result:print(x[k] x[v]) 注此贴只用于学习交流禁止商用。
