商丘做网站公司新站seo快速收录网页内容页的方法,公司网站欢迎语,wordpress本地播放器,做seo网站的步骤一、简介 curl 是一个非常有用的网站开发工具。 curl 是常用的命令行工具——客户端#xff08;client#xff09;的 URL 工具——curl 用来请求 Web 服务器。
curl 支持多种协议。curl 命令行参数多达几十种。如果熟练的话#xff0c;完全可以取代 Postman 这一类的图形界…一、简介 curl 是一个非常有用的网站开发工具。 curl 是常用的命令行工具——客户端client的 URL 工具——curl 用来请求 Web 服务器。
curl 支持多种协议。curl 命令行参数多达几十种。如果熟练的话完全可以取代 Postman 这一类的图形界面工具。
二、curl 命令参数
不带有任何参数时curl 就是发出 GET 请求。-A参数指定客户端的用户代理标头即User-Agent。默认用户代理字符串是curl/[version]。
1、用 curl 发出 GET 请求
不带有任何参数时cul 就是发出 GET 请求。
$ curl https://www.example.com上面命令向 www.example.com 发出 GET 请求服务器返回的内容会在命令行输出。
2、指定客户端的用户代理标头
-A参数指定客户端的用户代理标头即User-Agent。默认用户代理字符串是curl/[version]。
$ curl -A Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36 https://google.com上面命令将 User-Agent 改成 Chrome 浏览器。
$ curl -A https://google.com上面命令会移除 User-Agent 标头。
也可以通过-H参数直接指定标头更改User-Agent
$ curl -H User-Agent: php/1.0 https://google.com3、向服务器发送 Cookie
-b 参数用来向服务器发送 Cookie。
$ curl -b foobar https://google.com上面命令会生成一个标头Cookie: foobar向服务器发送一个名为foo、值为bar的 Cookie。
$ curl -b foo1bar;foo2bar2 https://google.com上面命令发送两个 Cookie。
$ curl -b cookies.txt https://www.google.com上面命令读取本地文件cookies.txt里面是服务器设置的 Cookie参见-c参数将其发送到服务器。
4、把“服务器设置的 Cookie” 写入一个文件
-c 参数将服务器设置的 Cookie 写入一个文件。
$ curl -c cookies.txt https://www.google.com上面命令将服务器的 HTTP 回应所设置 Cookie 写入文本文件 cookies.txt。
5、发送 POST 请求
-d 参数用于发送 POST 请求的数据体。
$ curl -dloginemmapassword123-X POST https://google.com/login或者
$ curl -d loginemma -d password123 -X POST https://google.com/login使用 -d 参数以后HTTP 请求会自动加上标头 Content-Type : application/x-www-form-urlencoded。并且会自动将请求转为 POST 方法因此可以省略 -X POST。
-d 参数可以读取本地文本文件的数据向服务器发送。
$ curl -d data.txt https://google.com/login上面命令读取 data.txt 文件的内容作为数据体向服务器发送。
--data-urlencode 参数 与 -d 参数的对比
相同点两者都是发送 POST 请求的数据体。不同点--data-urlencode 参数会自动将发送的数据进行 URL 编码。而 -d 参数不会。
--data-urlencode 参数的使用
$ curl --data-urlencode commenthello world https://google.com/login上面代码中发送的数据 hello world 之间有一个空格需要进行 URL 编码。
6、向服务器上传二进制文件
-F 参数用来向服务器上传二进制文件。
$ curl -F filephoto.png https://google.com/profile上面命令会给 HTTP 请求加上标头 Content-Type: multipart/form-data然后将文件 photo.png 作为 file 字段上传。
-F 参数可以指定 MIME 类型
$ curl -F filephoto.png;typeimage/png https://google.com/profile上面命令指定 MIME 类型为 image/png否则 curl 会把 MIME 类型设为 application/octet-stream。
-F 参数也可以指定文件名
$ curl -F filephoto.png;filenameme.png https://google.com/profile上面命令中原始文件名为 photo.png但是服务器接收到的文件名为 me.png。
7、构造 URL 的查询字符串query
-G 参数用来构造 URL 的查询字符串。
$ curl -G -d qkitties -d count20 https://google.com/search上面命令会发出一个 GET 请求实际请求的 URL 为 https://google.com/search?qkittiescount20。如果省略 --G会发出一个 POST 请求。
如果数据需要 URL 编码可以结合 --data--urlencode 参数。
$ curl -G --data-urlencode commenthello world https://www.example.com8、设置 HTTP 请求头相关的 curl 参数
1、添加 HTTP 请求的标头请求头
-H 参数添加 HTTP 请求的标头。
$ curl -H Accept-Language: en-US https://google.com上面命令添加 HTTP 标头Accept-Language: en-US。
$ curl -H Accept-Language: en-US -H Secret-Message: xyzzy https://google.com上面命令添加两个 HTTP 标头。
$ curl -d {login: emma, pass: 123} -H Content-Type: application/json https://google.com/login上面命令添加 HTTP 请求的标头是 Content-Type: application/json然后用 -d 参数发送 JSON 数据。
2、设置 HTTP 的标头 Referer请求的来源
-H 参数添加标头 Referer效果同 -e 参数。
curl -H Referer: https://google.com?qexample https://www.example.com-e 参数用来设置 HTTP 的标头 Referer表示请求的来源。
curl -e https://google.com?qexample https://www.example.com上面命令将 Referer 标头设为 https://google.com?qexample。
3、打印服务器回应的 HTTP 标头响应头
-i 参数打印出服务器回应的 HTTP 标头。
$ curl -i https://www.example.com上面命令收到服务器回应后先输出服务器回应的标头然后空一行再输出网页的源码。
-I 参数向服务器发出 HEAD 请求然后会将服务器返回的 HTTP 标头打印出来
$ curl -I https://www.example.com上面命令输出服务器对 HEAD 请求的回应。
--head 参数等同于 -I。
$ curl --head https://www.example.com9、指定跳过 SSL 检测
-k 参数指定跳过 SSL 检测。
$ curl -k https://www.example.com上面命令不会检查服务器的 SSL 证书是否正确。
10、设置 HTTP 请求跟随服务器重定向
curl 默认不跟随重定向。-L 参数会让 HTTP 请求跟随服务器的重定向。
$ curl -L -d tweethi https://api.twitter.com/tweet11、模拟慢网速的环境
--limit-rate 用来限制 HTTP 请求和回应的带宽模拟慢网速 的环境。
$ curl --limit-rate 200k https://google.com上面命令将带宽限制在每秒 200K 字节。
12、将服务器的回应保存成文件
-o 参数将服务器的回应保存成文件等同于 wget 命令。
$ curl -o example.html https://www.example.com上面命令将 www.example.com 保存成 example.html。
-O 参数将服务器回应保存成文件并将 URL 的最后部分当作文件名。
$ curl -O https://www.example.com/foo/bar.html上面命令将服务器回应保存成文件文件名为 bar.html。
13、设置 curl 输出的基本信息错误、进度
-s 参数将不输出错误和进度信息。
$ curl -s https://www.example.com上面命令一旦发生错误不会显示错误信息。不发生错误的话会正常显示运行结果。
如果想让 curl 不产生任何输出可以使用下面的命令
$ curl -s -o /dev/null https://google.com-S 参数指定只输出错误信息通常与 -s 一起使用。
$ curl -s -o /dev/null https://google.com上面命令没有任何输出除非发生错误。
14、设置服务器认证的用户名和密码
-u 参数用来设置服务器认证的用户名和密码。
$ curl -u bob:12345 https://google.com/login上面命令设置用户名为bob密码为12345然后将其转为 HTTP 标头Authorization: Basic Ym9iOjEyMzQ1。
curl 能够识别 URL 里面的用户名和密码。
$ curl https://bob:12345google.com/login上面命令能够识别 URL 里面的用户名和密码将其转为上个例子里面的 HTTP 标头。
$ curl -u bob https://google.com/login上面命令只设置了用户名执行后curl 会提示用户输入密码。
15、调试 curl 输出通信的整个过程
-v 参数输出通信的整个过程用于调试。
$ curl -v https://www.example.com--trace 参数也可以用于调试还会 输出原始的二进制数据。
$ curl --trace - https://www.example.com16、指定 HTTP 请求的代理
如果没有指定代理协议curl 默认为 HTTP。-x 参数指定 HTTP 请求的代理。
$ curl -x james:catsmyproxy.com:8080 https://www.example.com上面命令中请求的代理使用 HTTP 协议。
$ curl -x socks5://james:catsmyproxy.com:8080 https://www.example.com上面命令指定 HTTP 请求通过myproxy.com:8080的 socks5 代理发出。
17、指定 HTTP 请求的方法
-X 参数指定 HTTP 请求的方法。
$ curl -X POST https://www.example.com上面命令对 https://www.example.com 发出 POST 请求。
三、常用的使用 curl 的场景
1、查看网页源码
直接在 curl 命令后加上网址就可以看到网页源码。我们以网址 www.sina.com 为例选择该网址主要因为它的网页代码较短
$ curl www.sina.com!DOCTYPE HTML PUBLIC -//IETF//DTD HTML 2.0//ENhtmlheadtitle301 Moved Permanently/title/headbodyh1Moved Permanently/h1pThe document has moved a hrefhttp://www.sina.com.cn/here/a./p/body/html如果要把这个网页保存下来可以使用 -o 参数这就相当于使用 wget 命令了。
$ curl -o [文件名] www.sina.com2、自动跳转
有的网址是自动跳转的。使用 -L 参数curl 就会跳转到新的网址。
$ curl -L www.sina.com键入上面的命令结果就自动跳转为 www.sina.com.cn。
3、显示头信息
-i 参数可以显示 http response 的头信息连同网页代码一起。
$ curl -i www.sina.comHTTP/1.0 301 Moved PermanentlyDate: Sat, 03 Sep 2011 23:44:10 GMTServer: Apache/2.0.54 (Unix)Location: http://www.sina.com.cn/Cache-Control: max-age3600Expires: Sun, 04 Sep 2011 00:44:10 GMTVary: Accept-EncodingContent-Length: 231Content-Type: text/html; charsetiso-8859-1Age: 3239X-Cache: HIT from sh201-9.sina.com.cnConnection: close!DOCTYPE HTML PUBLIC -//IETF//DTD HTML 2.0//EN
htmlheadtitle301 Moved Permanently/title/headbodyh1Moved Permanently/h1pThe document has moved a hrefhttp://www.sina.com.cn/here/a./p/body
/html-I 参数则是只显示 http response 的头信息。
4、显示通信过程
-v 参数可以显示一次 http 通信的整个过程包括端口连接和 http request 头信息。
$ curl -v www.sina.com* About to connect() to www.sina.com port 80 (#0)* Trying 61.172.201.195... connected* Connected to www.sina.com (61.172.201.195) port 80 (#0) GET / HTTP/1.1 User-Agent: curl/7.21.3 (i686-pc-linux-gnu) libcurl/7.21.3 OpenSSL/0.9.8o zlib/1.2.3.4 libidn/1.18 Host: www.sina.com Accept: */** HTTP 1.0, assume close after body HTTP/1.0 301 Moved Permanently Date: Sun, 04 Sep 2011 00:42:39 GMT Server: Apache/2.0.54 (Unix) Location: http://www.sina.com.cn/ Cache-Control: max-age3600 Expires: Sun, 04 Sep 2011 01:42:39 GMT Vary: Accept-Encoding Content-Length: 231 Content-Type: text/html; charsetiso-8859-1 X-Cache: MISS from sh201-19.sina.com.cn Connection: close!DOCTYPE HTML PUBLIC -//IETF//DTD HTML 2.0//ENhtmlheadtitle301 Moved Permanently/title/headbodyh1Moved Permanently/h1pThe document has moved a hrefhttp://www.sina.com.cn/here/a./p/body/html* Closing connection #0如果你觉得上面的信息还不够那么下面的命令可以查看更详细的通信过程。
$ curl --trace output.txt www.sina.com或者
$ curl --trace-ascii output.txt www.sina.com运行后请打开 output.txt 文件查看。
5、发送表单信息
发送表单信息有 GET 和 POST 两种方法。GET 方法相对简单只要把数据附在网址后面就行。
$ curl example.com/form.cgi?dataxxxPOST 方法必须把数据和网址分开curl 就要用到 --data 参数。
$ curl -X POST --data dataxxx example.com/form.cgi如果你的数据没有经过表单编码还可以让curl为你编码参数是--data-urlencode。
$ curl -X POST--data-urlencode dateApril 1 example.com/form.cgi6、HTTP动词
curl 默认的 HTTP 动词是 GET使用 -X 参数可以支持其他动词。 $ curl -X POST www.example.com$ curl -X DELETE www.example.com7、文件上传
假定文件上传的表单是下面这样 form methodPOST enctypemultipart/form-data actionupload.cgiinput typefile nameuploadinput typesubmit namepress valueOK/form你可以用 curl 这样上传文件
$ curl --form uploadlocalfilename --form pressOK [URL]8、Referer字段
有时你需要在http request头信息中提供一个referer字段表示你是从哪里跳转过来的。
$ curl --referer http://www.example.com http://www.example.com9、User Agent字段
这个字段是用来表示客户端的设备信息。服务器有时会根据这个字段针对不同设备返回不同格式的网页比如手机版和桌面版。
iPhone4 的 User Agent 是
Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293 Safari/6531.22.7curl 可以这样模拟
$ curl --user-agent [User Agent] [URL]10、cookie
使用 --cookie 参数可以让 curl 发送 cookie。
$ curl --cookie namexxx www.example.com至于具体的 cookie 的值可以从 http response 头信息的 Set-Cookie 字段中得到。
-c cookie-file 可以保存服务器返回的cookie到文件-b cookie-file 可以使用这个文件作为 cookie 信息进行后续的请求。
$ curl -c cookies http://example.com
$ curl -b cookies http://example.com11、增加头信息
有时需要在http request之中自行增加一个头信息。--header参数就可以起到这个作用。
$ curl --header Content-Type:application/json http://example.com12、HTTP认证
有些网域需要HTTP认证这时curl需要用到--user参数。
$ curl --user name:password example.com【参考文章】 curl网站开发指南 curl 的用法指南
