南京个人做网站的,可信网站 quot 验证能防范哪些安全.,wordpress 创建文章,株洲网站建设 株洲网站制作第一次写博客#xff0c;其实老早就注册博客园了#xff0c;有写博客的想法#xff0c;就是没有行动#xff0c;总是学了忘#xff0c;忘了丢#xff0c;最后啥都没有#xff0c;电脑里零零散散#xff0c;东找找#xff0c;西看看#xff0c;今天认识到写博客的重要… 第一次写博客其实老早就注册博客园了有写博客的想法就是没有行动总是学了忘忘了丢最后啥都没有电脑里零零散散东找找西看看今天认识到写博客的重要性。 最近闲着看了潭州教育的在线直播课程颇受老师讲课实用有感。只作为自己笔记学习我们都知道学习一门编程都是先照抄在创作。这里完全按照老师讲解照抄作为学习。 一、Python抓取豆瓣妹子图。 工具python3.6.0;bs4.6.0;xlwt(1.2.0)需要版本对应之前就安装了bs4但是运行的时候提示版本不对应。可以在线升级:pip install update buautifulsoup4 1.pip list,可以查看本地安装。 1.爬取豆瓣妹子图知道其地址url http://www.dbmeinv.com/?pager_offset1。 2.查看网页源代码F12network随便找个左边捕捉的网页信息找到User-agent目的主要是为了模仿浏览器登录防止反爬虫。 找到element元素。我们要的是img标签中的图片信息src连接下载地址。 按照老师写所有代码 1 import urllib2 import urllib.request3 from bs4 import BeautifulSoup4 url http://www.dbmeinv.com/?pager_offset15 x06 #获取源码7 #自定义函数8 #User-Agent模拟浏览器进行访问反爬虫9 def crawl(url):
10 headers{User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3088.3 Safari/537.36}
11 requrllib.request.Request(url,headersheaders)#创建对象
12 pageurllib.request.urlopen(req,timeout20)#设置超时
13 contentspage.read()#获取源码
14 #print (contents.decode())
15 soup BeautifulSoup(contents,html.parser)#html.parser主要是解析网页的一种形式。
16 my_girlsoup.find_all(img)#找到所有img标签
17 # 5.获取图片
18 for girl in my_girl:#遍历
19 linkgirl.get(src)#获取src
20 print(link)
21 global x#全局变量
22 # 6.下载 urlretrieve
23 urllib.request.urlretrieve(link,image\%s.jpg%x)#下载,urlretrieve(需要下载的路径)
24 x1
25 print(正在下载第%s张%x)
26 #7.多页
27 for page in range(1,10):#range本身自动生成整数序列爬取多页图片。
28 #page1
29 urlhttp://www.dbmeinv.com/?pager_offset{}.format(page)#
30 #url http://www.dbmeinv.com/?pager_offset%d % page
31 crawl(url)
32
33 print(图片下载完毕) 最终运行结果 图片保存在image文件夹下。 二、抓取大众点评导入excel。赵本宣言老师源码。 import requests
from bs4 import BeautifulSoup
import xlwt
def get_content(url,headersNone,proxyNone):htmlrequests.get(url,headersheaders).contentreturn htmldef get_url(html):soup BeautifulSoup(html,html.parser)shop_url_listsoup.find_all(div,class_tit)#class在Python是关键字# 列表推导式return [i.find(a)[href] for i in shop_url_list]#商品的详细信息名字评论人均
def get_detail_content(html):soupBeautifulSoup(html,html.parser)pricesoup.find(span,idavgPriceTitle).textevaluationsoup.find(span,idcomment_score).find_all(span,class_item)#find_all是有多个这里三个#for i in evaluation:# print(i.text)the_starsoup.find(div,class_brief-info).find(span)[title]titlesoup.find(div,class_breadcrumb).find(span).textcommentssoup.find(span,idreviewCount).textaddresssoup.find(span,itempropstreet-address).textprint(u店名title)for i in evaluation:print(i.text)print(price)print(u评论数量comments)print(u地址address.strip())print(u评价星级the_star)print()return (title,evaluation[0].text,evaluation[1].text,evaluation[2].text,price,comments,address,the_star)if __name____main__:items[]start_urlhttps://www.dianping.com/search/category/344/10/base_urlhttps://www.dianping.comheaders{User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3088.3 Safari/537.36,Cookie:_hc.v461407bd-5a08-f3fa-742e-681a434748bf.1496365678; __utma1.1522471392.1496365678.1496365678.1496365678.1; __utmc1; __utmz1.1496365678.1.1.utmcsrbaidu|utmccn(organic)|utmcmdorganic; PHOENIX_ID0a0102b7-15c6659b548-25fc89; s_ViewType10; JSESSIONIDE815A43E028078AFA73AF08D9C9E4A15; aburl1; cy344; cyechangsha; __mta147134984.1496365814252.1496383356849.1496383925586.4}start_htmlget_content(start_url)#一页# url_listget_url(start_html)#多页url_list [base_url url for url in get_url(start_html)]for i in url_list:detail_htmlget_content(i,headersheaders)itemget_detail_content(detail_html)items.append(item)#写exceltxt差别ExcelxlwgnewTableDZDP.xlswbxlwt.Workbook(encodingutf-8)wswb.add_sheet(test1)headData[商户名字,口味评分,环境评分,服务评分,人均价格,评论数量,地址,商户评价]for colnum in range(0,8):ws.write(0,colnum,headData[colnum],xlwt.easyxf(font:bold on))index1lenslen(items)for j in range(0,lens):for i in range(0,8):ws.write(index,i,items[j][i])index 1wb.save(newTable) 很喜欢锁女神老师忘老师的用心讲解收获很多虽然有些地方还不是很懂但通过不断的学习养成写博客的习惯相信会快速提升。 转载于:https://www.cnblogs.com/lry1/p/6941250.html
