适合团购报名的网站开发,网络推广软件排行榜,高端酒店网站模板免费下载,公司app开发收费价目表#x1f3c6;作者#xff1a;科技、互联网行业优质创作者 #x1f3c6;专注领域#xff1a;.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造 #x1f3c6;欢迎关注我#xff08;Net数字智慧化基地#xff09;#xff0c;里面… 作者科技、互联网行业优质创作者 专注领域.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造 欢迎关注我Net数字智慧化基地里面有很多高价值技术文章是你刻苦努力也积累不到的经验能助你快速成长。升职涨薪 在一个小项目中,需要用到京东的所有商品ID,因此就用c#写了个简单的爬虫。 在解析HTML中没有使用正则表达式而是借助开源项目HtmlAgilityPack解析HTML。 一、下载网页HTML 首先我们写一个公共方法用来下载网页的HTML。 在写下载HTML方法之前我们需要去查看京东网页请求头的相关信息在发送请求时需要用到。 public static string DownloadHtml(string url, Encoding encode)
{string html string.Empty;try{HttpWebRequest request WebRequest.Create(url) as HttpWebRequest;request.Timeout 30 * 1000;request.UserAgent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36;request.ContentType text/html; charsetutf-8;using (HttpWebResponse response request.GetResponse() as HttpWebResponse){if (response.StatusCode HttpStatusCode.OK){try{StreamReader sr new StreamReader(response.GetResponseStream(), encode);html sr.ReadToEnd();//读取数据sr.Close();}catch (Exception ex){html null;}}}}catch (System.Net.WebException ex){html null;}catch (Exception ex){html null;}return html;
} 如上代码所示我们使用WebRequest来获取网页信息在发送请求之前需要先设置和京东页面一样的请求头。 以上设置的信息比较简单但能够正常发送请求我们也可以模拟浏览器设置cookie等等信息 二、解析HTML 获取所有商品的信息分为两个步骤 1根据商品分类页面获取所有商品分类的URL 2根据商品分类URL获取每个商品 1、获取商品分类 try
{string html HttpHelper.DownloadUrl(http://www.jd.com/allSort.aspx);HtmlDocument doc new HtmlDocument();doc.LoadHtml(html);string goodClass //*[classitems]/dl/dd;HtmlNodeCollection noneNodeList doc.DocumentNode.SelectNodes(goodClass);foreach (var node in noneNodeList){HtmlDocument docChild new HtmlDocument();docChild.LoadHtml(node.OuterHtml);string urlPath /dd/a;HtmlNodeCollection list docChild.DocumentNode.SelectNodes(urlPath);foreach (var l in list){HtmlDocument docChild1 new HtmlDocument();docChild1.LoadHtml(l.OuterHtml);var sortUrl l.Attributes[href].Value;if (!string.IsNullOrWhiteSpace(sortUrl) sortUrl.Contains(cat)){InsertSort(https: sortUrl);}}}
}
catch (Exception ex)
{Console.WriteLine(ex.Message);
} 上面的代码中使用到了HtmlAgilityPack来解析HTML信息这是.NET的开源项目开源在nuget包中下载。 1下载http://www.jd.com/allSort.aspx的html页然后加载到HtmlDocument 2选择节点获取每个大类的节点集合 3根据每个大类的节点获取每个小类的节点信息然后获取到分类地址 节点中也包含了其它很多信息可以根据自己的需求去获取对应的信息 2、获取具体商品信息 1首先根据商品分类加载分类信息获取到当前分类每个页面的链接 下载HTML之后选择节点可以将HTML格式化之后查看每个页面的url地址和拼接规则然后借助HtmlAgilityPack 来筛选需要的节点将每个页面的url分离出来 try
{string html HttpHelper.DownloadUrl(https://list.jd.com/list.html?cat1620,11158,11964);HtmlDocument productDoc new HtmlDocument();productDoc.LoadHtml(html);HtmlNode pageNode productDoc.DocumentNode.SelectSingleNode(//*[idJ_topPage]/span/i);if (pageNode ! null){int pageNum Convert.ToInt32(pageNode.InnerText);for (int i 1; i pageNum 1; i){string pageUrl string.Format({0}page{1}, category.Url, i).Replace(page1, string.Format(page{0}, i));try{ListProductInfo proDuctInfo GetPageProduct(pageUrl);}catch (Exception ex){Console.WriteLine(ex.Message);}}}
}
catch (Exception ex)
{Console.WriteLine(ex.Message);
} 2根据每个页面的链接获取当前页面的商品信息 下载每个页面的所有商品信息需要获取的商品信息在页面中都能找到 首先我们获取到每个商品的节点集合获取到一个商品的节点信息之后分析html数据 找到我们需要的商品的信息所在的位置然后将需要的信息分离出来。 下面的代码中我获取到的商品的id和title还有价格。 ListProductInfo productInfoList new ListProductInfo();
try
{string html HttpHelper.DownloadUrl(url);HtmlDocument doc new HtmlDocument();doc.LoadHtml(html);HtmlNodeCollection productNodeList doc.DocumentNode.SelectNodes(//*[idplist]/ul/li);if (productNodeList null || productNodeList.Count 0){return productInfoList;}foreach (var node in productNodeList){HtmlDocument docChild new HtmlDocument();docChild.LoadHtml(node.OuterHtml);ProductInfo productInfo new ProductInfo(){CategoryId category.Id};HtmlNode urlNode docChild.DocumentNode.SelectSingleNode(//*[classp-name]/a);if (urlNode null){continue;}string newUrl urlNode.Attributes[href].Value;newUrl !newUrl.StartsWith(http:)?http: newUrl: newUrl;string sId Path.GetFileName(newUrl).Replace(.html, );productInfo.ProductId long.Parse(sId);HtmlNode titleNode docChild.DocumentNode.SelectSingleNode(//*[classp-name]/a/em);if (titleNode null){continue;}productInfo.Title titleNode.InnerText;HtmlNode priceNode docChild.DocumentNode.SelectSingleNode(//*[classp-price]/strong/i);if (priceNode null){continue;}else{}productInfoList.Add(productInfo);}//批量获取价格GetGoodsPrice(productInfoList);
}
catch (Exception ex)
{
}
return productInfoList; 商品的图片地址和价格信息的获取需要仔细分析html中的数据然后找到规律比如价格在每个节点中就不能单独获取。 以下为批量获取价格的代码 try
{StringBuilder sb new StringBuilder();sb.AppendFormat(http://p.3.cn/prices/mgets?callbackjQuery1069298type1area1_72_4137_0skuIds{0}pdbp0pdtkpdpinpduid1945966343_1469022843655, string.Join(%2C, productInfoList.Select(c string.Format(J_{0}, c.ProductId))));string html HttpHelper.DownloadUrl(sb.ToString());if (string.IsNullOrWhiteSpace(html)){return productInfoList;}html html.Substring(html.IndexOf(() 1);html html.Substring(0, html.LastIndexOf()));ListCommodityPrice priceList JsonConvert.DeserializeObjectListCommodityPrice(html);productInfoList.ForEach(c c.Price priceList.FirstOrDefault(p p.id.Equals(string.Format(J_{0}, c.ProductId))).p);
}
catch (Exception ex)
{Console.WriteLine(ex.Message);
}
return productInfoList; 以上就是一个简单的爬取京东商品信息的爬虫也可以根据自己的需求去解析更多的数据出来。 欢迎订阅我的专栏.NET/C#中大型项目开发里面有很多高价值技术文章是你刻苦努力也积累不到的经验能助你涨薪升职让你快速成长为相关领域的架构师、领航员。也能让普通中小企业轻松享有大型互联网分布式系统解决方案。 同时专栏.NET/C#中大型项目开发的内容也能教你采用最简单的方式开发.NET/C#中大型应用——理清技术脉络、形成思维体系、获取最佳实践、框架开发能力。让你具备挑战百万年薪的基础逐渐成为国内一流.NET/C#从业者。
