网站建设 美食站点,网络端游游戏排行榜,网站建设开始学什么,黔南州建设局网站一#xff1a;背景1. 讲故事前段时间搞了一个地方性民生资讯号#xff0c;资讯嘛#xff0c;都是我抄你的#xff0c;你抄官媒的#xff0c;小市民都喜欢奇闻异事#xff0c;所以就存在一个需求#xff0c;如何去定向抓取奇闻异事的地方号上的新闻#xff0c;其实做起来… 一背景1. 讲故事前段时间搞了一个地方性民生资讯号资讯嘛都是我抄你的你抄官媒的小市民都喜欢奇闻异事所以就存在一个需求如何去定向抓取奇闻异事的地方号上的新闻其实做起来很简单用逻辑回归即可这篇主要讨论如何去抓取在 C# 中大家都知道抓取通用的库是 HtmlAgilityPack但是这个库主流的做法是采用 xpath 提取网页内容这就让我很不爽了毕竟不熟悉莫名的抵抗哈像我这个年纪的码农被 Jquery 教育了至少 5-6 年所以必须用 类Jquery 的方式在 python 中有 pyquery 做这件事情那在C# 中有没有类似的方式呢嘿嘿万能的 github 上还真有。。。就是本篇介绍的 CSQuery。二CSQuery1. 安装github的地址https://github.com/zone117x/CsQuery 然后在vs中 nuget 一下即可2. 举几个例子一切都准备就绪了那怎么用呢不着急我以博客园举两个例子。1) 将首页中的 友情连接 提取到如上图要想获取这里的 友情链接几个大字直接用 text() 肯定是不行的默认情况它会将所有的子节点的文本也会抓到如下图那怎么处理呢可以用 jquery 提供的 contents 方法然后在获取的所有子节点中判断是否有 文本节点最后获取文本节点的内容即可如下代码用js是搞定了那用 CSQuery 代码怎么搞定呢模仿呗如下代码 static void Main(string[] args) { var jquery CQ.CreateDocument(new WebClient().DownloadString(http://cnblogs.com)); var content jquery[#friend_link].Contents().Filter((dom) { return dom.NodeType NodeType.TEXT_NODE; }).Text(); Console.WriteLine(content); }我不知道用 xpath 提取这样的内容麻不麻烦不过用 jquery 方式不简单但轻车熟路。2) 如何将 html 中的某些元素标颜色有时候为了业务需要将某些 html 标签改一下颜色比如说将首页的 tabmenu 中 博问 和 专区 改成红色如下图那用 CSQuery 怎么处理呢如果玩过 jquery一般来说步骤如下使用 each 遍历每一个子 li 标签使用 CSS 方法给 li 中 a 标签赋样式使用 Render 渲染生成一个新的的html有了步骤C#代码如下 static void Main(string[] args) { Config.HtmlEncoder HtmlEncoders.None; var jquery CQ.CreateDocument(new WebClient().DownloadString(http://cnblogs.com)); var html jquery[#nav_left li].Each(dom { var self jquery[dom]; var text self.Text(); if (text 博问 || text 专区) { self.Find(a).CssSet(new { color red }); } }).Render(); } 3) 其他的操作方法除了上面两个操作方法外你还可以使用 afterbeforereplaceAll,IS 等等一百来个实用的方法这篇肯定也无法一一介绍了大家有兴趣可以下载下来看一看捣鼓捣鼓。三其他用途除了抓取html中的元素我觉得这玩意还可以用在发送邮件时操控邮件模板毕竟在很久以前大家都是用jquery来绘制 html所以用 CSQuery 也是可以的相对使用 xslt 有利有弊吧接下来做一个例子1. 生成一个html模板htmlhtml langen xmlnshttp://www.w3.org/1999/xhtmlhead meta charsetutf-8 / titletitleheadbody ul idmainulbodyhtml2. 使用 CSQuery 给 ul 追加 li可以用 Append 将内容追加到 节点内。 class Program { static void Main(string[] args) { Config.HtmlEncoder HtmlEncoders.None; var strlist new string[2] { 1, 2 }; var path Environment.CurrentDirectory \\2.html; var jquery CQ.CreateFromFile(path); foreach (var str in strlist) { jquery.Find(#main).Append(${str}); } var html jquery.Render(); } }3. 部分渲染 RenderSelectionRender方法是将整个Dom渲染成html但有时候你只需要得到你修改的那部分内容而不是整个html这就涉及到了部分渲染可以用 RenderSelection 方法即可代码如下 static void Main(string[] args) { Config.HtmlEncoder HtmlEncoders.None; var strlist new string[2] { 1, 2 }; var path Environment.CurrentDirectory \\2.html; var jquery CQ.CreateFromFile(path); var current jquery.Find(#main); foreach (var str in strlist) { current.Append(${str}); } var html current.RenderSelection(); Console.WriteLine(html); }------------- output ----------------main12四总结Jquery 这种操作模式对我个人来说还是比较舒服的毕竟熟不过在 html5 中也新增了 querySelector 和 querySelectorAll 支持 css3 选择器非常强大可 jquery 不光在选择器的灵活上还在于对节点的灵活操作上总的来说不是特别富交互的情况下可以怀旧一把。往期精彩回顾【推荐】.NET Core开发实战视频课程 ★★★.NET Core实战项目之CMS 第一章 入门篇-开篇及总体规划【.NET Core微服务实战-统一身份认证】开篇及目录索引Redis基本使用及百亿数据量中的使用技巧分享(附视频地址及观看指南).NET Core中的一个接口多种实现的依赖注入与动态选择看这篇就够了10个小技巧助您写出高性能的ASP.NET Core代码用abp vNext快速开发Quartz.NET定时任务管理界面在ASP.NET Core中创建基于Quartz.NET托管服务轻松实现作业调度现身说法实际业务出发分析百亿数据量下的多表查询优化关于C#异步编程你应该了解的几点建议C#异步编程看这篇就够了
