使用C#与正则表达式分析hao123.com的网址列表

最近需要一些对网址的分类，来检测本地用户上网的习惯，这样我们就需要一些域名的分类，首先我们就想到了www.hao123.com

通过这个分析，大家可以了解到C#获取网页源代码、调用正则表达式的一些简单方法

以及一些使用中的技巧。

1、获取网页源代码

为了方便，我们在这里直接写成函数的形式，如下：

static string GetSource(string PageUrl) { WebRequest request = WebRequest.Create(PageUrl); //WebRequest.Create方法，返回WebRequest的子类HttpWebRequest WebResponse response = request.GetResponse(); //WebRequest.GetResponse方法，返回对 Internet 请求的响应 Stream resStream = response.GetResponseStream(); //WebResponse.GetResponseStream 方法，从 Internet 资源返回数据流。 Encoding enc = Encoding.GetEncoding("GB2312"); // 如果是乱码就改成 utf-8 / GB2312 StreamReader sr = new StreamReader(resStream, enc); //命名空间:System.IO。 StreamReader 类实现一个 TextReader (TextReader类，表示可读取连续字符系列的读取器)，使其以一种特定的编码从字节流中读取字符。 string source = sr.ReadToEnd(); //输出(HTML代码)，ContentHtml为Multiline模式的TextBox控件 resStream.Close(); sr.Close(); return source;//返回源代码字符串 }使用上面的代码可以解决大多数问题，在有的时候会发现获取的源代码和浏览器看到的不一样，这时候就需要用UA来处理。

2、建立一个网址类

这个很简单

class Page { public string Url; public string Class; }
3、获取hao123.com的主页源代码

使用第一步中的函数分析www.hao123.com，得到源代码source。

通过对网页的分析，我们可以看出hao123主要的网址分布在右侧的列表部分，如下图

通过这个列表就基本可以分析出我们想要的分类网址了

因为点击前面的绿色字可以进入详细列表，我们对这个绿色字的源代码进行分析，发现是：

<span class="box-sort_title"><a href="http://v.hao123.com/movie/">影 视</a></span>

而且是有且仅有这样子的才是分类列表的入口，所以我们就可以用这段字符串作为我们的模板进行分析：

4、正则表达式分析：

我们需要的是a href="后面的链接和链接后面的标题，在此，我们把他们改成(.*?)，即

<span class="box-sort_title"><a href="(.*?)">(.*?)</a></span>

.*表示任意字符串 ?表示非贪心处理 两边的括号表示我们需要在下面用到它。

通过这样的处理，在正则表达式分析后我们就可以得到网址和对应的分类：

//*******************获取分类列表部分******************** List<Page> ClassPages = new List<Page>(); string strReg = "box-sort_title\"><a href=\ <div class="clearfix"></div> </div> <nav aria-label="..."> <ul class="pager"> <li class="previous"><a href="23416">上一篇： C#基础知识拾掇：基础知识（3） 类的构造 </a></li> <li class="next"><a href="23414">下一篇： 一个简略的测试框架(C#版) </a></li> </ul> </nav> <div class="alert alert-warning" role="alert"> <strong>免责声明：</strong> 本文仅代表作者个人观点，与爱易网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。 </div> <div class="panel panel-default"> <div class="panel-heading"> <h3 class="panel-title">相关资料<span><a target="_blank" class="pull-right" href="/csharp/">更多></a></span></h3> </div> <div class="panel-body row"> <ol> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/23891' title=' oracle 触发器 跨库有关问题 ' target="_blank"> oracle 触发器 跨库有关问题 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/39262' title=' vs2003无法加载设计器解决办法 ' target="_blank"> vs2003无法加载设计器解决办法 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/67292' title=' 哪有有关服装进销存的管理软件啊注：小弟我要源码的　多谢各位了 ' target="_blank"> 哪有有关服装进销存的管理软件啊注：小弟我要源码的　多谢各位了 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/24332' title=' vs2010,文件修改后 上面不出*号了.怎么处理啊 ' target="_blank"> vs2010,文件修改后 上面不出*号了.怎么处理啊 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/71788' title=' 23了,想去学C++.不知道咋样？谈谈你的看法来。搞C#太浮躁了.感觉只有C++才能让人心静气和.解决办法 ' target="_blank"> 23了,想去学C++.不知道咋样？谈谈你的看法来。搞C#太浮躁了.感觉只有C++才能让人心静气和.解决办法 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/6753' title=' 怎么恢复.mdf数据库 ' target="_blank"> 怎么恢复.mdf数据库 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/53639' title=' 请教怎么用鼠标选取text文本中的行号 ' target="_blank"> 请教怎么用鼠标选取text文本中的行号 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/8322' title=' ，这个如何不对 ' target="_blank"> ，这个如何不对 </a></li></div> <div class="col-md-6 col-xs-12"> <li class="articleAbout"><a href='/csharp/57976' title=' 求解？通过字符获取字数长度,该如何解决 ' target="_blank"> 求解？通过字符获取字数长度,该如何解决 </a></li></div> </ol> </div> </div> </div> <div class="col-lg-4 hidden-sm hidden-xs"> <!--右边的内容--> <a id="AdPageRight1_AdPageRight" href="http://www.tdyun.com/make/?aiyiweb" target="_blank"><img class="img-responsive" src="/images/TdPageAd/oneweb.png" alt="网站建设一条龙 做网站 网站制作 网站定制 企业网站设计 特价" /></a> <script src='/Scripts/AdContentPage300_1.js' language='javascript'></script> <script src='/Scripts/AdContentPage300_2.js' language='javascript'></script> <script src='/Scripts/AdContentPage300_3.js' language='javascript'></script> <div class="panel panel-default"> <div class="panel-heading"> <h3 class="panel-title">推荐阅读<span><a target="_blank" class="pull-right" href="/csharp/">更多></a></span></h3> </div> <div class="panel-body"> <ol> <li class="articleAbout"><a href=/csharp/24179 title=' 这样的正则表达式如何写啊 ' target="_blank"> 这样的正则表达式如何写啊 </a></li> <li class="articleAbout"><a href=/csharp/51502 title=' winform下的datagridview绑定数据时怎么更改单元格的值 ' target="_blank"> winform下的datagridview绑定数据时怎么更改单元格的值 </a></li> <li class="articleAbout"><a href=/csharp/48650 title=' 显示和隐藏窗体 不能显示第二个窗体解决办法 ' target="_blank"> 显示和隐藏窗体 不能显示第二个窗体解决办法 </a></li> <li class="articleAbout"><a href=/csharp/72344 title=' 程序員出路方案征集？解决方法 ' target="_blank"> 程序員出路方案征集？解决方法 </a></li> <li class="articleAbout"><a href=/csharp/29232 title=' 用C#获取局域网内所有机器解决方法 ' target="_blank"> 用C#获取局域网内所有机器解决方法 </a></li> <li class="articleAbout"><a href=/csharp/53677 title=' 请问access中的查询有关问题 ' target="_blank"> 请问access中的查询有关问题 </a></li> <li class="articleAbout"><a href=/csharp/43216 title=' 在2.0环境下编的程序是否可以直接用到3.0中？解决思路 ' target="_blank"> 在2.0环境下编的程序是否可以直接用到3.0中？解决思路 </a></li> <li class="articleAbout"><a href=/csharp/44801 title=' UDP服务器的有关问题（附代码） ' target="_blank"> UDP服务器的有关问题（附代码） </a></li> <li class="articleAbout"><a href=/csharp/7045 title=' 求问下C#迭署理解 ' target="_blank"> 求问下C#迭署理解 </a></li> <li class="articleAbout"><a href=/csharp/60379 title=' 请大家帮忙解决一个有关问题！ ' target="_blank"> 请大家帮忙解决一个有关问题！ </a></li> <li class="articleAbout"><a href=/csharp/48553 title=' 怎样使工具栏窗口（从Form继承)和主窗口同时具有焦点？或单击一次工具栏窗口就能执行命令？解决思路 ' target="_blank"> 怎样使工具栏窗口（从Form继承)和主窗口同时具有焦点？或单击一次工具栏窗口就能执行命令？解决思路 </a></li> <li class="articleAbout"><a href=/csharp/24572 title=' 菜初学者求指导 ' target="_blank"> 菜初学者求指导 </a></li> <li class="articleAbout"><a href=/csharp/31231 title=' fileNotFoundException异常 ' target="_blank"> fileNotFoundException异常 </a></li> <li class="articleAbout"><a href=/csharp/37012 title=' c#net将字符串转换为整形数组时的异常：输入字符串的格式不正确 ' target="_blank"> c#net将字符串转换为整形数组时的异常：输入字符串的格式不正确 </a></li> <li class="articleAbout"><a href=/csharp/56314 title=' .net framework的程序老是用JIT方式执行吗? 有没有解释执行的情况 ' target="_blank"> .net framework的程序老是用JIT方式执行吗? 有没有解释执行的情况 </a></li> <li class="articleAbout"><a href=/csharp/7775 title=' .net2.0的程序，运作在只装了4.0framework的电脑，是否还需要再安装2.0的框架 ' target="_blank"> .net2.0的程序，运作在只装了4.0framework的电脑，是否还需要再安装2.0的框架 </a></li> <li class="articleAbout"><a href=/csharp/9646 title=' Microsoft.Office.Interop.Excel.Application 实例化报错如何解决 ' target="_blank"> Microsoft.Office.Interop.Excel.Application 实例化报错如何解决 </a></li> <li class="articleAbout"><a href=/csharp/7155 title=' textBox1的操作解决方案 ' target="_blank"> textBox1的操作解决方案 </a></li> <li class="articleAbout"><a href=/csharp/72284 title=' 今天被解雇了 经理说了这样的话 小弟我不理解 ' target="_blank"> 今天被解雇了 经理说了这样的话 小弟我不理解 </a></li> <li class="articleAbout"><a href=/csharp/26469 title=' C#类,该如何处理 ' target="_blank"> C#类,该如何处理 </a></li> </ol> </div> </div> </div> </div> <div class="clearfix"></div> <footer class=" footer navbar-bottom"> <em>友情链接：</em> <a href="http://www.aiyiweb.com/" target="_blank">爱易网 </a> <a href="http://www.aiyiweb.com/" target="_blank">云虚拟主机技术 </a> <a href="http://www.aiyiweb.com/" target="_blank">云服务器技术 </a> <a href="http://www.aiyiweb.com/" target="_blank">程序设计技术 </a> <a href="http://www.aiyiweb.com/" target="_blank">开发网站 </a> <a href="http://www.aiyiweb.com/" target="_blank">APP开发教程 </a> <br /> <script type="text/javascript">(function(){document.write(unescape('%3Cdiv id="bdcs"%3E%3C/div%3E'));var bdcs = document.createElement('script');bdcs.type = 'text/javascript';bdcs.async = true;bdcs.src = 'http://znsv.baidu.com/customer_search/api/js?sid=15239353030108964139' + '&plate_url=' + encodeURIComponent(window.location.href) + '&t=' + Math.ceil(new Date()/3600000);var s = document.getElementsByTagName('script')[0];s.parentNode.insertBefore(bdcs, s);})();</script> Copyright © 2013-2024 爱易网页 当前在线：529人　 网站在5时21分17秒内访问总人数：62607人 当前 76.61% 　<a href="https://beian.miit.gov.cn" target="_blank">粤ICP备18100884号-2 </a> <script charset="UTF-8" id="LA_COLLECT" src="//sdk.51.la/js-sdk-pro.min.js"></script> <script>LA.init({ id: "JszEmKrtpbU59dY5", ck: "JszEmKrtpbU59dY5" })</script> </footer> </div> </body> </html>