注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

天涯倦客的博客

祝福你朋友永远快乐!

 
 
 

日志

 
 

2款开源的采用C#实现的网络采集软件  

2013-06-29 08:47:19|  分类: C# |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

这里和大家分享2款开源的采用C#实现的网络采集软件。

1.Soukey采摘

一 套免费开源的数据采集软件,Soukey采摘开发语言为C#,遵循BSD许可协议。Soukey采摘,是一个国人开发并放出的开源网络采集软件,特点是 gui图形界面,从采集引擎到界面配置给出了很好的技术实现范例。其HTML处理使用的是正则匹配的方式,获取网页的方式是采取 HttpWebRequest同步的方式,采集效率较低)。

2.NCrawler

NCrawler 是一款国外的开源网络爬虫软件,遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库,采用xpath的方式处理定位网页 元素,十分方便。同时其采用HttpWebRequest异步的方式获取网页,采集效率较高。不尽人意的地方是没有图形界面,demo是控制台程序,且实 现上采用了很多.net 3.5语法。lambda表达式,扩展方法等大量使用,代码不易阅读。

这里有一篇如何使用NCrawler参考文章。
  评论这张
 
阅读(413)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017