主页 > 知识库 > C# 实现抓取网站页面内容的实例方法

C# 实现抓取网站页面内容的实例方法

热门标签:国美全国运营中心 电商新玩法 电销业务 客户服务 网站排名优化 人工智能 科大讯飞语音识别系统 百度AI接口

抓取新浪网的新闻栏目,如图所示:

使用 谷歌浏览器的查看源代码: 通过分析得知,我们所要找的内容在以下两个标签之间:

复制代码 代码如下:

!-- publish_helper name='要闻-新闻' p_id='1' t_id='850' d_id='1' -->

内容。。。。

!-- publish_helper name='要闻-财经' p_id='30' t_id='98' d_id='1' -->


如图所示:

内容。。。。

使用VS建立一个如图所示的网站:

我们下载网络数据主要通过   WebClient 类来实现。

使用下面源代码获取我们选择的内容:

复制代码 代码如下:

protected void Enter_Click(object sender, EventArgs e)
        {
            WebClient we = new WebClient();  //主要使用WebClient类
            byte[] myDataBuffer;
            myDataBuffer = we.DownloadData(txtURL.Text);  //该方法返回的是 字节数组,所以需要定义一个byte[]
            string download = Encoding.Default.GetString(myDataBuffer);  //对下载的数据进行编码

          
            //通过查询源代码,获取某两个值之间的新闻内容
            int startIndex = download.IndexOf("!-- publish_helper name='要闻-新闻' p_id='1' t_id='850' d_id='1' -->");
            int endIndex = download.IndexOf("!-- publish_helper name='要闻-财经' p_id='30' t_id='98' d_id='1' -->");

            string temp = download.Substring(startIndex, endIndex - startIndex + 1);  //截取新闻内容

            lblMessage.Text = temp;//显示所截取的新闻内容
        }


效果如图:

最后: 除了把下载的数据保存为文本以外,还可以保存为 文件类型 和 流 类型。

复制代码 代码如下:

WebClient wc = new WebClient();
            wc.DownloadFile(TextBox1.Text, @"F:\test.txt");
            Label1.Text = "文件下载完成";

复制代码 代码如下:

WebClient wc = new WebClient();
            Stream  s =  wc.OpenRead(TextBox1.Text);

            StreamReader sr = new StreamReader(s);
            Label1.Text =  sr.ReadToEnd();

您可能感兴趣的文章:
  • C#多线程爬虫抓取免费代理IP的示例代码
  • c# 抓取Web网页数据分析
  • C# 抓取网页内容的方法
  • c# HttpWebRequest通过代理服务器抓取网页内容应用介绍
  • C#实现通过程序自动抓取远程Web网页信息的代码
  • asp.net c# 抓取页面信息方法介绍
  • c#根据网址抓取网页截屏生成图片的示例
  • 基于C#实现网络爬虫 C#抓取网页Html源码
  • C#实现抓取和分析网页类实例
  • c#批量抓取免费代理并且验证有效性的实战教程

标签:枣庄 POS机 厦门 益阳 拉萨 攀枝花 南平 咸宁

巨人网络通讯声明:本文标题《C# 实现抓取网站页面内容的实例方法》,本文关键词  ;如发现本文内容存在版权问题,烦请提供相关信息告之我们,我们将及时沟通与处理。本站内容系统采集于网络,涉及言论、版权与本站无关。
  • 相关文章
  • 收缩
    • 微信客服
    • 微信二维码
    • 电话咨询

    • 400-1100-266