博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
通过jsoup对网页进行数据抓取。
阅读量:5167 次
发布时间:2019-06-13

本文共 5662 字,大约阅读时间需要 18 分钟。

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

下面是一个解析博客园首页数据的demo:

1 package com.haojiahong.test; 2  3 import org.jsoup.Jsoup; 4 import org.jsoup.nodes.Document; 5 import org.jsoup.nodes.Element; 6 import org.jsoup.select.Elements; 7  8 import com.haojiahong.domain.PostItem; 9 10 public class ZhuaHtmlDataTest {11     public static void main(String[] args) throws Exception {12         Document doc = Jsoup.connect("http://www.cnblogs.com/").get();13         Element content = doc.getElementById("post_list");14         Elements datas = content.getElementsByClass("post_item");15         for (Element data : datas) {16             PostItem postItem = new PostItem();17             Elements itemBodys = data.getElementsByClass("post_item_body");18 19             // 拿到title20             Elements titles = itemBodys.get(0).getElementsByClass("titlelnk");21             // 拿到summary22             Elements summarys = itemBodys.get(0).getElementsByClass(23                     "post_item_summary");24             // 拿到底部作者及其连接25             Elements foots = itemBodys.get(0).getElementsByClass("lightblue");26             postItem.setTitleName(titles.get(0).text());27             postItem.setTitleUrl(titles.get(0).attr("href"));28             postItem.setSummary(summarys.get(0).text());29             postItem.setFootWriter(foots.get(0).text());30             postItem.setFootWriterUrl(foots.get(0).attr("href"));31             System.out.println(postItem.toString());32 33         }34     }35 }

其中用到了一个JavaBean类,方面读取数据和解析数据PostItem.java,这也是为什么要时时刻刻记住面向对象的思想。

1 package com.haojiahong.domain; 2  3 /** 4  * 帖子信息 5  *  6  * @author haojiahong 7  *  8  * @createtime:2015-7-17 下午2:11:54 9  * 10  * 11  */12 public class PostItem {13 14     private String titleName;15     private String titleUrl;16     private String summary;17     private String footWriter;18     private String footWriterUrl;19 20     @Override21     public String toString() {22         return "帖子标题" + titleName + "帖子地址" + titleUrl + "作者" + footWriter23                 + "作者地址" + footWriterUrl;24     }25 26     public String getTitleName() {27         return titleName;28     }29 30     public void setTitleName(String titleName) {31         this.titleName = titleName;32     }33 34     public String getTitleUrl() {35         return titleUrl;36     }37 38     public void setTitleUrl(String titleUrl) {39         this.titleUrl = titleUrl;40     }41 42     public String getSummary() {43         return summary;44     }45 46     public void setSummary(String summary) {47         this.summary = summary;48     }49 50     public String getFootWriter() {51         return footWriter;52     }53 54     public void setFootWriter(String footWriter) {55         this.footWriter = footWriter;56     }57 58     public String getFootWriterUrl() {59         return footWriterUrl;60     }61 62     public void setFootWriterUrl(String footWriterUrl) {63         this.footWriterUrl = footWriterUrl;64     }65 }

最后解析出来的结果如下:

帖子标题:常见正则表达式帖子地址:http://www.cnblogs.com/dandandeyoushangnan/p/4661977.html作者:淡淡的忧伤IT男作者地址:http://www.cnblogs.com/dandandeyoushangnan/

帖子标题:用jQuery写了一个模态框插件感觉挺好看的在博客园分享一下!帖子地址:http://www.cnblogs.com/YingYue/p/4661944.html作者:周建旭的博客作者地址:http://www.cnblogs.com/YingYue/
帖子标题:小议 html 实体解析帖子地址:http://www.cnblogs.com/52cik/p/js-entity.html作者:乱码.作者地址:http://www.cnblogs.com/52cik/
帖子标题:WPF入门教程系列十三——依赖属性(三)帖子地址:http://www.cnblogs.com/chillsrc/p/4661658.html作者:DotNet菜园作者地址:http://www.cnblogs.com/chillsrc/
帖子标题:IOS NSNotification Center 通知中心的使用帖子地址:http://www.cnblogs.com/jerehedu/p/4661608.html作者:杰瑞教育作者地址:http://www.cnblogs.com/jerehedu/
帖子标题:网络IO之阻塞、非阻塞、同步、异步总结帖子地址:http://www.cnblogs.com/Fly-Wind/p/io.html作者:Fly_Wind作者地址:http://www.cnblogs.com/Fly-Wind/
帖子标题:跨域解决方案之HTML5 postMessage帖子地址:http://www.cnblogs.com/hutuzhu/p/4661526.html作者:彼岸花在开作者地址:http://www.cnblogs.com/hutuzhu/
帖子标题:Windows Azure Virtual Machine (24) Azure VM支持多网卡功能帖子地址:http://www.cnblogs.com/threestone/p/4661454.html作者:Lei Zhang的博客作者地址:http://www.cnblogs.com/threestone/
帖子标题:UVa 673 Parentheses Balance(栈的使用)帖子地址:http://www.cnblogs.com/hfc-xx/p/4661443.html作者:黄凤成作者地址:http://www.cnblogs.com/hfc-xx/
帖子标题:ECMAScript 6教程 (三) Class和Module(类和模块)帖子地址:http://www.cnblogs.com/jasonnode/p/4661422.html作者:Jason-node作者地址:http://www.cnblogs.com/jasonnode/
帖子标题:GROUP BY的扩展帖子地址:http://www.cnblogs.com/ivictor/p/4660984.html作者:iVictor作者地址:http://www.cnblogs.com/ivictor/
帖子标题:ASP.NET MVC 过滤器开发与使用帖子地址:http://www.cnblogs.com/JinvidLiang/p/4660200.html作者:々蕞嗳の﹎作者地址:http://www.cnblogs.com/JinvidLiang/
帖子标题:JavaScript“并非”一切皆对象帖子地址:http://www.cnblogs.com/myvin/p/4660138.html作者:myvin作者地址:http://www.cnblogs.com/myvin/
帖子标题:Android CollapsingToolbarLayout帖子地址:http://www.cnblogs.com/wingyip/p/4609891.html作者:wingyip作者地址:http://www.cnblogs.com/wingyip/
帖子标题:C#基础系列——Attribute特性使用帖子地址:http://www.cnblogs.com/landeanfen/p/4642819.html作者:懒得安分作者地址:http://www.cnblogs.com/landeanfen/
帖子标题:SQL Server表分区的NULL值问题帖子地址:http://www.cnblogs.com/lyhabc/p/4660846.html作者:桦仔作者地址:http://www.cnblogs.com/lyhabc/
帖子标题:认真分析mmap:是什么 为什么 怎么用帖子地址:http://www.cnblogs.com/huxiao-tee/p/4660352.html作者:胡潇作者地址:http://www.cnblogs.com/huxiao-tee/
帖子标题:上周热点回顾(7.13-7.19)帖子地址:http://www.cnblogs.com/cmt/p/4660705.html作者:博客园团队作者地址:http://www.cnblogs.com/cmt/
帖子标题:Python开发入门与实战11-单元测试帖子地址:http://www.cnblogs.com/haozi0804/p/4660652.html作者:wuch作者地址:http://www.cnblogs.com/haozi0804/
帖子标题:【Oracle 集群】11G RAC 知识图文详细教程之RAC在LINUX上使用NFS安装前准备(六)帖子地址:http://www.cnblogs.com/baiboy/p/orc6.html作者:伏草惟存作者地址:http://www.cnblogs.com/baiboy/

首页的十条相应的博文内容都会解析出来。就是这么犀利啊哈哈哈

转载于:https://www.cnblogs.com/haojiahong/p/4661991.html

你可能感兴趣的文章
最新最潮的24段魔尺立体几何玩法(2016版)
查看>>
C# 3.0 LINQ的准备工作
查看>>
CodeForces - 449D Jzzhu and Numbers
查看>>
mysql批量插入更新操作
查看>>
静态代码审查工具FxCop插件开发(c#)
查看>>
创建代码仓库
查看>>
理解裸机部署过程ironic
查看>>
Django 组件-ModelForm
查看>>
zabbix 二 zabbix agent 客户端
查看>>
大数据分析中,有哪些常见的大数据分析模型?
查看>>
Generate SSH key
查看>>
URL中不应出现汉字
查看>>
SSH框架面试总结----1
查看>>
如何防止Arp攻击
查看>>
ClassList 标签的用法
查看>>
小细节:Java中split()中的特殊分隔符 小数点
查看>>
【编程思想】【设计模式】【行为模式Behavioral】中介者模式Mediator
查看>>
后端接口时间戳或者随机数的作用
查看>>
IOS越狱环境搭建
查看>>
tomcat docBase 和 path
查看>>