jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
下面是一个解析博客园首页数据的demo:
1 package com.haojiahong.test; 2 3 import org.jsoup.Jsoup; 4 import org.jsoup.nodes.Document; 5 import org.jsoup.nodes.Element; 6 import org.jsoup.select.Elements; 7 8 import com.haojiahong.domain.PostItem; 9 10 public class ZhuaHtmlDataTest {11 public static void main(String[] args) throws Exception {12 Document doc = Jsoup.connect("http://www.cnblogs.com/").get();13 Element content = doc.getElementById("post_list");14 Elements datas = content.getElementsByClass("post_item");15 for (Element data : datas) {16 PostItem postItem = new PostItem();17 Elements itemBodys = data.getElementsByClass("post_item_body");18 19 // 拿到title20 Elements titles = itemBodys.get(0).getElementsByClass("titlelnk");21 // 拿到summary22 Elements summarys = itemBodys.get(0).getElementsByClass(23 "post_item_summary");24 // 拿到底部作者及其连接25 Elements foots = itemBodys.get(0).getElementsByClass("lightblue");26 postItem.setTitleName(titles.get(0).text());27 postItem.setTitleUrl(titles.get(0).attr("href"));28 postItem.setSummary(summarys.get(0).text());29 postItem.setFootWriter(foots.get(0).text());30 postItem.setFootWriterUrl(foots.get(0).attr("href"));31 System.out.println(postItem.toString());32 33 }34 }35 }
其中用到了一个JavaBean类,方面读取数据和解析数据PostItem.java,这也是为什么要时时刻刻记住面向对象的思想。
1 package com.haojiahong.domain; 2 3 /** 4 * 帖子信息 5 * 6 * @author haojiahong 7 * 8 * @createtime:2015-7-17 下午2:11:54 9 * 10 * 11 */12 public class PostItem {13 14 private String titleName;15 private String titleUrl;16 private String summary;17 private String footWriter;18 private String footWriterUrl;19 20 @Override21 public String toString() {22 return "帖子标题" + titleName + "帖子地址" + titleUrl + "作者" + footWriter23 + "作者地址" + footWriterUrl;24 }25 26 public String getTitleName() {27 return titleName;28 }29 30 public void setTitleName(String titleName) {31 this.titleName = titleName;32 }33 34 public String getTitleUrl() {35 return titleUrl;36 }37 38 public void setTitleUrl(String titleUrl) {39 this.titleUrl = titleUrl;40 }41 42 public String getSummary() {43 return summary;44 }45 46 public void setSummary(String summary) {47 this.summary = summary;48 }49 50 public String getFootWriter() {51 return footWriter;52 }53 54 public void setFootWriter(String footWriter) {55 this.footWriter = footWriter;56 }57 58 public String getFootWriterUrl() {59 return footWriterUrl;60 }61 62 public void setFootWriterUrl(String footWriterUrl) {63 this.footWriterUrl = footWriterUrl;64 }65 }
最后解析出来的结果如下:
帖子标题:常见正则表达式帖子地址:http://www.cnblogs.com/dandandeyoushangnan/p/4661977.html作者:淡淡的忧伤IT男作者地址:http://www.cnblogs.com/dandandeyoushangnan/
帖子标题:用jQuery写了一个模态框插件感觉挺好看的在博客园分享一下!帖子地址:http://www.cnblogs.com/YingYue/p/4661944.html作者:周建旭的博客作者地址:http://www.cnblogs.com/YingYue/帖子标题:小议 html 实体解析帖子地址:http://www.cnblogs.com/52cik/p/js-entity.html作者:乱码.作者地址:http://www.cnblogs.com/52cik/帖子标题:WPF入门教程系列十三——依赖属性(三)帖子地址:http://www.cnblogs.com/chillsrc/p/4661658.html作者:DotNet菜园作者地址:http://www.cnblogs.com/chillsrc/帖子标题:IOS NSNotification Center 通知中心的使用帖子地址:http://www.cnblogs.com/jerehedu/p/4661608.html作者:杰瑞教育作者地址:http://www.cnblogs.com/jerehedu/帖子标题:网络IO之阻塞、非阻塞、同步、异步总结帖子地址:http://www.cnblogs.com/Fly-Wind/p/io.html作者:Fly_Wind作者地址:http://www.cnblogs.com/Fly-Wind/帖子标题:跨域解决方案之HTML5 postMessage帖子地址:http://www.cnblogs.com/hutuzhu/p/4661526.html作者:彼岸花在开作者地址:http://www.cnblogs.com/hutuzhu/帖子标题:Windows Azure Virtual Machine (24) Azure VM支持多网卡功能帖子地址:http://www.cnblogs.com/threestone/p/4661454.html作者:Lei Zhang的博客作者地址:http://www.cnblogs.com/threestone/帖子标题:UVa 673 Parentheses Balance(栈的使用)帖子地址:http://www.cnblogs.com/hfc-xx/p/4661443.html作者:黄凤成作者地址:http://www.cnblogs.com/hfc-xx/帖子标题:ECMAScript 6教程 (三) Class和Module(类和模块)帖子地址:http://www.cnblogs.com/jasonnode/p/4661422.html作者:Jason-node作者地址:http://www.cnblogs.com/jasonnode/帖子标题:GROUP BY的扩展帖子地址:http://www.cnblogs.com/ivictor/p/4660984.html作者:iVictor作者地址:http://www.cnblogs.com/ivictor/帖子标题:ASP.NET MVC 过滤器开发与使用帖子地址:http://www.cnblogs.com/JinvidLiang/p/4660200.html作者:々蕞嗳の﹎作者地址:http://www.cnblogs.com/JinvidLiang/帖子标题:JavaScript“并非”一切皆对象帖子地址:http://www.cnblogs.com/myvin/p/4660138.html作者:myvin作者地址:http://www.cnblogs.com/myvin/帖子标题:Android CollapsingToolbarLayout帖子地址:http://www.cnblogs.com/wingyip/p/4609891.html作者:wingyip作者地址:http://www.cnblogs.com/wingyip/帖子标题:C#基础系列——Attribute特性使用帖子地址:http://www.cnblogs.com/landeanfen/p/4642819.html作者:懒得安分作者地址:http://www.cnblogs.com/landeanfen/帖子标题:SQL Server表分区的NULL值问题帖子地址:http://www.cnblogs.com/lyhabc/p/4660846.html作者:桦仔作者地址:http://www.cnblogs.com/lyhabc/帖子标题:认真分析mmap:是什么 为什么 怎么用帖子地址:http://www.cnblogs.com/huxiao-tee/p/4660352.html作者:胡潇作者地址:http://www.cnblogs.com/huxiao-tee/帖子标题:上周热点回顾(7.13-7.19)帖子地址:http://www.cnblogs.com/cmt/p/4660705.html作者:博客园团队作者地址:http://www.cnblogs.com/cmt/帖子标题:Python开发入门与实战11-单元测试帖子地址:http://www.cnblogs.com/haozi0804/p/4660652.html作者:wuch作者地址:http://www.cnblogs.com/haozi0804/帖子标题:【Oracle 集群】11G RAC 知识图文详细教程之RAC在LINUX上使用NFS安装前准备(六)帖子地址:http://www.cnblogs.com/baiboy/p/orc6.html作者:伏草惟存作者地址:http://www.cnblogs.com/baiboy/首页的十条相应的博文内容都会解析出来。就是这么犀利啊哈哈哈