java通过url获取网页html源码的一点问题

Question

目的：通过一个url获取网页html源码,然后通过jsoup取出里面对应的值。

问题：用该url用java在后台获取页面的内容比直接在浏览器输入该url后看到的内容要少，

比如淘宝页面上看到的价格，用java在后台访问的时候整个html里根本就没有那个值

Answer 1

jsoup对于静态网页抓取效果比较理想，对于异步（AJAX）加载数据的网页，需用htmlunit获取网页内容，再用JSOUP解析。

Answer 2

https://www.oschina.net/question/780660_105263

Answer 3

目前只是拿一个来试,后面结合爬虫的话会涉及到很多网站

Answer 4

自己这一个浏览器内核吧，有许多开源的。不过还不如直接找到你有用的连接自己分析，毕竟只针对一个网站，又不用写通用的。

Answer 5

那有办法用java获取到跟浏览器一样多的内容吗？

Answer 6

一个页面不止一个连接，估计十几甚至几十个请求，你用java获取只是代码，或者解析的并不是那么好，许多运行后的连接你没分析出来的。