webmagic 使用

Question

@黄亿华 你好，想跟你请教个问题：

我用webmagic 下载 http://cctv.cntv.cn/lm/xinwenlianbo/20130201.shtml

page.putField("title", page.getHtml().xpath("//div[@id='title_01']"));

最后title的内容为空，我看了下载下来的网页，发现div[@id='title_01']这个标签里面的内容就是空的，不知道为什么？

Answer 1

嗯，我看后面确实有js代码，里面的确有我要的数据，看来只能用正则抽取了，非常感谢

Answer 2

这个不是webmagic的问题，是
div[@id='title_01']内的内容是js动态渲染的，我建议你直接使用正则抽取后面的js数据。