scala akka actor OutOfMemoryError
最近无事用scala +akka actor + httpclient3.1 写了个爬虫,无奈运行一段时间就OutOfMemoryError, 查看代码不知哪里出现了问题。代码不多,条理也算情绪,望高手帮忙看下分析,感激不尽。
这个爬虫主要是根据某个入口url爬取所有该网站的链接,保存为本地文件
代码放在 https://github.com/rock117/web-crawler-scala
开发环境: eclipse windows7 java6,
程序入口 com.rock.webcrawler.main.Main
出异常的代码在 com.rock.webcrawler.DownloadWorker
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
最好clone下来运行下,运行过程中,内存一直在争长