爬虫下来的图片、视频、大文本存储技术
有谁做过互联网爬虫, 请问有什么比较好的技术实现网页中图片和视频还有大文本的存储。 我的初步想法是针对标题做索引用mysql实现, 但是大的二进制数据不知道怎么处理,有那个大神给支个招!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
有谁做过互联网爬虫, 请问有什么比较好的技术实现网页中图片和视频还有大文本的存储。 我的初步想法是针对标题做索引用mysql实现, 但是大的二进制数据不知道怎么处理,有那个大神给支个招!
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(3)
你用过nosql?这些图片、视频、大文本我希望是永久存储的,不希望重启后就没有了!
回复
MongoDB完全可以满足要求
试试NoSQL