用于文件 I/O 的 Hbase。以及远程客户端连接HDFS的方法

发布于 2024-11-25 12:58:46 字数 321 浏览 1 评论 0原文

在您阅读之前请注意,我的英语并不流利。 我是 NoSQL 新手,现在尝试使用 HBase 进行文件存储。 - 我会将文件以二进制形式存储在 HBase 中。 我不需要任何统计数据。我只需要文件存储。 推荐吗!?!?

我担心 I/O 速度。

实际上,因为我找不到任何方法可以在没有hadoop的情况下连接HDFS,所以我想尝试使用HBase进行文件存储。我无法在客户端计算机上设置 Hadoop。我试图找到一些库 - 比如 RDBMS 的 JDBC - 帮助客户端连接 HDFS 来获取文件。但我找不到任何东西,只是选择了 HBase 而不是连接库。

我可以从别人那里得到帮助吗?

Please be aware that I’m not fluent in English before you read.
I'm new at NoSQL,and now trying to use HBase for File storage. - I'll store Files in HBase as binary.
I don't need any statistics. Only what I need is File storage.
IS IT RECOMMENDED!?!?

I am worrying about I/O speed.

Actually, because I couldn't find any way to connect HDFS with out hadoop, I wanna try HBase for file storage. I can’t set up Hadoop on client computer. I was trying to find some libraries - like JDBC for RDBMS - which help the client connect HDFS to get files. but I couldn’t find anything and just have chosen HBase instead of connection library.

Can I get any help from someone?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

も让我眼熟你 2024-12-02 12:58:46

这实际上取决于您的文件大小。在Hbase中,一般不建议存储文件或LOB,默认最大键值大小为10mb。我已经提高了该限制并使用 >100mb 的值运行测试,但是您确实有 OOME 区域服务器的风险,因为它必须将整个值保存在内存中 - 小心配置您的 JVM 内存。

当在 hbase-users 列表服务器上询问此类问题时,通常的回答是如果文件很大,建议使用 HDFS。

您应该能够使用 Thrift 连接到 HDFS,以绕过在客户端计算机上安装 Hadoop 客户端。

It really depends on your file sizes. In Hbase it is generally not recommended to store files or LOBs, the default max keyvalue size is 10mb. I have raised that limit and run tests with >100mb values but you do risk OOME your regionservers as it has to hold the entire value in memory - config your JVMs memory with care.

When this type of question is asked on the hbase-users listserve the usual response is to recommend using HDFS if you files can be large.

You should be able to use Thrift to connect to HDFS to bypass installing the Hadoop client on your client computer.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文