云基础架构上的apache火花
如何使用云基础架构上的Apache Spark作为服务（IAAS）平台有效地处理给定数据？我有一个超过6000万个数据的数据集，需要有效地运行数据集。
How can I process the given data efficiently using Apache Spark on a cloud Infrastructure as a Service (IaaS) platform? I have a dataset of over 60 million data that I need to run the dataset effectively.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
有很多选择要做。
在Azure中，您可以使用Synapse/Azure数据工厂。
在GCS中，您可以将DataProc群集与Cloud Composer一起使用。提供答案
There are many options to do the same.
In Azure you can use Synapse/Azure Data Factory.
In GCS,you can use Dataproc cluster with Cloud Composer.It would be great if you can mention the whole scenario what is your exact source(csv/RDBMS table/IOT) and what would be the target/sink then it would be easier to provide answer