如何把自己的算法迁移到spark平台

Question

刚接触spark平台没多久，最近在spark上面练手的时候，发现spark把一些函数私有化了，导致在自己的项目中不能使用，比如：

import org.apache.spark.mllib.linalg.BLAS

会报错：

symbol BLAS is inaccessible in this place

我google了一下发现是因为源码中，mllib把重写的BLAS私有化了：

private[spark] object BLAS ...

除此之外，还包括了fromBreeze，toBreeze函数等等

那么，如果要把自己的算法迁移至spark平台，其中涉及线性代数的计算，你们都是怎么解决的？

Answer 1

你好，这个问题解决啦没有？我也遇到同样的问题。